Lösningar för artificiell intelligens kräver högkvalitativ data

Organisatorisk data fångas upp och lagras i olika format, från kalkylblad till word-dokument, relationsdatabaser och textfiler. Att utnyttja organisatorisk data innebär en serie förbehandlingssteg för att göra den lämplig för användning i business intelligence-system för rapportering och analys. AI-system kräver högt specialiserade datauppsättningar för träning för att säkerställa en hög grad av specialisering.

Beredning av organisationsdata för användning i system för artificiell intelligens kräver många komplexa Extract-Transform-Load (ETL)-processer för att producera ett träningsdataset innan det matas in i en AI. Många organisationers regelverk innebär att integritetslagar och regler måste följas innan extraktion kan ske. Vidare måste strikta lagringsprocesser följa regler när extraktionen är klar för att säkerställa att data lagras och används på ett säkert sätt.

Det finns enorma kvantiteter data i den nuvarande organisatoriska miljön, varav en del är ostrukturerad i ett format som är lätt att arbeta med. Det finns också en teknisk utmaning i att bearbeta denna information. Komplexiteten i datapreparation ökar när data inte är statisk och ständigt förändras i realtid, och kräver dynamiska processer.

Vi kommer att utforska viktiga dataöverväganden i följande avsnitt.

Vanliga organisatoriska datakällor

Data lagras i olika format och täcker en mångfald av dimensioner, från finansiell data till rumslig information. Data som fångas i kontorsproduktivitetssviter som Microsoft Office och interna ändamålsenliga källsystem lämpar sig inte väl för direkt användning i system för artificiell intelligens.

Följande listar välkända datakällor; denna lista är inte på något sätt uttömmande:

• Finansiell data för ERP-redovisningssystem (Oracle, SAP)
• Rumslig data från GIS-system (ESRI ArcGIS)
• Kalkylblad från produktivitetsverktyg för kontor (Microsoft Excel, Microsoft Access)
• Anpassade SQL-databaser som används bakom källsystem (Microsoft SQL, MySQL, Oracle, SAP)
• Platta fildatabaser fångade i äldre system (IBM Mainframes, indexerade filer)

Olika system kan lagra data i olika format. Datauppsättningar måste sammanfogas; detta medför utmaningar när det finns flera system. Det är vanligt att dataanalyter matar in information manuellt med hjälp av kalkylblad. Den nuvarande trenden är att lägga in data i en datasjö, så att dataingenjörer kan arbeta med den utan att behöva gränssnitta direkt med kritiska system. Därmed krävdes datatransformationer för att uppnå målen.

AI-system kan göra stor nytta av denna data. Det är dock först när den bearbetas i ett lämpligt format för att matas in i sådana system som datasjöar och datalagerhus är avgörande för att producera högkvalitativa dataset.

Artificiell intelligens och dess relation till Extract-Transform-Load (ETL)-processer

Traditionella ETL-processer kommer sannolikt inte att förändras i takt med att artificiell intelligens blir mer framträdande. Det är mer sannolikt att sådana tekniker kommer att omdirigeras för att producera dataset som är gynnsamma för inlärning och som fungerar väl med AI-system. Ett exempel är att ta foton av objekt och märka dem med en association för att låta AI-system lära sig.

Det finns stora möjligheter tillgängliga för data scientists och data engineers att använda sina kompetenser inom datapreparation för att bygga dataset för system med artificiell intelligens. Det kommer att vara viktigt att ETL-processer automatiseras och inte förlitar sig på manuella processer för att få ut maximal effektivitet av realtidssystem för artificiell intelligens.

Datasjöar och datalager som en enda sanningskälla för användning i artificiell intelligens

Rådata lagrad i olika system leder till fragmentering. För att övervinna detta är det önskvärt att leda all data till en plats, till exempel en relationsdatabas som tillåter frågor och datamanipulation. När all data lagras på ett område kan den nås och bearbetas lättare för att producera datamängder som ger värdefull information. Det är viktigt att definiera en enda sanningskälla.

Datalager kan sedan definieras med standarder som Kimball eller Inmon för att skapa dimensioner för att definiera fakta eller mått. Ett faktum är typiskt kategorisk data, medan ett mått är typiskt numerisk data i den allmänna förståelsen. Att bearbeta data med sådana standarder erbjuder betydande fördelar när det gäller att säkerställa effektivitet och noggrannhet.

Kanske den mest betydande fördelen för organisationer som har investerat i att ha ett bra datalager är att det öppnar upp organisationens dataset för den bredare organisationen. Givet stora organisationer har de flesta anställda inte tillgång till de kritiska källsystem som driver verksamheten; de har dock tillgång till datalagret, vanligtvis skrivskyddat. Datalager gör det möjligt för anställda att identifiera insikter som organisationens ledningsstruktur kanske inte känner till.

Skapandet av datalager säkerställer att integritets- och regelverkshänsyn definieras. Datalager hjälper till att säkerställa att data överförs säkert mellan intressenter. Åtkomst till datasjöar och lager kan också förbättra transparensen och ansvarsskyldigheten i hur organisatoriska funktioner utförs, vilket möjliggör mer stabila operativa förfaranden.

Visualisering av Organisatorisk Big Data

En utmaning med stordata är hur man bäst visar den och förmedlar berättelsen den berättar. Tidigare tillvägagångssätt inkluderade rapporteringstjänster som aggregerar data från lägre till högre nivåer för att visas i standarddiagram som stapeldiagram, linjediagram och spridningsdiagram. Dessa tillvägagångssätt är lämpliga för ledningsrapporter (dvs. försäljningsrapporter, kontorapporter) som är en del av dagliga affärsrutiner. Microsoft SSRS är det vanligaste verktyget som används för företagsomspännande rapportering.

Avancerade visualiseringsprogram uppstod för att hantera denna lucka, med Tableau och QlikView som dominerade marknaden. Tableau fokuserade starkt på fantastiska visualiseringar, medan QlikView lyckades balansera traditionella rapporteringstjänster som Microsoft SSRS och Tableau. Microsoft PowerBI har dominerat marknaden och anses vara mer komplex av Gartner. Dessa program skapar instrumentpaneler som är otroligt användbara för att övervaka flera nyckelmetriker och integrera sådan övervakning som en del av omfattande organisationsprocesser. Strategiska beslutsfattare har nyligen skapat bra instrumentpaneler för att fatta datadrivna beslut, medan operativa chefer kan svara snabbare för att uppnå företagsmål.

Med framväxten av AI kommer visualisering att spela en avgörande roll. Insikterna som AI-system kan producera är komplexa, och de måste kommuniceras i en visuell representation som människor enkelt kan förstå. Ett utmärkt exempel på detta är att presentera en självorganiserande karta (SOM) för att visa multivariat data.

Sammanfoga data för att mata in i ett system för artificiell intelligens

Med tillgång till dataset är det sedan möjligt att ta data från en relationsdatabas och tillhandahålla en koppling till ett system för artificiell intelligens. De flesta moderna AI-system är byggda med Python och förlitar sig på moduler som vanligtvis är implementerade i C/C++ för att säkerställa effektivitet.

Eftersom Python för närvarande är det primära verktyget för att gränssnitta med AI, finns en rik serie datakopplingar tillgängliga för många olika typer av databaser för att komma åt data. Vidare lämpar sig Python väl för datamanipulationer och utökar ytterligare inbyggd funktionalitet med rika bibliotek som NumPy och Pandas för att ytterligare hjälpa till att förbehandla data som matas in i specifika AI-system. Nuvarande ramverk är specifika när det gäller de dataformat som accepteras. Statiskt typade dataramverk kan hjälpa till med detta. GPU-bearbetning kräver specifika datatyper, vilket är osannolikt att de ändras. Därför måste datatypöverväganden göras i förväg.

AI-system inom fältet smal AI har specifika datakrav, och det är värt att ta sig tid att överväga detta under planeringsstadierna av att skapa dataset som ska användas i nämnda system.

Fånga, lagra och tolka resultat från artificiell intelligens

AI-system kommer, givet indata, följaktligen att producera utdata som kommer att behöva lagras. Ännu mer spännande är att resultaten kan matas tillbaka in i datasjöarna/datalagerhusen och fortsätta processen att leverera insikter, eftersom insikter kan ge upphov till ytterligare insikter. Hantering av hur utdata lagras kommer att behöva övervägas noggrant inom ett större ramverk för datastyrning.

Med tanke på att artificiella intelligenssystem bearbetar stora mängder information är det troligt att de hittar ointuitiva insikter som en människa vanligtvis skulle förbise. Det är oftast dessa insikter som ger den mest betydande konkurrensfördelen. Därför kommer organisationer inte att ha något annat val än att använda dessa system som ett medel för att förbli konkurrenskraftiga.

Tolkning av resultat från artificiell intelligens kommer att kräva noggrant övervägande. Precis som med nuvarande forskning i dag är det möjligt att det kommer att feltolkas. Därför måste dataanalytiker spåra genom alla datapunkter och bakåtspåra varför AI-system har gett specifika resultat, eller riskera att felaktigt agera på insikter. Användningen av datavisualiseringsverktyg som beskrivs ovan kan tillämpas på resultat som genereras av AI.

Med steg in i kommande decennier kommer organisationer att börja förlita sig på information som produceras av AI-system och hur de data som ligger till grund för dessa system styrs och implementeras kommer att vara av yttersta vikt.

Kontakta oss idag för ett gratis samråd om hur Telemus AI™ kan integreras i din organisation.