Kunstige intelligens-løsninger kræver data af høj kvalitet

Organisatoriske data indsamles og gemmes i forskellige formater, fra regneark til tekstdokumenter, relationelle databaser og tekstfiler. Udnyttelse af organisatoriske data involverer en række forbehandlingstrin for at gøre dem egnede til brug i business intelligence-systemer til rapportering og analyse. AI-systemer kræver højt specialiserede datasæt til træning for at sikre en høj grad af specialisering.

Klargøring af organisationsdata til brug i AI-systemer kræver mange komplekse Extract-Transform-Load (ETL)-processer for at producere et træningsdataset, før det indtastes i en AI. Mange organisationers reguleringsmæssige rammer indebærer, at love og regler om beskyttelse af personlige oplysninger skal overholdes, før udtrækning kan finde sted. Desuden skal strenge lagringsprocesser overholde regler, når udtrækningen er fuldført, for at sikre, at data opbevares og bruges sikkert.

Der findes enorme mængder data i det nuværende organisatoriske miljø, hvoraf nogle er ustrukturerede i et format, der er let at arbejde med. Der er også en teknisk udfordring i at behandle denne information. Kompleksiteten i datapreparation øges, når data ikke er statiske og konstant ændrer sig i realtid, og kræver dynamiske processer.

Vi vil undersøge vigtige dataovervejelser i de følgende afsnit.

Almindelige organisatoriske datakilder

Data opbevares i forskellige formater og dækker et utal af dimensioner, fra finansielle data til rumlig information. Data indsamlet i kontorproduktivitetssuiter som Microsoft Office og interne formålsrettede kildesystemer egner sig ikke godt til direkte brug i kunstige intelligenssystemer.

Følgende opregner velkendte datakilder; denne liste er på ingen måde udtømmende:

• Finansielle data til ERP-regnskabssystemer (Oracle, SAP)
• Rumlig data fra GIS-systemer (ESRI ArcGIS)
• Regneark fra kontorproduktivitetsværktøjer (Microsoft Excel, Microsoft Access)
• Tilpassede SQL-databaser brugt bag kildesystemer (Microsoft SQL, MySQL, Oracle, SAP)
• Fladfil-databaser indsamlet i ældre systemer (IBM Mainframes, indekserede filer)

Forskellige systemer kan lagre data i forskellige formater. Datasæt kræver sammenslutning; dette medfører udfordringer, når der er flere systemer. Det er almindeligt for dataanalytikere at indtaste information manuelt ved hjælp af regneark. Den nuværende tendens er at indlæse data i en data lake, så dataingeniører kan arbejde med dem uden at skulle interface direkte med kritiske systemer. Dermed krævede det datatransformationer for at opnå målene.

Kunstige intelligens-systemer kan gøre god brug af disse data. Det er dog kun, når de først er behandlet i et passende format til at fodre sådanne systemer, at datasøer og datalagre er afgørende for at producere datasæt af høj kvalitet.

Kunstig intelligens og dens relation til Extract-Transform-Load (ETL)-processer

Traditionelle ETL-processer vil sandsynligvis ikke ændre sig, efterhånden som kunstig intelligens bliver mere fremtrædende. Det er mere sandsynligt, at sådanne teknikker vil blive omdirigeret til at producere datasæt, der er gavnlige for læring og fungerer godt med AI-systemer. Et eksempel er at tage billeder af objekter og mærke dem med en tilknytning for at tillade AI-systemer at lære.

Der er gode muligheder for data scientists og data engineers for at bruge deres kompetencer inden for datapreparation til at bygge datasæt til systemer for kunstig intelligens. Det vil være vigtigt, at ETL-processer automatiseres og ikke er afhængige af manuelle processer for at opnå maksimal effektivitet ud af realtids systemer for kunstig intelligens.

Data Lakes og Data Warehouses som en enkelt kilde til sandhed til brug i Artificial Intelligence

Rådata lagret på tværs af forskellige systemer resulterer i fragmentering. For at overvinde dette er det ønskeligt at lede alle data ind på ét sted, såsom en relationel database, der tillader forespørgsler og datamanipulation. Når alle data er lagret på ét område, kan de lettere tilgås og arbejdes med for at producere datasæt, der giver værdifuld information. Det er essentielt at definere en enkelt kilde til sandhed.

Data Warehouses kan derefter defineres ved hjælp af standarder som Kimball eller Inmon for at skabe dimensioner til at definere fakta eller mål. Et fakta er typisk kategoriske data, mens et mål typisk er numeriske data i den generelle forståelse. Behandling af data ved hjælp af sådanne standarder tilbyder betydelige fordele for at sikre effektivitet og nøjagtighed.

Måske er den mest betydelige fordel for organisationer, der har investeret i at have et godt data warehouse, at det åbner organisationens dataset for den bredere organisation. I store organisationer har de fleste medarbejdere ikke adgang til de kritiske kildesystemer, der driver virksomheden; de har dog adgang til data warehouse'et, typisk skrivebeskyttet. Data warehouses giver medarbejdere mulighed for at identificere indsigter, som organisationens ledelsesstruktur muligvis ikke almindeligvis kender.

Oprettelsen af datalagre sikrer, at hensyn til privatliv og regulering er defineret. Datalagre hjælper med at sikre, at data overføres sikkert mellem interessenter. Adgang til datasøer og lagre kan også forbedre gennemsigtigheden og ansvarligheden af, hvordan organisatoriske funktioner udføres, hvilket muliggør mere stabile driftsprocedurer.

Visualisering af organisationens Big Data

En udfordring ved big data er, hvordan man bedst viser det og formidler den historie, det fortæller. Tidligere tilgange omfattede rapporteringstjenester, der samler data fra lavere til højere niveauer for at blive vist i standarddiagrammer som søjlediagrammer, kurvediagrammer og scatter plots. Disse tilgange er egnede til ledelsesrapporter (dvs. salgsrapporter, kontorapporter), der er en del af daglige forretningsmæssige rutineoperationer. Microsoft SSRS er det mest almindelige værktøj, der bruges til virksomhedsdækkende rapportering.

Avancerede visualiseringsprogrammer opstod for at imødekomme dette behov, med Tableau og QlikView som dominerende på markedet. Tableau fokuserede kraftigt på fantastiske visualiseringer, mens QlikView formåede at balancere traditionelle rapporteringstjenester som Microsoft SSRS og Tableau. Microsoft PowerBI har domineret markedet og betragtes som mere kompleks af Gartner. Disse programmer skaber dashboards, der er utroligt nyttige til at overvåge flere nøglemetrikker og integrere sådan overvågning som en del af omfattende organisatoriske processer. Strategiske beslutningstagere har for nylig skabt gode dashboards til at træffe datadrevne beslutninger, mens driftsledere kan reagere hurtigere for at opnå virksomhedsmål.

Med fremkomsten af AI vil visualisering spille en afgørende rolle. De indsigter, som Artificial Intelligence-systemer kan producere, er komplekse, og de skal kommunikeres i en visuel repræsentation, som folk let kan forstå. Et fremragende eksempel på dette er at præsentere et selvorganiserende kort (SOM) for at se multivariabel data.

Saml data til at fodre et system med kunstig intelligens

Med adgang til datasæt er det derefter muligt at tage data fra en relationel database og levere en connector til et kunstig intelligens-system. De fleste moderne AI-systemer er bygget ved hjælp af Python og er afhængige af moduler, der typisk er implementeret i C/C++ for at sikre effektivitet.

Da Python i øjeblikket er det primære værktøj til at interagere med AI, er en rig række af dataforbindelser tilgængelige for mange forskellige typer databaser for at få adgang til data. Desuden egner Python sig godt til datamanipulationer og udvider yderligere den indbyggede funktionalitet med rige biblioteker som NumPy og Pandas for yderligere at hjælpe med forbehandling af data, der fodres til specifikke AI-systemer. Nuværende frameworks er krævende med hensyn til de dataformater, der accepteres. Statisk typede data-frameworks kan hjælpe med dette. GPU-behandling kræver specifikke datatyper, som det er usandsynligt, at de ændres. Derfor skal datatyper overvejes på forhånd.

Kunstige intelligens-systemer inden for feltet smal AI har specifikke datakrav, og det er værd at tage sig tid til at overveje dette under planlægningsfasen af oprettelse af datasæt, der skal bruges i nævnte systemer.

Indfangning, lagring og fortolkning af resultater fra kunstig intelligens

Kunstige intelligens-systemer vil som følge af input producere output, der skal opbevares. Endnu mere spændende er, at resultaterne kan føres tilbage i datasøerne/datalagrene og fortsætte processen med at levere indsigter, da indsigter kan give yderligere indsigter. Håndtering af, hvordan output opbevares, skal overvejes omhyggeligt inden for en større datastyringsramme.

Da kunstig intelligens-systemer behandler enorme mængder information, er det sandsynligt, at de finder kontraintuitive indsigter, som et menneske typisk ville overse. Det er normalt disse indsigter, der skaber den mest betydelige konkurrencemæssige fordel. Derfor vil organisationer ikke have noget andet valg end at engagere sig i disse systemer som et middel til at forblive konkurrencedygtige.

Fortolkning af resultater fra kunstig intelligens vil kræve omhyggelig overvejelse. Ligesom med nuværende forskning i dag, er det muligt, at det vil blive misfortolket. Derfor skal dataanalytikere spore alle datapunkter og tilbagespore, hvorfor AI-systemer har givet specifikke resultater, eller risikere at handle forkert ud fra indsigt. Brug af datavisualiseringsværktøjer som beskrevet ovenfor kan anvendes på resultater genereret af AI.

I de kommende årtier vil organisationer begynde at stole på information produceret af AI-systemer, og hvordan dataene, der understøtter disse systemer, styres og implementeres, vil være af største vigtighed.

Kontakt os i dag for en gratis konsultation om, hvordan Telemus AI™ kan integreres i din organisation.