Løsninger for kunstig intelligens krever data av høy kvalitet

Organisatoriske data fanges opp og lagres i ulike formater, fra regneark til tekstdokumenter, relasjonsdatabaser og tekstfiler. Utnyttelse av organisatoriske data involverer en rekke forbehandlingstrinn for å gjøre dem egnet for bruk i forretningsetterretningssystemer for rapportering og analyse. AI-systemer krever svært spesialiserte datasett for trening for å sikre en høy grad av spesialisering.

Klargjøring av organisatoriske data for bruk i systemer for kunstig intelligens krever mange komplekse Extract-Transform-Load (ETL)-prosesser for å produsere et treningsdatasett før det legges inn i en AI. Mange organisasjoners regulatoriske rammeverk innebærer at personvernlover og -forskrifter må overholdes før uttrekking kan finne sted. Videre må strenge lagringsprosesser overholde regler når uttrekkingen er fullført for å sikre at data lagres og brukes sikkert.

Det finnes enorme mengder data i det nåværende organisatoriske miljøet, hvorav noe er ustrukturert i et format som er lett å jobbe med. Det er også en teknisk utfordring knyttet til å behandle denne informasjonen. Kompleksiteten i dataprepareringen øker når data ikke er statiske og konstant endres i sanntid, og krever dynamiske prosesser.

Vi vil utforske viktige datahensyn i de følgende avsnittene.

Vanlige organisatoriske datakilder

Data lagres i ulike formater og dekker et mangfold av dimensjoner, fra finansielle data til romlig informasjon. Data som fanges opp i kontorproduktivitetssuiter som Microsoft Office og interne formålstjenlige kildesystemer egner seg dårlig for direkte bruk i systemer for kunstig intelligens.

Følgende viser kjente datakilder; denne listen er på ingen måte uttømmende:

• Finansielle data for ERP-regnskapssystemer (Oracle, SAP)
• Romlig data fra GIS-systemer (ESRI ArcGIS)
• Regneark fra kontorproduktivitetsverktøy (Microsoft Excel, Microsoft Access)
• Egendefinerte SQL-databaser brukt bak kildesystemer (Microsoft SQL, MySQL, Oracle, SAP)
• Flatfil-databaser registrert i eldre systemer (IBM Mainframes, indekserte filer)

Forskjellige systemer kan lagre data i ulike formater. Datasett må kobles sammen; dette skaper utfordringer når det er flere systemer. Det er vanlig at dataanalytikere registrerer informasjon manuelt ved hjelp av regneark. Den nåværende trenden er å legge data inn i en datasjø, slik at dataingeniører kan jobbe med dem uten å måtte grensesnittet direkte med kritiske systemer. Dermed var datatransformasjoner nødvendige for å oppnå målene.

Systemer for kunstig intelligens kan gjøre god bruk av disse dataene. Det er imidlertid først når de er prosessert i et passende format for å mates inn i slike systemer at datasjøer og datavarehus er avgjørende for å produsere datasett av høy kvalitet.

Kunstig intelligens og dens relasjon til Extract-Transform-Load (ETL)-prosesser

Tradisjonelle ETL-prosesser vil sannsynligvis ikke endre seg etter hvert som kunstig intelligens blir mer fremtredende. Det er mer sannsynlig at slike teknikker vil bli omdirigert for å produsere datasett som er gunstige for læring og som fungerer godt med AI-systemer. Et eksempel er å ta bilder av objekter og merke dem med en assosiasjon for å la AI-systemer lære.

Det finnes gode muligheter for dataforskere og dataingeniører til å bruke sine ferdigheter innen datapreparering til å bygge datasett for systemer for kunstig intelligens. Det vil være viktig at ETL-prosesser automatiseres og ikke er avhengige av manuelle prosesser for å oppnå maksimal effektivitet ut av sanntids systemer for kunstig intelligens.

Datasjøer og datavarehus som en enkelt kilde for sannhet for bruk i kunstig intelligens

Rådata lagret på tvers av ulike systemer resulterer i fragmentering. For å overvinne dette er det ønskelig å samle all data på ett sted, for eksempel en relasjonsdatabase som tillater spørringer og datamanipulering. Når all data er lagret på ett område, kan den lettere nås og arbeides med for å produsere datasett som gir verdifull informasjon. Det er essensielt å definere en enkelt kilde for sannhet.

Datavarehus kan deretter defineres ved bruk av standarder som Kimball eller Inmon for å skape dimensjoner for å definere fakta eller mål. Et fakta er typisk kategoriske data, mens et mål typisk er numeriske data i den generelle forståelsen. Behandling av data ved bruk av slike standarder gir betydelige fordeler for å sikre effektivitet og nøyaktighet.

Kanskje den mest betydelige fordelen for organisasjoner som har investert i å ha et godt datavarehus, er at det åpner organisasjonens datasett for den bredere organisasjonen. Gitt store organisasjoner har de fleste ansatte ikke tilgang til de kritiske kildesystemene som driver virksomheten; de har imidlertid tilgang til datavarehuset, typisk skrivebeskyttet. Datavarehus gjør det mulig for ansatte å identifisere innsikter som organisasjonens ledelsesstruktur kanskje ikke allerede kjenner til.

Opprettelsen av datavarehus sikrer at hensyn til personvern og reguleringer er definert. Datavarehus bidrar til å sikre at data overføres trygt mellom interessenter. Tilgang til datasjøer og varehus kan også forbedre åpenheten og ansvarlighet for hvordan organisatoriske funksjoner utføres, noe som muliggjør mer stabile driftsprosedyrer.

Visualisering av organisatorisk Big Data

En utfordring med store datamengder er hvordan man best kan visualisere dem og formidle historien de forteller. Tidligere tilnærminger inkluderte rapporteringstjenester som aggregerer dataene fra lavere til høyere nivåer for å vises i standard diagrammer som søylediagrammer, linjediagrammer og spredningsplott. Disse tilnærmingene er egnet for ledelsesrapporter (dvs. salgsrapporter, kontorapporter) som er en del av daglige forretningsoperasjoner. Microsoft SSRS er det vanligste verktøyet som brukes for bedriftsdekkende rapportering.

Avanserte visualiseringsprogrammer dukket opp for å fylle dette gapet, med Tableau og QlikView som dominerte markedet. Tableau fokuserte tungt på fantastiske visualiseringer, mens QlikView klarte å balansere tradisjonelle rapporteringstjenester som Microsoft SSRS og Tableau. Microsoft PowerBI har dominert markedet og anses som mer kompleks av Gartner. Disse programmene skaper dashbord som er utrolig nyttige for å overvåke flere nøkkelmetrikker og integrere slik overvåking som en del av omfattende organisatoriske prosesser. Strategiske beslutningstakere har nylig laget gode dashbord for å ta datadrevne beslutninger, mens operasjonsledere kan reagere raskere for å oppnå bedriftsmål.

Med fremveksten av AI vil visualisering spille en avgjørende rolle. Innsikten som AI-systemer kan produsere er kompleks, og den må kommuniseres i en visuell representasjon som folk enkelt kan forstå. Et utmerket eksempel på dette er å presentere et selvgorganiserende kart (SOM) for å se multivariate data.

Samle data for å mate inn i et kunstig intelligens-system

Gitt tilgang til datasett, er det deretter mulig å ta data fra en relasjonsdatabase og tilby en kobling til et kunstig intelligens-system. De fleste moderne AI-systemer er bygget med Python og er avhengige av moduler som typisk er implementert i C/C++ for å sikre effektivitet.

Siden Python for tiden er det primære verktøyet for å kommunisere med AI, finnes det en rik rekke datakoblinger til mange ulike typer databaser for å få tilgang til data. Videre egner Python seg godt til datamanipulering og utvider den opprinnelige funksjonaliteten ytterligere med rike biblioteker som NumPy og Pandas for å bidra til å forbehandle data som mates inn i spesifikke AI-systemer. Nåværende rammeverk er spesifikke med hensyn til dataformatene som aksepteres. Statisk typede datarammeverk kan hjelpe med dette. GPU-prosessering krever spesifikke datatyper, som neppe vil endres. Derfor må hensyn til datatyper tas på forhånd.

Systemer for kunstig intelligens innen feltet smal AI har spesifikke datakrav, og det er verdt å ta seg tid til å vurdere dette under planleggingsfasene for opprettelse av datasett som skal brukes i nevnte systemer.

Fange, lagre og tolke resultater fra kunstig intelligens

Systemer for kunstig intelligens vil, gitt inndataene, følgelig produsere utdata som må lagres. Enda mer spennende er at resultatene kan mates tilbake i datasjøene/datavarehusene og fortsette prosessen med å levere innsikt, ettersom innsikt kan gi ytterligere innsikt. Håndtering av hvordan utdata lagres må vurderes nøye innen et større rammeverk for datastyring.

Siden kunstig intelligens-systemer behandler enorme mengder informasjon, er det sannsynlig at de finner motintuitive innsikter som et menneske typisk ville oversett. Det er vanligvis disse innsiktene som gir den største konkurrans fordelen. Dermed vil organisasjoner ikke ha noe annet valg enn å ta i bruk disse systemene som et middel for å forbli konkurransedyktige.

Tolkning av resultater fra kunstig intelligens vil kreve nøye overveielse. Akkurat som med dagens forskning, er det mulig at de blir feiltolket. Derfor må dataanalytikere spore gjennom alle datapunkter og tilbakespore hvorfor AI-systemer har gitt spesifikke funn, eller risikere å handle feilaktig på innsikt. Bruk av datavisualiseringsverktøy som beskrevet ovenfor kan anvendes på resultater generert av AI.

I de kommende tiårene vil organisasjoner begynne å stole på informasjon produsert av AI-systemer, og hvordan dataene som underbygger disse systemene styres og implementeres vil være av største betydning.

Kontakt oss i dag for en gratis konsultasjon om hvordan Telemus AI™ kan integreres i din organisasjon.