Rješenja vještačke inteligencije zahtijevaju visokokvalitetne podatke

Organizacioni podaci se prikupljaju i pohranjuju u različitim formatima, od proračunskih tabela do tekstualnih dokumenata, relacionih baza podataka i tekstualnih datoteka. Iskorištavanje organizacionih podataka uključuje niz koraka predobrade kako bi postali pogodni za upotrebu u sistemima poslovne inteligencije za izvještavanje i analitiku. AI sistemi zahtijevaju visoko specijalizovane skupove podataka za obuku kako bi se osigurao visok stepen specijalizacije.

Priprema organizacijskih podataka za korištenje u sistemima umjetne inteligencije zahtijeva mnoge složene procese Extract-Transform-Load (ETL) za proizvodnju skupa podataka za obuku prije nego što se unesu u AI. Regulativni okvir mnogih organizacija implicira da se zakoni i propisi o privatnosti moraju poštovati prije nego što ekstrakcija može započeti. Nadalje, strogi procesi pohrane moraju se pridržavati pravila nakon završetka ekstrakcije kako bi se osiguralo da su podaci sigurno pohranjeni i korišteni.

Postoje ogromne količine podataka u trenutnom organizacionom okruženju, od kojih su neki nestrukturirani u formatu koji je lak za rad. Postoji i tehnički izazov u obradi ovih informacija. Složenost pripreme podataka se povećava kada podaci nisu statični i stalno se mijenjaju u realnom vremenu, a zahtijevaju dinamičke procese.

U narednim sekcijama ćemo istražiti ključna razmatranja o podacima.

Uobičajeni organizacioni izvori podataka

Podaci se pohranjuju u različitim formatima i obuhvataju mnoštvo dimenzija, od finansijskih podataka do prostornih informacija. Podaci uhvaćeni u kancelarijskim paketima za produktivnost kao što su Microsoft Office i internim izvornim sistemima prilagođenih specifičnoj svrsi nisu pogodni za direktnu upotrebu u sistemima umjetne inteligencije.

Slijede poznati izvori podataka; ovaj spisak ni na koji način nije iscrpan:

• Finansijski podaci za ERP računovodstvene sisteme (Oracle, SAP)
• Prostorni podaci iz GIS sistema (ESRI ArcGIS)
• Tablice iz alata za kancelarijsku produktivnost (Microsoft Excel, Microsoft Access)
• Prilagođene SQL baze podataka korištene iza izvornih sistema (Microsoft SQL, MySQL, Oracle, SAP)
• Baze podataka ravnih datoteka uhvaćene u naslijeđenim sistemima (IBM Mainframes, indeksirane datoteke)

Različiti sistemi mogu pohranjivati podatke u različitim formatima. Skupovi podataka zahtijevaju spajanje; to predstavlja izazove kada postoji više sistema. Uobičajeno je da analitičari podataka ručno unose informacije koristeći proračunske tablice. Trenutni trend je unos podataka u data lake, tako da inženjeri podataka mogu raditi s njima bez potrebe za direktnim povezivanjem s kritičnim sistemima. Stoga su za postizanje ciljeva bile potrebne transformacije podataka.

Sistemi vještačke inteligencije mogu dobro iskoristiti ove podatke. Međutim, tek kada se prvo obrade u odgovarajućem formatu za unos u takve sisteme, tu su data jezera i data skladišta ključna u proizvodnji visokokvalitetnih skupova podataka.

Vještačka inteligencija i njen odnos sa Extract-Transform-Load (ETL) procesima

Tradicionalni ETL procesi se vjerovatno neće promijeniti kako vještačka inteligencija postaje istaknutija. Vjerovatnije je da će takve tehnike biti preusmjerene na proizvodnju skupova podataka koji su pogodni za učenje i dobro funkcioniraju sa AI sistemima. Primjer je fotografisanje objekata i njihovo označavanje asocijacijom kako bi AI sistemi mogli učiti.

Postoje velike prilike dostupne naučnicima podataka i inženjerima podataka da koriste svoje vještine pripreme podataka za izgradnju skupova podataka za sisteme vještačke inteligencije. Biće važno da se ETL procesi automatizuju i ne oslanjaju na ručne procese kako bi se dobila maksimalna efikasnost iz sistema vještačke inteligencije u realnom vremenu.

Data jezera i Data skladišta kao jedinstveni izvor istine za upotrebu u umjetnoj inteligenciji

Sirovi podaci pohranjeni u različitim sistemima rezultiraju fragmentacijom. Da bi se to prevazišlo, poželjno je usmjeriti sve podatke na jednu lokaciju, kao što je relacijska baza podataka koja omogućava upite i manipulaciju podacima. Kada se svi podaci pohrane na jednom mjestu, njima se može lakše pristupiti i raditi s njima kako bi se proizveli skupovi podataka koji daju vrijedne informacije. Bitno je definisati jedinstveni izvor istine.

Data skladišta se zatim mogu definisati korištenjem standarda kao što su Kimball ili Inmon za kreiranje dimenzija za definisanje činjenica ili mjera. Činjenica je tipično kategorički podatak, dok je mjera tipično numerički podatak u opštem razumijevanju. Obrada podataka korištenjem takvih standarda nudi značajne prednosti u osiguravanju efikasnosti i tačnosti.

Možda je najznačajnija prednost za organizacije koje su investirale u izgradnju dobrog skladišta podataka to što ono otvara organizacijski skup podataka široj organizaciji. S obzirom na velike organizacije, većina zaposlenih nema pristup kritičnim izvornim sistemima koji pokreću poslovanje; međutim, imaju pristup skladištu podataka, obično samo za čitanje. Skladišta podataka omogućavaju zaposlenima da identifikuju uvide koje menadžmentska struktura organizacije možda ne poznaje uobičajeno.

Kreiranje skladišta podataka osigurava da su razmatranja privatnosti i regulative definisana. Skladišta podataka pomažu u osiguravanju da se podaci sigurno prenose između zainteresovanih strana. Pristup jezerima podataka i skladištima također može poboljšati transparentnost i odgovornost o tome kako se organizacione funkcije sprovode, omogućavajući stabilnije operativne procedure.

Vizualizacija organizacionih Big Data podataka

Izazov velikih podataka je kako ih najbolje pregledati i predočiti priču koju oni govore. Raniji pristupi uključivali su izvještajne usluge koje agregiraju podatke od nižih ka višim nivoima kako bi se prikazali u standardnim grafikonima kao što su stubasti grafikoni, linijski grafikoni i grafikoni rasipanja. Ovi pristupi su prikladni za upravljačke izvještaje (npr. izvještaje o prodaji, izvještaje o računima) koji su dio svakodnevnih uobičajenih poslovnih operacija. Microsoft SSRS je najčešći alat koji se koristi za izvještavanje na nivou cijelog preduzeća.

Napredni programi za vizualizaciju pojavili su se kako bi adresirali ovaj jaz, pri čemu su Tableau i QlikView dominirali tržištem. Tableau se snažno fokusirao na zadivljujuće vizualizacije, dok je QlikView uspio balansirati tradicionalne usluge izvještavanja kao što su Microsoft SSRS i Tableau. Microsoft PowerBI je dominirao tržištem i smatra se složenijim od strane Gartner-a. Ovi programi kreiraju kontrolne table koje su nevjerovatno korisne za praćenje više ključnih metrika i integraciju takvog praćenja kao dijela sveobuhvatnih organizacionih procesa. Strateški donosioci odluka su nedavno napravili odlične kontrolne table za donošenje odluka zasnovanih na podacima, dok operativni menadžeri mogu brže reagovati kako bi postigli korporativne ciljeve.

Sa pojavom AI-a, vizualizacija će igrati vitalnu ulogu. Uvidi koje sistemi vještačke inteligencije mogu proizvesti su složeni i moraju se komunicirati u vizuelnom prikazu koji ljudi mogu lako razumjeti. Odličan primjer za to je predstavljanje samoorganizujuće mape (SOM) za pregled multivarijantnih podataka.

Spajanje podataka za unos u sisteme vještačke inteligencije

S obzirom na pristup skupovima podataka, moguće je uzeti podatke iz relacijske baze podataka i obezbijediti konektor za sistem umjetne inteligencije. Većina modernih AI sistema izgrađena je korištenjem Pythona i oslanja se na module koji su obično implementirani u C/C++ kako bi se osigurala efikasnost.

Pošto je Python trenutno primarni alat za interakciju sa AI, bogata serija konektora podataka je dostupna za mnogo različitih tipova baza podataka za pristup podacima. Dalje, Python se dobro prilagođava manipulacijama podacima i dodatno proširuje ugrađene funkcionalnosti sa bogatim bibliotekama kao što su NumPy i Pandas kako bi pomogli u pred-obradi podataka koji se unose u specifične AI sisteme. Sadašnji okviri su posebni u vezi sa formatima podataka koji se prihvataju. Statički tipizirani okviri podataka mogu pomoći u tome. GPU obrada zahtijeva specifične tipove podataka, za koje je malo vjerovatno da će se promijeniti. Dakle, razmatranja tipova podataka moraju se napraviti unaprijed.

Sistemi vještačke inteligencije u oblasti uske AI imaju specifične zahtjeve za podatke, i vrijedno je izdvojiti vrijeme da se to razmotri tokom faza planiranja kreiranja skupova podataka koji će se koristiti u navedenim sistemima.

Snimanje, pohranjivanje i tumačenje rezultata vještačke inteligencije

Sistemi vještačke inteligencije, s obzirom na ulaze, posljedično će proizvesti izlaze koji će morati biti pohranjeni. Još uzbudljivije, rezultati se mogu vratiti u data jezera/data skladišta i nastaviti proces pružanja uvida, jer uvidi mogu donijeti nove uvide. Upravljanje načinom pohranjivanja izlaza mora se pažljivo razmotriti u okviru šireg okvira upravljanja podacima.

S obzirom na to da sistemi umjetne inteligencije obrađuju ogromne količine informacija, vjerovatno je da će pronaći kontraintuitivne uvide koje bi čovjek obično propustio. Upravo ti uvidi obično proizvode najznačajniju konkurentsku prednost. Stoga, organizacije neće imati drugog izbora nego da se bave ovim sistemima kao sredstvom za održavanje konkurentnosti.

Tumačenje rezultata vještačke inteligencije zahtjevaće pažljivo razmatranje. Baš kao i kod današnjih istraživanja, moguće je da će biti pogrešno protumačeni. Stoga, analitičari podataka moraju pratiti sve tačke podataka i utvrditi zašto su AI sistemi dali specifične nalaze ili riskirati pogrešno postupanje na osnovu uvida. Alati za vizualizaciju podataka kao što je gore opisano mogu se primijeniti na rezultate koje generiše AI.

Prelazeći u naredne decenije, organizacije će početi da se oslanjaju na informacije koje proizvode AI sistemi i način na koji se podaci koji podupiru ove sisteme upravljaju i implementiraju biće od najveće važnosti.

Kontaktirajte nas danas za besplatne konsultacije o tome kako se Telemus AI™ može integrirati u vašu organizaciju.