Rješenja umjetne inteligencije zahtijevaju visokokvalitetne podatke

Organizacijski podaci hvataju se i pohranjuju u različitim formatima, od proračunskih tablica do tekstualnih dokumenata, relacijskih baza podataka i tekstualnih datoteka. Iskorištavanje organizacijskih podataka uključuje niz koraka predobrade kako bi postali prikladni za upotrebu u sustavima poslovne inteligencije za izvještavanje i analitiku. AI sustavi zahtijevaju visoko specijalizirane skupove podataka za treniranje kako bi se osigurao visok stupanj specijalizacije.

Priprema organizacijskih podataka za korištenje u sustavima umjetne inteligencije zahtijeva mnoge složene procese Extract-Transform-Load (ETL) za stvaranje skupa podataka za treniranje prije unosa u AI. Regulativni okvir mnogih organizacija podrazumijeva da se zakoni i propisi o privatnosti moraju poštivati prije nego što se ekstrakcija može izvršiti. Nadalje, strogi procesi pohrane moraju se pridržavati pravila nakon završetka ekstrakcije kako bi se osiguralo da su podaci sigurno pohranjeni i korišteni.

Postoje goleme količine podataka u trenutnom organizacijskom okruženju, od kojih su neki nestrukturirani u formatu koji je lako koristiti. Postoji i tehnički izazov u obradi ovih informacija. Složenost pripreme podataka povećava se kada podaci nisu statični i stalno se mijenjaju u stvarnom vremenu, te zahtijevaju dinamičke procese.

U sljedećim ćemo odjeljcima istražiti ključna pitanja vezana uz podatke.

Uobičajeni organizacijski izvori podataka

Podaci se pohranjuju u različitim formatima i obuhvaćaju mnoštvo dimenzija, od financijskih podataka do prostornih informacija. Podaci prikupljeni u uredskim paketima za produktivnost kao što su Microsoft Office i interni izvorni sustavi prilagođeni svrsi nisu prikladni za izravnu upotrebu u sustavima umjetne inteligencije.

Sljedeće navodi poznate izvore podataka; ovaj popis ni na koji način nije iscrpan:

• Financijski podaci za ERP računovodstvene sustave (Oracle, SAP)
• Prostorni podaci iz GIS sustava (ESRI ArcGIS)
• Proračunske tablice iz alata za uredsku produktivnost (Microsoft Excel, Microsoft Access)
• Prilagođene SQL baze podataka korištene iza izvornih sustava (Microsoft SQL, MySQL, Oracle, SAP)
• Baze podataka s ravnim datotekama uhvaćene u naslijeđenim sustavima (IBM Mainframes, indeksirane datoteke)

Različiti sustavi mogu pohranjivati podatke u različitim formatima. Skupove podataka potrebno je spojiti; to predstavlja izazove kada postoji više sustava. Uobičajeno je da analitičari podataka unose informacije ručno koristeći proračunske tablice. Trenutni trend je unos podataka u podatkovno jezero, kako bi inženjeri podataka mogli raditi s njima bez izravnog povezivanja s kritičnim sustavima. Stoga su za postizanje ciljeva bile potrebne transformacije podataka.

Sustavi umjetne inteligencije mogu dobro iskoristiti ove podatke. Međutim, tek kada se prvo obrade u prikladnom formatu za unos u takve sustave, data lakes i data warehouses postaju ključni u proizvodnji visokokvalitetnih skupova podataka.

Umjetna inteligencija i njezin odnos prema Extract-Transform-Load (ETL) procesima

Tradicionalni ETL procesi vjerojatno se neće promijeniti kako umjetna inteligencija postaje istaknutija. Vjerojatnije je da će takve tehnike biti preusmjerene na stvaranje skupova podataka koji pogoduju učenju i dobro funkcioniraju sa AI sustavima. Primjer je fotografiranje objekata i označavanje ih povezanošću kako bi AI sustavi mogli učiti.

Postoje velike prilike dostupne znanstvenicima podataka i inženjerima podataka da koriste svoje vještine pripreme podataka za izgradnju skupova podataka za sustave umjetne inteligencije. Bit će važno da se ETL procesi automatiziraju i ne oslanjaju na ručne procese kako bi se dobila maksimalna učinkovitost iz sustava umjetne inteligencije u stvarnom vremenu.

Data Lakes i Data Warehouses kao jedinstveni izvor istine za upotrebu u umjetnoj inteligenciji

Sirovi podaci pohranjeni u različitim sustavima rezultiraju fragmentacijom. Da bi se to prevladalo, poželjno je usmjeriti sve podatke na jedno mjesto, kao što je relacijska baza podataka koja omogućuje upite i manipulaciju podacima. Nakon što su svi podaci pohranjeni na jednom mjestu, njima se može lakše pristupiti i raditi s njima kako bi se stvorili skupovi podataka koji daju vrijedne informacije. Bitno je definirati jedinstveni izvor istine.

Data Warehouses se zatim mogu definirati korištenjem standarda kao što su Kimball ili Inmon za stvaranje dimenzija za definiranje činjenica ili mjera. Činjenica je tipično kategorički podatak, dok je mjera tipično numerički podatak u općem razumijevanju. Obrada podataka korištenjem takvih standarda nudi značajne prednosti u osiguravanju učinkovitosti i točnosti.

Možda je najznačajnija prednost za organizacije koje su uložile u izgradnju dobrog skladišta podataka to što ono otvara organizacijski skup podataka široj organizaciji. S obzirom na velike organizacije, većina zaposlenika nema pristup ključnim izvornim sustavima koji pokreću poslovanje; međutim, imaju pristup skladištu podataka, obično samo za čitanje. Skladišta podataka omogućuju zaposlenicima prepoznavanje uvida koje menadžerska struktura organizacije možda uobičajeno ne poznaje.

Stvaranje skladišta podataka osigurava da su pitanja privatnosti i regulatorna pitanja definirana. Skladišta podataka pomažu u osiguravanju sigurnog prijenosa podataka između dionika. Pristup jezerima podataka i skladištima također može poboljšati transparentnost i odgovornost načina na koji se organizacijske funkcije provode, omogućujući stabilnije operativne postupke.

Vizualizacija organizacijskih velikih podataka

Izazov velikih podataka je kako ih najbolje prikazati i predočiti priču koju oni govore. Raniji pristupi uključivali su izvještajne usluge koje agregiraju podatke od nižih prema višim razinama kako bi se prikazali u standardnim grafikonima kao što su stupčasti grafikoni, linijski grafikoni i grafikoni raspršenja. Ovi pristupi prikladni su za upravna izvješća (npr. izvješća o prodaji, izvješća o računima) koja su dio svakodnevnih uobičajenih poslovnih operacija. Microsoft SSRS je najčešći alat koji se koristi za izvještavanje na razini cijelog poduzeća.

Napredni programi za vizualizaciju pojavili su se kako bi popunili ovaj jaz, pri čemu su Tableau i QlikView dominirali tržištem. Tableau se snažno fokusirao na zadivljujuće vizualizacije, dok je QlikView uspio uravnotežiti tradicionalne usluge izvješćivanja kao što su Microsoft SSRS i Tableau. Microsoft PowerBI je dominirao tržištem i Gartner ga smatra složenijim. Ovi programi stvaraju nadzorne ploče koje su nevjerojatno korisne za praćenje više ključnih metrika i integraciju takvog praćenja kao dijela sveobuhvatnih organizacijskih procesa. Strateški donositelji odluka nedavno su stvorili izvrsne nadzorne ploče za donošenje odluka temeljenih na podacima, dok operativni menadžeri mogu brže reagirati kako bi postigli korporativne ciljeve.

S pojavom AI-a, vizualizacija će igrati ključnu ulogu. Uvidi koje sustavi umjetne inteligencije mogu proizvesti složeni su i moraju se komunicirati u vizualnom prikazu koji ljudi mogu lako razumjeti. Izvrstan primjer za to je prikazivanje samoorganizirajuće karte (SOM) za pregled multivarijantnih podataka.

Spajanje podataka za unos u sustave umjetne inteligencije

S obzirom na pristup skupovima podataka, tada je moguće uzeti podatke iz relacijske baze podataka i osigurati konektor sa sustavom umjetne inteligencije. Većina modernih AI sustava izgrađena je pomoću Pythona i oslanja se na module koji su obično implementirani u C/C++-u kako bi se osigurala učinkovitost.

Budući da je Python trenutno primarni alat za sučeljavanje s AI-om, dostupna je bogata serija podatkovnih konektora za mnogo različitih vrsta baza podataka za pristup podacima. Nadalje, Python se dobro prilagođava manipulacijama podacima i dodatno proširuje izvornu funkcionalnost bogatim knjižnicama poput NumPy i Pandas kako bi dodatno pomogao u predobradi podataka koji se unose u specifične AI sustave. Sadašnji okviri su posebni glede formata podataka koji se prihvaćaju. Statički tipizirani podatkovni okviri mogu pomoći u tome. GPU obrada zahtijeva specifične tipove podataka, za koje je malo vjerojatno da će se promijeniti. Stoga se razmatranja tipova podataka moraju napraviti unaprijed.

Sustavi umjetne inteligencije u području uske umjetne inteligencije (narrow-AI) imaju specifične zahtjeve za podatke, te je vrijedno uzeti vremena za razmatranje ovoga tijekom faza planiranja stvaranja skupova podataka koji će se koristiti u navedenim sustavima.

Snimanje, pohranjivanje i tumačenje rezultata umjetne inteligencije

Sustavi umjetne inteligencije, s obzirom na ulazne podatke, posljedično će proizvesti rezultate koji će trebati biti pohranjeni. Još uzbudljivije, rezultati se mogu vraćati u data lakes/data warehouses i nastaviti proces pružanja uvida, budući da uvidi mogu donijeti nove uvide. Upravljanje načinom pohrane rezultata morat će se pažljivo razmotriti u okviru šireg okvira upravljanja podacima.

S obzirom na to da sustavi umjetne inteligencije obrađuju goleme količine informacija, vjerojatno će pronaći kontraintuitivne uvide koje bi čovjek obično propustio. Upravo ti uvidi obično donose najznačajniju konkurentsku prednost. Stoga organizacije neće imati drugog izbora nego se koristiti ovim sustavima kako bi ostale konkurentne.

Tumačenje rezultata umjetne inteligencije zahtijevat će pažljivo razmatranje. Kao i kod današnjih istraživanja, moguće je da će biti pogrešno protumačeni. Stoga analitičari podataka moraju pratiti sve podatkovne točke i rekonstruirati zašto su AI sustavi dali specifične nalaze ili riskirati da djeluju na temelju netočnih uvida. Alati za vizualizaciju podataka kako je gore opisano mogu se primijeniti na rezultate koje generira AI.

Ulazeći u nadolazeća desetljeća, organizacije će početi oslanjati se na informacije koje proizvode AI sustavi, a način upravljanja i implementacije podataka koji podupiru te sustave bit će od najveće važnosti.

Kontaktirajte nas još danas za besplatno savjetovanje o tome kako se Telemus AI™ može integrirati u vašu organizaciju.