Rešenja veštačke inteligencije zahtevaju podatke visokog kvaliteta

Organizacioni podaci se prikupljaju i čuvaju u različitim formatima, od tabela do tekstualnih dokumenata, relacionih baza podataka i tekstualnih datoteka. Iskorišćavanje organizacionih podataka uključuje niz koraka predobrade kako bi postali pogodni za upotrebu u sistemima poslovne inteligencije za izveštavanje i analitiku. AI sistemi zahtevaju visoko specijalizovane skupove podataka za obuku kako bi se osigurao visok stepen specijalizacije.

Priprema organizacionih podataka za upotrebu u sistemima veštačke inteligencije zahteva mnoge složene procese Ekstrakcija-Transformacija-Učitavanje (ETL) kako bi se proizveo skup podataka za obuku pre nego što se unese u AI. Regulatorni okvir mnogih organizacija implicira da zakoni i propisi o privatnosti moraju biti poštovani pre nego što do ekstrakcije može doći. Dalje, strogi procesi skladištenja moraju se pridržavati pravila nakon što se ekstrakcija završi kako bi se osiguralo da su podaci bezbedno uskladišteni i korišćeni.

Postoje ogromne količine podataka u trenutnom organizacionom okruženju, od kojih su neki nestrukturirani u formatu koji je lak za korišćenje. Postoji i tehnički izazov u obradi ovih informacija. Složenost pripreme podataka raste kada podaci nisu statični i stalno se menjaju u realnom vremenu, što zahteva dinamičke procese.

U narednim odeljcima razmotrićemo ključna pitanja u vezi sa podacima.

Uobičajeni izvori organizacionih podataka

Podaci se čuvaju u različitim formatima i obuhvataju mnoštvo dimenzija, od finansijskih podataka do prostornih informacija. Podaci uhvaćeni u kancelarijskim paketima za produktivnost kao što su Microsoft Office i internim izvornim sistemima prilagođenim svrsi nisu pogodni za direktnu upotrebu u sistemima veštačke inteligencije.

Sledeće navodi poznate izvore podataka; ovaj spisak ni na koji način nije iscrpan:

• Finansijski podaci za ERP računovodstvene sisteme (Oracle, SAP)
• Prostorni podaci iz GIS sistema (ESRI ArcGIS)
• Tablice iz alata za kancelarijsku produktivnost (Microsoft Excel, Microsoft Access)
• Prilagođene SQL baze podataka korišćene iza izvornih sistema (Microsoft SQL, MySQL, Oracle, SAP)
• Baze podataka sa ravnim datotekama uhvaćene u nasleđenim sistemima (IBM Mainframes, indeksirane datoteke)

Različiti sistemi mogu skladištiti podatke u različitim formatima. Skupovi podataka zahtevaju spajanje; ovo predstavlja izazove kada postoji više sistema. Uobičajeno je da analitičari podataka unose informacije ručno koristeći tabele. Trenutni trend je unos podataka u jezero podataka, tako da inženjeri podataka mogu raditi sa njima bez potrebe da direktno komuniciraju sa kritičnim sistemima. Dakle, bila su potrebna transformacije podataka za postizanje ciljeva.

Sistemi veštačke inteligencije mogu dobro iskoristiti ove podatke. Međutim, tek kada se prvo obrade u odgovarajućem formatu za unos u takve sisteme, tu postaju ključni data jezera i data skladišta u proizvodnji skupova podataka visokog kvaliteta.

Veštačka inteligencija i njen odnos prema Extract-Transform-Load (ETL) procesima

Tradicionalni ETL procesi se verovatno neće promeniti kako veštačka inteligencija postaje istaknutija. Verovatnije je da će takve tehnike biti preusmerene na proizvodnju skupova podataka koji su pogodni za učenje i dobro funkcionišu sa AI sistemima. Primer je fotografisanje objekata i njihovo označavanje pridruživanjem kako bi AI sistemi mogli da uče.

Postoje sjajne prilike dostupne naučnicima za podatke i inženjerima podataka da iskoriste svoje veštine pripreme podataka za izgradnju skupova podataka za sisteme veštačke inteligencije. Biće važno da se ETL procesi automatizuju i ne oslanjaju se na ručne procese kako bi se postigla maksimalna efikasnost sistema veštačke inteligencije u realnom vremenu.

Data jezera i Data skladišta kao jedinstveni izvor istine za upotrebu u veštačkoj inteligenciji

Sirovi podaci uskladišteni u različitim sistemima rezultiraju fragmentacijom. Da bi se to prevazišlo, poželjno je usmeriti sve podatke na jednu lokaciju, kao što je relacionalna baza podataka koja omogućava upite i manipulaciju podacima. Kada se svi podaci uskladište na jednom mestu, njima se može lakše pristupiti i raditi sa njima kako bi se stvorili skupovi podataka koji daju vredne informacije. Neophodno je definisati jedinstveni izvor istine.

Data skladišta se zatim mogu definisati korišćenjem standarda kao što su Kimball ili Inmon kako bi se kreirale dimenzije za definisanje činjenica ili mera. Činjenica je tipično kategorički podatak, dok je mera tipično numerički podatak u opštem razumevanju. Obrada podataka korišćenjem takvih standarda nudi značajne prednosti u obezbeđivanju efikasnosti i tačnosti.

Možda najznačajnija prednost za organizacije koje su uložile u izgradnju dobrog skladišta podataka je što ono otvara organizacioni skup podataka široj organizaciji. S obzirom na velike organizacije, većina zaposlenih nema pristup kritičnim izvornim sistemima koji pokreću poslovanje; međutim, imaju pristup skladištu podataka, obično samo za čitanje. Skladišta podataka omogućavaju zaposlenima da identifikuju uvide koje menadžmentska struktura organizacije možda ne poznaje uobičajeno.

Kreiranje skladišta podataka osigurava da su razmatranja privatnosti i regulative definisana. Skladišta podataka pomažu u osiguravanju da se podaci bezbedno prenose između zainteresovanih strana. Pristup jezerima podataka i skladištima takođe može poboljšati transparentnost i odgovornost o tome kako se organizacione funkcije sprovode, omogućavajući stabilnije operativne procedure.

Vizualizacija organizacionih Big Data podataka

Izazov velikih podataka je kako ih najbolje prikazati i preneti priču koju oni govore. Raniji pristupi uključivali su izveštajne usluge koje agregiraju podatke od nižih ka višim nivoima kako bi bili prikazani u standardnim grafikonima kao što su stubičasti grafikoni, linijski grafikoni i grafikoni rasturanja. Ovi pristupi su pogodni za izveštaje za menadžment (npr. izveštaje o prodaji, izveštaje o računima) koji su deo svakodnevnih uobičajenih poslovnih operacija. Microsoft SSRS je najčešći alat koji se koristi za izveštavanje na nivou celog preduzeća.

Napredni programi za vizualizaciju pojavili su se kako bi popunili ovaj jaz, pri čemu su Tableau i QlikView dominirali tržištem. Tableau se snažno fokusirao na zadivljujuće vizualizacije, dok je QlikView uspeo da izbalansira tradicionalne usluge izveštavanja kao što su Microsoft SSRS i Tableau. Microsoft PowerBI je dominirao tržištem i smatra se složenijim od strane Gartner-a. Ovi programi kreiraju kontrolne table koje su neverovatno korisne za praćenje više ključnih metrika i integrisanje takvog praćenja kao dela sveobuhvatnih organizacionih procesa. Strateški donosioci odluka su nedavno napravili odlične kontrolne table za donošenje odluka zasnovanih na podacima, dok operativni menadžeri mogu brže reagovati kako bi postigli korporativne ciljeve.

Sa pojavom AI, vizualizacija će igrati vitalnu ulogu. Uvidi koje sistemi Veštačke inteligencije mogu proizvesti su složeni i moraju se komunicirati u vizuelnoj reprezentaciji koju ljudi mogu lako razumeti. Odličan primer za to je predstavljanje samoorganizujuće mape (SOM) za pregled multivarijantnih podataka.

Objedinjavanje podataka za unos u sisteme veštačke inteligencije

Sa pristupom skupovima podataka, moguće je uzeti podatke iz relacione baze podataka i obezbediti konektor ka sistemu veštačke inteligencije. Većina modernih AI sistema izgrađena je korišćenjem Python-a i oslanja se na module koji su tipično implementirani u C/C++ kako bi se osigurala efikasnost.

Pošto je Python trenutno primarni alat za interakciju sa AI, dostupna je bogata serija konektora podataka za mnoge različite tipove baza podataka za pristup podacima. Dalje, Python se dobro prilagođava manipulacijama podacima i dodatno proširuje osnovne funkcionalnosti bogatim bibliotekama kao što su NumPy i Pandas kako bi dodatno pomogli u predobradi podataka koji se unose u specifične AI sisteme. Sadašnji okviri su posebni u pogledu formata podataka koji se prihvataju. Statički tipizirani okviri podataka mogu pomoći u tome. GPU obrada zahteva specifične tipove podataka, za koje je malo verovatno da će se promeniti. Dakle, razmatranja tipova podataka moraju se napraviti unapred.

Sistemi veštačke inteligencije u oblasti uske veštačke inteligencije (narrow-AI) imaju specifične zahteve u pogledu podataka, i vredi izdvojiti vreme da se to razmotri tokom faze planiranja kreiranja skupova podataka koji će se koristiti u navedenim sistemima.

Snimanje, čuvanje i tumačenje rezultata veštačke inteligencije

Sistemi veštačke inteligencije, na osnovu ulaznih podataka, će posledično proizvesti izlaze koji će morati da se skladište. Još uzbudljivije, rezultati se mogu vratiti u data jezera/data skladišta i nastaviti proces pružanja uvida, s obzirom na to da uvidi mogu doneti nove uvide. Upravljanje načinom skladištenja izlaza mora se pažljivo razmotriti u okviru šireg okvira upravljanja podacima (data governance).

S obzirom na to da sistemi veštačke inteligencije obrađuju ogromne količine informacija, verovatno je da će pronaći kontraintuitivne uvide koje bi čovek obično propustio. Upravo ti uvidi obično proizvode najznačajniju konkurentsku prednost. Stoga, organizacije neće imati drugog izbora nego da se bave ovim sistemima kao sredstvom za održavanje konkurentnosti.

Tumačenje rezultata veštačke inteligencije zahtevaće pažljivo razmatranje. Baš kao i sa današnjim istraživanjima, moguće je da će biti pogrešno protumačeni. Stoga, analitičari podataka moraju pratiti sve tačke podataka i pratiti unazad zašto su AI sistemi dali specifične nalaze ili riskirati pogrešno delovanje na osnovu uvida. Upotreba alata za vizualizaciju podataka kao što je gore opisano može se primeniti na rezultate koje generiše AI.

Ulazeći u naredne decenije, organizacije će početi da se oslanjaju na informacije koje proizvode AI sistemi i način na koji se podaci koji podupiru ove sisteme upravljaju i implementiraju biće od najveće važnosti.

Kontaktirajte nas danas za besplatne konsultacije o tome kako se Telemus AI™ može integrisati u vašu organizaciju.