Rešitve umetne inteligence zahtevajo visokokakovostne podatke

Organizacijski podatki se zajemajo in shranjujejo v različnih formatih, od preglednic do besedilnih dokumentov, relacijskih baz podatkov in besedilnih datotek. Izraba organizacijskih podatkov vključuje vrsto korakov predobdelave, da postanejo primerni za uporabo v sistemih poslovne inteligence za poročanje in analitiko. Sistemi AI zahtevajo visoko specializirane nabore podatkov za usposabljanje, da se zagotovi visoka stopnja specializacije.

Priprava organizacijskih podatkov za uporabo v sistemih umetne inteligence zahteva veliko kompleksnih procesov Extract-Transform-Load (ETL) za ustvarjanje učne podatkovne množice, preden se vnesejo v AI. Regulativni okvir mnogih organizacij pomeni, da je treba pred ekstrakcijo upoštevati zakone in predpise o zasebnosti. Poleg tega morajo strogi procesi shranjevanja po ekstrakciji upoštevati pravila, da se zagotovi varno shranjevanje in uporaba podatkov.

V trenutnem organizacijskem okolju obstajajo obsežne količine podatkov, od katerih so nekateri nestrukturirani v obliki, ki je enostavna za obdelavo. Pri obdelavi teh informacij obstaja tudi tehnični izziv. Zapletenost priprave podatkov se poveča, ko podatki niso statični in se nenehno spreminjajo v realnem času, kar zahteva dinamične procese.

V naslednjih razdelkih bomo raziskali ključne vidike podatkov.

Pogosti organizacijski viri podatkov

Podatki so shranjeni v različnih formatih in pokrivajo množico dimenzij, od finančnih podatkov do prostorskih informacij. Podatki, zajeti v pisarniških produkcijskih paketih, kot so Microsoft Office, in internih namenskih izvornih sistemih, se ne izkazujejo kot primerni za neposredno uporabo v sistemih umetne inteligence.

Naslednje navaja znane podatkovne vire; ta seznam nikakor ni izčrpen:

• Finančni podatki za računovodske sisteme ERP (Oracle, SAP)
• Prostorski podatki iz sistemov GIS (ESRI ArcGIS)
• Preglednice iz orodij za pisarniško produktivnost (Microsoft Excel, Microsoft Access)
• Baze podatkov SQL po meri, uporabljene za izvornimi sistemi (Microsoft SQL, MySQL, Oracle, SAP)
• Baze podatkov z ravnimi datotekami, zajete v starejših sistemih (IBM Mainframes, indeksirane datoteke)

Različni sistemi lahko shranjujejo podatke v različnih formatih. Nabore podatkov je treba združiti; to predstavlja izzive, ko je več sistemov. Pogosto je, da analitiki podatkov vnesejo informacije ročno z uporabo preglednic. Trenutni trend je vnos podatkov v podatkovno jezero, tako da lahko inženirji podatkov z njimi delajo, ne da bi morali neposredno komunicirati s kritičnimi sistemi. Tako so bila za doseganje ciljev potrebna preoblikovanja podatkov.

Sistemi umetne inteligence lahko odlično uporabijo te podatke. Vendar le takrat, ko so najprej obdelani v primerni obliki za vnos v takšne sisteme, so podatkovna jezera in podatkovna skladišča ključna za proizvodnjo visokokakovostnih naborov podatkov.

Umetna inteligenca in njeno razmerje do procesov Extract-Transform-Load (ETL)

Tradicionalni procesi ETL se verjetno ne bodo spremenili, ko bo umetna inteligenca postala bolj izrazita. Bolj verjetno je, da bodo takšne tehnike preusmerjene v ustvarjanje naborov podatkov, ki so primerni za učenje in dobro delujejo s sistemi AI. Primer je fotografiranje predmetov in označevanje z asociacijo, kar omogoča sistemom AI, da se učijo.

Podatkovnim znanstvenikom in podatkovnim inženirjem so na voljo odlične priložnosti, da uporabijo svoje spretnosti priprave podatkov za izgradnjo naborov podatkov za sistume umetne inteligence. Pomembno bo, da so procesi ETL avtomatizirani in se ne zanašajo na ročne procese, da bi iz sistemov umetne inteligence v realnem času pridobili največjo učinkovitost.

Podatkovna jezera in podatkovna skladišča kot enojni vir resnice za uporabo v umetni inteligenci

Surovi podatki, shranjeni v različnih sistemih, povzročajo fragmentacijo. Da bi to presegli, je zaželeno, da vse podatke preusmerimo na eno mesto, na primer v relacijsko podatkovno bazo, ki omogoča poizvedbe in manipulacijo podatkov. Ko so vsi podatki shranjeni na enem območju, je do njih mogoče lažje dostopati in z njimi delati za ustvarjanje naborov podatkov, ki dajejo dragocene informacije. Bistveno je opredeliti en sam vir resnice.

Podatkovna skladišča je nato mogoče definirati s standardi, kot sta Kimball ali Inmon, za ustvarjanje dimenzij, ki opredeljujejo dejstva ali mere. Dejstvo je običajno kategorični podatek, mera pa je v splošnem razumevanju običajno numerični podatek. Obdelava podatkov s takšnimi standardi ponuja pomembne prednosti pri zagotavljanju učinkovitosti in natančnosti.

Morda je najpomembnejša prednost za organizacije, ki so investirale v dobro podatkovno skladišče, da to odpre organizacijsko podatkovno množico širši organizaciji. Pri velikih organizacijah večina zaposlenih nima dostopa do kritičnih izvornih sistemov, ki poganjajo podjetje; imajo pa dostop do podatkovnega skladišča, običajno samo za branje. Podatkovna skladišča omogočajo zaposlenim, da prepoznajo vpoglede, ki jih upravljavska struktura organizacije morda običajno ne pozna.

Ustvarjanje podatkovnih skladišč zagotavlja, da so določena zasebnostna in regulativna vprašanja. Podatkovna skladišča pomagajo zagotoviti, da se podatki varno prenašajo med deležniki. Dostop do podatkovnih jezer in skladišč lahko izboljša tudi preglednost in odgovornost o izvajanju organizacijskih funkcij, kar omogoča bolj stabilne operativne postopke.

Vizualizacija organizacijskih velikih podatkov

Izziv velikih podatkov je, kako jih najbolje prikazati in sporočiti zgodbo, ki jo pripovedujejo. Zgodnejši pristopi so vključevali storitve poročanja, ki združujejo podatke iz nižjih na višje ravni za prikaz v standardnih grafih, kot so stolpčni grafikoni, črtni grafikoni in razpršeni grafikoni. Ti pristopi so primerni za vodstvena poročila (tj. poročila o prodaji, računovodska poročila), ki so del vsakodnevnih običajnih poslovnih operacij. Microsoft SSRS je najpogostejše orodje, ki se uporablja za poročanje v celotnem podjetju.

Za reševanje te vrzeli so se pojavili napredni programi za vizualizacijo, pri čemer sta trg prevladovala Tableau in QlikView. Tableau se je močno osredotočil na osupljive vizualizacije, medtem ko je QlikView uspel uravnotežiti tradicionalne storitve poročanja, kot so Microsoft SSRS in Tableau. Microsoft PowerBI je prevladoval na trgu in ga Gartner obravnava kot bolj kompleksnega. Ti programi ustvarjajo nadzorne plošče, ki so neizmerno uporabne za spremljanje več ključnih metrik in vključevanje takega spremljanja kot dela celovitih organizacijskih procesov. Strateški odločevalci so nedavno ustvarili odlične nadzorne plošče za sprejemanje na podatkih temelječih odločitev, operativni menedžerji pa lahko hitreje odgovorijo za doseganje korporativnih ciljev.

S prihodom AI bo vizualizacija igrala ključno vlogo. Vpogledi, ki jih lahko ustvarijo sistemi umetne inteligence, so kompleksni in jih je treba sporočiti v vizualni obliki, ki jo ljudje lahko enostavno razumejo. Odličen primer tega je predstavitev samoorganizirne mape (SOM) za ogled multivariatnih podatkov.

Združevanje podatkov za vnos v sisteme umetne inteligence

Z dostopom do naborov podatkov je nato mogoče vzeti podatke iz relacijske baze podatkov in zagotoviti povezavo do sistema umetne inteligence. Večina sodobnih sistemov AI je zgrajenih z uporabo Pythona in se zanaša na module, običajno implementirane v C/C++, da se zagotovi učinkovitost.

Ker je Python trenutno primarno orodje za vmesnik z AI, je na voljo bogata serija podatkovnih konektorjev za številne različne vrste baz podatkov za dostop do podatkov. Poleg tega se Python dobro poda k manipulacijam podatkov in nadalje razširja izvorno funkcionalnost z bogatimi knjižnicami, kot sta NumPy in Pandas, za nadaljnjo pomoč pri predprocesiranju podatkov, vnesenih v specifične sisteme AI. Trenutni okviri so posebni glede podatkovnih formatov, ki so sprejeti. Statično tipizirani podatkovni okviri lahko pri tem pomagajo. Obdelava GPU zahteva specifične podatkovne tipe, za katere je malo verjetno, da se bodo spremenili. Tako je treba podatkovne tipe vnaprej pretehtati.

Sistemi umetne inteligence na področju ozke AI imajo specifične podatkovne zahteve in se splača vzeti čas za razmislek o tem med načrtovanjem ustvarjanja naborov podatkov, ki bodo uporabljeni v omenjenih sistemih.

Zajemanje, shranjevanje in interpretacija rezultatov umetne inteligence

Sistemi umetne inteligence bodo glede na vnose posledično producirali izhode, ki jih bo treba shraniti. Še bolj vznemirljivo je, da je rezultate mogoče vračati nazaj v podatkovna jezera/podatkovna skladišča in nadaljevati proces pridobivanja vpogledov, saj lahko vpogledi prinesejo nadaljnje vpoglede. Upravljanje shranjevanja izhodov bo treba skrbno pretehtati v okviru širšega okvira upravljanja podatkov.

Ker sistemi umetne inteligence obdelujejo ogromne količine informacij, je verjetno, da bodo našli protislovne vpoglede, ki bi jih človek običajno spregledal. Prav ti vpogledi običajno prinašajo najpomembnejšo konkurenčno prednost. Tako organizacijam ne bo preostalo nič drugega, kot da se vključijo v te sisteme kot sredstvo za ohranjanje konkurenčnosti.

Interpretacija rezultatov umetne inteligence bo zahtevala skrbno premisleko. Tako kot pri trenutnih raziskavah je mogoče, da bodo napačno interpretirani. Zato morajo analitiki podatkov slediti vsem podatkovnim točkam in slediti nazaj, zakaj so sistemi AI dali specifične ugotovitve, ali pa tvegati napačno ukrepanje na podlagi vpogleda. Orodja za vizualizacijo podatkov, kot so opisana zgoraj, je mogoče uporabiti za rezultate, ki jih generira AI.

V prihodnjih desetletjih bodo organizacije začele zanašati na informacije, ki jih proizvajajo sistemi AI, in upravljanje ter izvajanje podatkov, ki podpirajo te sisteme, bo ključnega pomena.

Stopite v stik z nami še danes za brezplačno posvetovanje o tem, kako lahko Telemus AI™ integrirate v vašo organizacijo.