Riešenia umelej inteligencie vyžadujú vysokokvalitné dáta

Organizačné údaje sa zaznamenávajú a ukladajú v rôznych formátoch, od tabuliek po textové dokumenty, relačné databázy a textové súbory. Využívanie organizačných údajov zahŕňa sériu krokov predspracovania, aby sa stali vhodnými na použitie v systémoch business intelligence na reportovanie a analýzu. Systémy AI vyžadujú na trénovanie vysoko špecializované sady údajov, aby sa zabezpečil vysoký stupeň špecializácie.

Príprava organizačných údajov na použitie v systémoch umelej inteligencie vyžaduje mnoho komplexných procesov Extrahovať-Transformovať-Nahrať (ETL) na vytvorenie tréningovej množiny údajov pred zadaním do AI. Regulačný rámec mnohých organizácií naznačuje, že pred extrakciou sa musia dodržiavať zákony a predpisy o ochrane súkromia. Ďalej, prísne procesy ukladania musia spĺňať pravidlá po dokončení extrakcie, aby sa zabezpečilo, že údaje sú bezpečne uložené a používané.

V súčasnom organizačnom prostredí existujú obrovské množstvá údajov, z ktorých niektoré sú neštruktúrované vo formáte, s ktorým sa ľahko pracuje. Spracovanie týchto informácií predstavuje aj technickú výzvu. Zložitosť prípravy údajov sa zvyšuje, keď údaje nie sú statické a neustále sa menia v reálnom čase, a vyžadujú si dynamické procesy.

V nasledujúcich častiach preskúmame kľúové aspekty týkajúce sa údajov.

Bežné zdroje organizačných dát

Údaje sú uložené v rôznych formátoch a pokrývajú množstvo rozmerov, od finančných údajov až po priestorové informácie. Údaje zachytené v kancelárskych balíkoch na zvýšenie produktivity, ako je Microsoft Office, a interné na účel šité zdrojové systémy sa priamo nehodia na použitie v systémoch umelej inteligencie.

Nasledujúci zoznam obsahuje známe dátové zdroje; tento zoznam nie je nijakým spôsobom vyčerpávajúci:

• Finančné údaje pre účtovné systémy ERP (Oracle, SAP)
• Priestorové údaje z GIS systémov (ESRI ArcGIS)
• Tabuľky z nástrojov kancelárskej produktivity (Microsoft Excel, Microsoft Access)
• Vlastné SQL databázy používané za zdrojovými systémami (Microsoft SQL, MySQL, Oracle, SAP)
• Databázy plochých súborov zachytené v starších systémoch (IBM Mainframes, indexované súbory)

Rôzne systémy môžu ukladať údaje v rôznych formátoch. Dátové sady vyžadujú spájanie; toto predstavuje výzvy, keď existuje viacero systémov. Pre dátových analytikov je bežné zadávať informácie manuálne pomocou tabuliek. Súčasným trendom je vkladanie údajov do dátového jazera, aby s nimi mohli dátoví inžinieri pracovať bez priameho rozhrania s kritickými systémami. Na dosiahnutie cieľov boli teda potrebné transformácie údajov.

Systémy umelej inteligencie môžu z týchto dát veľmi ťažiť. Avšak, až keď sú najprv spracované vo vhodnom formáte na vloženie do takýchto systémov, sa ukazuje, že dátové jazerá a dátové sklady sú kľúčové pri produkcii vysokokvalitných datasetov.

Umelá inteligencia a jej vzťah k procesom Extract-Transform-Load (ETL)

Tradičné procesy ETL sa pravdepodobne nezmenia, keď sa umelá inteligencia stane výraznejšou. Je pravdepodobnejšie, že takéto techniky budú presmerované na vytváranie súborov údajov, ktoré sú priaznivé pre učenie a dobre fungujú so systémami AI. Príkladom je fotografovanie objektov a ich označovanie asociáciou, aby sa systémy AI mohli učiť.

Pre dátových vedcov a dátových inžinierov existujú skvelé príležitosti využiť ich zručnosti v oblasti prípravy údajov na vytváranie súborov údajov pre systémy umelej inteligencie. Bude dôležité, aby sa procesy ETL automatizovali a nespoliehali sa na manuálne procesy, aby sa z real-time systémov umelej inteligencie získala maximálna efektivita.

Dátové jazerá a dátové sklady ako jediný zdroj pravdy na použitie v umelej inteligencii

Surové dáta uložené v rôznych systémoch vedú k fragmentácii. Na prekonanie tohto je žiaduce presmerovať všetky dáta do jedného miesta, ako je napríklad relačná databáza, ktorá umožňuje dopyty a manipuláciu s dátami. Keď sú všetky dáta uložené na jednom mieste, dajú sa ľahšie získať a pracovať s nimi na vytváranie dátových súborov, ktoré poskytujú cenné informácie. Je nevyhnutné definovať jediný zdroj pravdy.

Dátové sklady možno následne definovať pomocou štandardov, ako sú Kimball alebo Inmon, na vytvorenie dimenzií na definovanie faktov alebo mierok. Fakt je zvyčajne kategorický údaj, kým mierka je všeobecne chápaná ako číselný údaj. Spracovanie údajov pomocou takýchto štandardov ponúka významné výhody pri zabezpečovaní efektívnosti a presnosti.

Možno najvýznamnejšou výhodou pre organizácie, ktoré investovali do dobrého dátového skladu, je, že otvorí organizačnú množinu údajov širšej organizácii. Vzhľadom na veľké organizácie, väčšina zamestnancov nemá prístup ku kritickým zdrojovým systémom, ktoré riadia podnikanie; majú však prístup k dátovému skladu, zvyčajne iba na čítanie. Dátové sklady umožňujú zamestnancom identifikovať poznatky, ktoré manažérska štruktúra organizácie možno bežne nepozná.

Vytváranie dátových skladov zabezpečuje, že sa definujú aspekty ochrany súkromia a regulačné požiadavky. Dátové sklady pomáhajú zabezpečiť bezpečný prenos dát medzi zainteresovanými stranami. Prístup k dátovým jazerám a skladom môže tiež zlepšiť transparentnosť a zodpovednosť pri vykonávaní organizačných funkcií, čo umožňuje stabilnejšie prevádzkové postupy.

Vizualizácia veľkých organizačných dát

Výzvou big data je, ako ich najlepšie zobraziť a sprostredkovať príbeh, ktorý hovoria. Skoršie prístupy zahŕňali reportovacie služby, ktoré agregujú údaje z nižších na vyššie úrovne, aby sa zobrazili v štandardných grafoch, ako sú stĺpcové grafy, čiarové grafy a bodové grafy. Tieto prístupy sú vhodné pre manažérske prehľady (t. j. predajné prehľady, účtovné prehľady), ktoré sú súčasťou každodenných bežných obchodných operácií. Microsoft SSRS je najbežnejší nástroj používaný na reportovanie v rámci celého podniku.

Objavili sa pokročilé vizualizačné programy, ktoré mali vyriešiť tento problém, pričom na trhu dominovali Tableau a QlikView. Tableau sa sústredil silne na ohromujúce vizualizácie, zatiaľ čo QlikView sa snažil vyvážiť tradičné reportovacie služby, ako sú Microsoft SSRS a Tableau. Microsoft PowerBI ovládol trh a Gartner ho považuje za zložitejší. Tieto programy vytvárajú informačné panely, ktoré sú neuveriteľne užitočné na monitorovanie viacerých kľúčových metrík a integrovanie takéhoto monitorovania ako súčasti komplexných organizačných procesov. Strategickí rozhodovatelia nedávno vytvorili skvelé informačné panely na prijímanie rozhodnutí riadených údajmi, zatiaľ čo manažéri prevádzky môžu rýchlejšie reagovať na dosiahnutie firemných cieľov.

S príchodom AI zohrá vizualizácia kľúčovú úlohu. Poznatky, ktoré dokážu systémy umelej inteligencie vyprodukovať, sú zložité a je potrebné ich komunikovať vo vizuálnej podobe, ktorú ľudia ľahko pochopia. Vynikajúcim príkladom toho je prezentácia samoorganizujúcej sa mapy (SOM) na zobrazenie multivariačných údajov.

Zlučovanie dát na vstup do systémov umelej inteligencie

Pri prístupe k dátovým súborom je možné vziať dáta z relačnej databázy a poskytnúť konektor do systému umelej inteligencie. Väčšina moderných systémov AI je postavená pomocou Pythonu a spolieha sa na moduly zvyčajne implementované v C/C++ na zabezpečenie efektívnosti.

Keďže je Python v súčasnosti hlavným nástrojom na rozhranie s AI, je k dispozícii bohatá séria dátových konektorov pre mnoho rôznych typov databáz na prístup k dátam. Ďalej sa Python dobre hodí na manipuláciu s dátami a ďalej rozširuje natívnu funkcionalitu o bohaté knižnice, ako sú NumPy a Pandas, ktoré pomáhajú ďalej predspracovať dáta vkladané do špecifických systémov AI. Súčasné frameworky sú náročné na dátové formáty, ktoré akceptujú. Staticky typované dátové frameworky s tým môžu pomôcť. Spracovanie GPU vyžaduje špecifické dátové typy, u ktorých je nepravdepodobné, že sa zmenia. Zváženie dátových typov sa preto musí urobiť vopred.

Systémy umelej inteligencie v oblasti úzkej AI majú špecifické dátové požiadavky a oplatí sa venovať čas zváženiu toho počas plánovacích fáz vytvárania datasetov, ktoré sa majú v spomínaných systémoch použiť.

Zachytávanie, ukladanie a interpretácia výsledkov umelej inteligencie

Systémy umelej inteligencie, vzhľadom na vstupy, následne produkujú výstupy, ktoré bude potrebné uložiť. Ešte vzrušujúcejšie je, že výsledky môžu byť vrátené späť do dátových jazier/dátových skladov a pokračovať v procese poskytovania poznatkov, pretože poznatky môžu priniesť ďalšie poznatky. Správa toho, ako sú výstupy ukladané, sa bude musieť starostlivo zvážiť v rámci širšieho rámca riadenia dát.

Vzhľadom na to, že systémy umelej inteligencie spracovávajú obrovské množstvá informácií, je pravdepodobné, že nájdu neintuitívne poznatky, ktoré by človek zvyčajne prehliadol. Zvyčajne sú to práve tieto poznatky, ktoré prinášajú najvýznamnejšiu konkurenčnú výhodu. Organizácie preto nebudú mať inú možnosť, ako sa s týmito systémami zaoberať ako prostriedkom na udržanie konkurencieschopnosti.

Interpretácia výsledkov umelej inteligencie bude vyžadovať dôkladné zváženie. Rovnako ako pri súčasnom výskume, je možné, že budú nesprávne interpretované. Preto musia analytici údajov sledovať všetky údajové body a spätne vystopovať, prečo systémy AI priniesli konkrétne zistenia, inak riskujú nesprávne konanie na základe poznatkov. Na výsledky generované AI možno aplikovať nástroje na vizualizáciu údajov opísané vyššie.

V nadchádzajúcich desaťročiach budú organizácie začať spoliehať na informácie produkované systémami AI a spôsob, akým sa riadia a implementujú dáta podporujúce tieto systémy, bude mať najväčší význam.

Kontaktujte nás ešte dnes pre bezplatnú konzultáciu o tom, ako možno Telemus AI™ integrovať do vašej organizácie.