Řešení umělé inteligence vyžadují vysoce kvalitní data

Organizační data jsou zachytávána a ukládána v různých formátech, od tabulek přes textové dokumenty, relační databáze a textové soubory. Využití organizačních dat zahrnuje sérii kroků předběžného zpracování, aby se stala vhodnými pro použití v systémech business intelligence pro reportování a analýzy. Systémy AI vyžadují pro trénování vysoce specializované datové sady, aby byla zajištěna vysoká míra specializace.

Příprava organizačních dat pro použití v systémech umělé inteligence vyžaduje mnoho složitých procesů Extract-Transform-Load (ETL) k vytvoření trénovací datové sady před jejím zadáním do AI. Regulační rámec mnoha organizací implikuje, že před extrakcí je nutné dodržovat zákony a předpisy o ochraně osobních údajů. Dále musí přísné procesy ukládání splňovat pravidla po dokončení extrakce, aby byla zajištěna bezpečná uložení a používání dat.

V současném organizačním prostředí existují obrovská množství dat, z nichž některá jsou nestrukturovaná ve formátu, se kterým se snadno pracuje. Zpracování těchto informací představuje také technickou výzvu. Složitost přípravy dat se zvyšuje, když data nejsou statická a neustále se mění v reálném čase, a vyžadují dynamické procesy.

V následujících částech prozkoumáme klíčové aspekty týkající se dat.

Běžné zdroje dat organizace

Data jsou ukládána v různých formátech a pokrývají množství dimenzí, od finančních dat po prostorové informace. Data zachycená v kancelářských balíčcích, jako je Microsoft Office, a v interních účelových zdrojových systémech se příliš nehodí pro přímé použití v systémech umělé inteligence.

Následující uvádí známé zdroje dat; tento seznam rozhodně není vyčerpávající:

• Finanční data pro účetní systémy ERP (Oracle, SAP)
• Prostorová data z GIS systémů (ESRI ArcGIS)
• Tabulky z nástrojů pro kancelářskou produktivitu (Microsoft Excel, Microsoft Access)
• Vlastní SQL databáze používané za zdrojovými systémy (Microsoft SQL, MySQL, Oracle, SAP)
• Databáze plochých souborů zachycené v legacy systémech (IBM Mainframes, indexované soubory)

Různé systémy mohou ukládat data v různých formátech. Datové sady vyžadují propojení; toto představuje výzvy, pokud existuje více systémů. Je běžné, že datoví analytici zadávají informace ručně pomocí tabulek. Současným trendem je vkládání dat do datového jezera, aby s nimi mohli datoví inženýři pracovat, aniž by museli přímo komunikovat s kritickými systémy. K dosažení cílů tak bylo zapotřebí transformací dat.

Systémy umělé inteligence mohou s těmito daty skvěle pracovat. Avšak teprve tehdy, když jsou nejprve zpracována ve vhodném formátu pro vstup do takových systémů, se projevuje důležitost datových jezer a datových skladů při vytváření vysoce kvalitních datových sad.

Umělá inteligence a její vztah k procesům Extract-Transform-Load (ETL)

Tradiční procesy ETL se pravděpodobně nezmění, jakmile se umělá inteligence stane výraznější. Je pravděpodobnější, že tyto techniky budou přeorientovány tak, aby vytvářely datové sady, které jsou příznivé pro učení a dobře fungují se systémy AI. Příkladem je pořizování fotografií objektů a jejich označování asociací, což umožňuje systémům AI se učit.

Existují skvělé příležitosti pro datové vědce a datové inženýry využít jejich dovednosti v oblasti přípravy dat k vytváření datových sad pro systémy umělé inteligence. Bude důležité, aby procesy ETL byly automatizované a nespoléhaly se na ruční procesy, aby bylo možné získat maximální efektivitu ze systémů umělé inteligence pracujících v reálném čase.

Datová jezera a datové sklady jako jediný zdroj pravdy pro použití v umělé inteligenci

Surová data uložená v různých systémech vedou k fragmentaci. Pro překonání tohoto problému je žádoucí směrovat všechna data do jednoho umístění, jako je relační databáze, která umožňuje dotazy a manipulaci s daty. Jakmile jsou všechna data uložena v jedné oblasti, lze k nim snáze přistupovat a pracovat s nimi za účelem vytváření datových sad, které poskytují cenné informace. Je nezbytné definovat jediný zdroj pravdy.

Datové sklady mohou být následně definovány pomocí standardů, jako jsou Kimball nebo Inmon, pro vytvoření dimenzí definujících fakta nebo míry. Faktum je typicky kategorická data, zatímco míra je v obecném pojetí typicky numerická data. Zpracování dat pomocí takových standardů nabízí významné výhody v zajištění efektivity a přesnosti.

Snad nejvýznamnější výhodou pro organizace, které investovaly do kvalitního datového skladu, je to, že otevírá organizační datovou sadu širší organizaci. Vzhledem k velkým organizacím většina zaměstnanců nemá přístup ke kritickým zdrojovým systémům, které řídí podnikání; mají však přístup k datovému skladu, obvykle pouze pro čtení. Datové sklady umožňují zaměstnancům identifikovat poznatky, které manažerská struktura organizace běžně nemusí znát.

Vytváření datových skladů zajišťuje, že jsou definovány ohledy na soukromí a regulační požadavky. Datové sklady pomáhají zajistit bezpečný přenos dat mezi zúčastněnými stranami. Přístup k datovým jezerům a skladům může také zlepšit transparentnost a odpovědnost při provádění organizačních funkcí, což umožňuje stabilnější provozní postupy.

Vizualizace velkých organizačních dat

Výzvou velkých dat je, jak je nejlépe zobrazit a předat příběh, který vypráví. Dřívější přístupy zahrnovaly reportovací služby, které agregují data od nižších úrovní k vyšším, aby byly zobrazeny ve standardních grafech, jako jsou sloupcové grafy, spojnicové grafy a bodové grafy. Tyto přístupy jsou vhodné pro manažerské reporty (tj. prodejní reporty, účetní reporty), které jsou součástí každodenních běžných obchodních operací. Microsoft SSRS je nejběžnější nástroj používaný pro reportování v rámci celého podniku.

K vyřešení této mezery se objevily pokročilé vizualizační programy, přičemž na trhu dominovaly Tableau a QlikView. Tableau se silně zaměřovalo na působivé vizualizace, zatímco QlikView se podařilo vyvážit tradiční reportovací služby, jako jsou Microsoft SSRS a Tableau. Microsoft PowerBI trh ovládl a je podle společnosti Gartner považován za složitější. Tyto programy vytvářejí dashboardy, které jsou neuvěřitelně užitečné pro sledování mnoha klíčových metrik a pro integraci takového sledování jako součásti komplexních organizačních procesů. Strategičtí rozhodovací pracovníci nedávno vytvořili skvělé dashboardy pro přijímání rozhodnutí na základě dat, zatímco provozní manažeři mohou rychleji reagovat a plnit firemní cíle.

S nástupem AI bude vizualizace hrát zásadní roli. Poznatky, které mohou systémy umělé inteligence produkovat, jsou složité a je třeba je komunikovat vizuální reprezentací, kterou lidé snadno pochopí. Vynikajícím příkladem toho je prezentace samoorganizující se mapy (SOM) pro zobrazení multivariačních dat.

Slučování dat pro vstup do systémů umělé inteligence

Při přístupu k datovým sadám je možné vzít data z relační databáze a poskytnout konektor k systému umělé inteligence. Většina moderních systémů AI je postavena pomocí Pythonu a spoléhá na moduly typicky implementované v C/C++ pro zajištění efektivity.

Vzhledem k tomu, že Python je v současnosti hlavním nástrojem pro propojení s AI, je k dispozici bohatá řada datových konektorů pro mnoho různých typů databází umožňujících přístup k datům. Python se navíc dobře hodí pro manipulaci s daty a dále rozšiřuje nativní funkčnost pomocí bohatých knihoven, jako jsou NumPy a Pandas, které pomáhají s předzpracováním dat vkládaných do specifických systémů AI. Současné rámce jsou náročné na přijímané formáty dat. Staticky typované datové rámce s tím mohou pomoci. Zpracování na GPU vyžaduje specifické datové typy, u kterých je nepravděpodobná změna. Proto je nutné zohlednit datové typy s předstihem.

Systémy umělé inteligence v oblasti úzké AI mají specifické požadavky na data a je vhodné věnovat čas zvážení tohoto faktu během fáze plánování při vytváření datových sad, které mají být v těchto systémech použity.

Zachytávání, ukládání a interpretace výsledků umělé inteligence

Systémy umělé inteligence budou na základě vstupů následně produkovat výstupy, které bude nutné uložit. Ještě zajímavější je, že výsledky mohou být vráceny zpět do datových jezer a datových skladů a pokračovat v procesu poskytování poznatků, protože poznatky mohou generovat další poznatky. Správa toho, jak jsou výstupy ukládány, bude muset být pečlivě zvážena v rámci širšího rámce řízení dat.

Vzhledem k tomu, že systémy umělé inteligence zpracovávají obrovské množství informací, je pravděpodobné, že najdou neintuitivní poznatky, které by člověk obvykle přehlédl. Obvykle to jsou tyto poznatky, které přinášejí největší konkurenční výhodu. Organizace tedy nebudou mít jinou možnost, než se s těmito systémy zapojit jako prostředkem k udržení konkurenceschopnosti.

Interpretace výsledků umělé inteligence bude vyžadovat pečlivé zvážení. Stejně jako u současných výzkumů je možné, že budou misinterpretovány. Proto musí datoví analytici sledovat všechny datové body a zpětně dohledat, proč systémy AI vedly ke konkrétním zjištěním, jinak hrozí, že budou na základě poznatků jednat nesprávně. Využití nástrojů pro vizualizaci dat, jak je popsáno výše, lze aplikovat na výsledky generované AI.

V nadcházejících desetiletích začnou organizace spoléhat na informace vytvářené systémy AI a způsob, jakým jsou data podporující tyto systémy spravována a implementována, bude mít největší důležitost.

Kontaktujte nás ještě dnes pro bezplatnou konzultaci o tom, jak může být Telemus AI™ integrován do vaší organizace.