Kunstmatige Intelligentie-oplossingen Vereisen Gegevens van Hoge Kwaliteit

Organisatorische gegevens worden vastgelegd en opgeslagen in verschillende formaten, van spreadsheets tot tekstdocumenten, relationele databases en tekstbestanden. Het benutten van organisatorische gegevens omvat een reeks voorbewerkingsstappen om ze geschikt te maken voor gebruik in business intelligence-systemen voor rapportage en analyse. AI-systemen vereisen zeer gespecialiseerde datasets voor training om een hoge mate van specialisatie te waarborgen.

De voorbereiding van organisatiedata voor gebruik in systemen voor kunstmatige intelligentie vereist veel complexe Extract-Transform-Load (ETL) processen om een trainingsdataset te produceren voordat deze in een AI wordt ingevoerd. Het regelgevingskader van veel organisaties impliceert dat privacywetten en -regels moeten worden nageleefd voordat extractie kan plaatsvinden. Verder moeten strikte opslagprocessen voldoen aan regels zodra de extractie is voltooid om ervoor te zorgen dat data veilig worden opgeslagen en gebruikt.

Er zijn enorme hoeveelheden data in de huidige organisatorische omgeving, waarvan sommige ongestructureerd zijn in een formaat dat gemakkelijk te gebruiken is. Er is ook een technische uitdaging bij het verwerken van deze informatie. De complexiteit van datapreparatie neemt toe wanneer data niet statisch is en constant in realtime verandert, en dynamische processen vereist.

We zullen belangrijke overwegingen met betrekking tot gegevens in de volgende secties bespreken.

Veelvoorkomende Organisatorische Databronnen

Data wordt in verschillende formaten opgeslagen en bestrijkt een veelheid aan dimensies, van financiële data tot ruimtelijke informatie. Data die is vastgelegd in kantoorproductiviteitssuites zoals Microsoft Office en interne, doelgerichte bronsystemen lenen zich niet goed voor direct gebruik in systemen voor kunstmatige intelligentie.

Hieronder volgen bekende databronnen; deze lijst is allesbehalve uitputtend:

• Financiële gegevens voor ERP-boekhoudsystemen (Oracle, SAP)
• Ruimtelijke gegevens van GIS-systemen (ESRI ArcGIS)
• Spreadsheets van kantoorproductiviteitstools (Microsoft Excel, Microsoft Access)
• Aangepaste SQL-databases gebruikt achter bronsystemen (Microsoft SQL, MySQL, Oracle, SAP)
• Platte bestandsdatabases vastgelegd in verouderde systemen (IBM Mainframes, geïndexeerde bestanden)

Verschillende systemen kunnen gegevens in verschillende formaten opslaan. Gegevenssets moeten worden samengevoegd; dit levert uitdagingen op wanneer er meerdere systemen zijn. Het is gebruikelijk dat data-analisten informatie handmatig invoeren met behulp van spreadsheets. De huidige trend is om gegevens in een data lake in te voeren, zodat data-engineers ermee kunnen werken zonder direct te hoeven interfacen met kritieke systemen. Daardoor waren gegevenstransformaties vereist om de doelen te bereiken.

Kunstmatige Intelligentie-systemen kunnen in hoge mate gebruikmaken van deze gegevens. Echter, pas wanneer deze eerst in een geschikt formaat zijn verwerkt om in dergelijke systemen te worden ingevoerd, worden data lakes en data warehouses cruciaal bij het produceren van datasets van hoge kwaliteit.

Kunstmatige Intelligentie en de relatie met Extract-Transform-Load (ETL)-processen

Traditionele ETL-processen zullen waarschijnlijk niet veranderen naarmate kunstmatige intelligentie prominenter wordt. Het is waarschijnlijker dat dergelijke technieken opnieuw worden gericht op het produceren van datasets die bevorderlijk zijn voor leren en goed samenwerken met AI-systemen. Een voorbeeld is het nemen van foto's van objecten en deze labelen met een associatie om AI-systemen te laten leren.

Er zijn uitstekende mogelijkheden beschikbaar voor datawetenschappers en data-engineers om hun vaardigheden op het gebied van datapreparatie te gebruiken om datasets te bouwen voor systemen met kunstmatige intelligentie. Het zal belangrijk zijn dat ETL-processen worden geautomatiseerd en niet afhankelijk zijn van handmatige processen om de meeste efficiëntie uit realtime systemen met kunstmatige intelligentie te halen.

Data Lakes en Data Warehouses als Single Source of Truth voor gebruik in Artificial Intelligence

Ruwe data die over verschillende systemen is opgeslagen, leidt tot fragmentatie. Om dit te overwinnen is het wenselijk om alle data naar één locatie te leiden, zoals een relationele database die query's en datamanipulatie toestaat. Zodra alle data op één plek is opgeslagen, kan deze gemakkelijker worden benaderd en gebruikt om datasets te produceren waardevolle informatie opleveren. Het is essentieel om één enkele bron van waarheid te definiëren.

Data Warehouses kunnen vervolgens worden gedefinieerd met behulp van standaarden zoals Kimball of Inmon om dimensies te creëren die feiten of metingen definiëren. Een feit is doorgaans categorische data, terwijl een meting doorgaans numerieke data is in de algemene opvatting. Het verwerken van data met dergelijke standaarden biedt aanzienlijke voordelen bij het waarborgen van efficiëntie en nauwkeurigheid.

Misschien wel het meest significante voordeel voor organisaties die hebben geïnvesteerd in een goed datawarehouse, is dat het de organisatiedataset opent voor de bredere organisatie. Gezien grote organisaties hebben de meeste werknemers geen toegang tot de kritieke bronsystemen die de bedrijfsvoering runnen; echter, ze hebben toegang tot het datawarehouse, typisch alleen-lezen. Datawarehuizen stellen werknemers in staat om inzichten te identificeren die de managementstructuur van de organisatie mogelijk niet algemeen kent.

Het aanmaken van datawarehuizen zorgt ervoor dat privacy- en regelgevingsoverwegingen worden gedefinieerd. Datawarehuizen helpen ervoor te zorgen dat data veilig tussen belanghebbenden wordt overgedragen. Toegang tot datameren en -warehuizen kan ook de transparantie en verantwoording verbeteren van hoe organisatorische functies worden uitgevoerd, wat zorgt voor stabielere werkprocedures.

De visualisatie van Big Data binnen organisaties

Een uitdaging van big data is hoe deze het beste bekeken kan worden en hoe het verhaal dat het vertelt overgebracht kan worden. Eerdere benaderingen omvatten rapportageservices die de data van lager naar hoger niveau aggregeren om te worden weergegeven in standaardgrafieken zoals staafdiagrammen, lijndiagrammen en spreidingsdiagrammen. Deze benaderingen zijn geschikt voor managementrapporten (bijv. verkooprapporten, accountrapporten) die deel uitmaken van de dagelijkse reguliere bedrijfsvoering. Microsoft SSRS is het meest gebruikte hulpmiddel voor bedrijfsbrede rapportage.

Er zijn geavanceerde visualisatieprogramma's ontstaan om deze kloof te overbruggen, waarbij Tableau en QlikView de markt domineerden. Tableau richtte zich sterk op verbluffende visualisaties, terwijl QlikView een balans wist te vinden tussen traditionele rapportageservices zoals Microsoft SSRS en Tableau. Microsoft PowerBI heeft de markt gedomineerd en wordt door Gartner als complexer beschouwd. Deze programma's maken dashboards aan die ongelooflijk nuttig zijn voor het monitoren van meerdere belangrijke metrieken en voor het integreren van dergelijke monitoring als onderdeel van uitgebreide organisatorische processen. Strategische besluitvormers hebben onlangs uitstekende dashboards gemaakt om datagestuurde beslissingen te nemen, terwijl operationeel managers sneller kunnen reageren om bedrijfsdoelstellingen te behalen.

Met de komst van AI zal visualisatie een vitale rol spelen. De inzichten die Artificial Intelligence-systemen kunnen produceren zijn complex, en deze moeten worden gecommuniceerd in een visuele weergave die mensen gemakkelijk kunnen begrijpen. Een uitstekend voorbeeld hiervan is het presenteren van een self-organising map (SOM) om multivariate data te bekijken.

Gegevens Samenvoegen om te Voeden naar een Systemen met Kunstmatige Intelligentie

Met toegang tot datasets is het vervolgens mogelijk om gegevens uit een relationele database te halen en een connector naar een kunstmatige intelligentiesysteem te bieden. De meeste moderne AI-systemen zijn gebouwd met Python en vertrouwen op modules die doorgaans in C/C++ zijn geïmplementeerd om efficiëntie te garanderen.

Aangezien Python momenteel het primaire hulpmiddel is om te communiceren met AI, is er een uitgebreide reeks gegevensconnectors beschikbaar voor veel verschillende soorten databases om toegang te krijgen tot gegevens. Bovendien leent Python zich goed voor gegevensmanipulatie en breidt het de native functionaliteit verder uit met uitgebreide bibliotheken zoals NumPy en Pandas om verder te helpen bij het voorbewerken van gegevens die in specifieke AI-systemen worden ingevoerd. Huidige frameworks zijn specifiek over de geaccepteerde gegevensformaten. Statisch getypeerde gegevensframeworks kunnen hierbij helpen. GPU-verwerking vereist specifieke gegevenstypen, die waarschijnlijk niet zullen veranderen. Daarom moeten overwegingen met betrekking tot gegevenstypen vooraf worden gemaakt.

Kunstmatige Intelligentie-systemen op het gebied van smalle AI hebben specifieke gegevensvereisten, en het is de moeite waard om hier tijd aan te besteden tijdens de planningsfase van het maken van datasets die in genoemde systemen zullen worden gebruikt.

Vastleggen, Opslaan en Interpreteren van Resultaten van Kunstmatige Intelligentie

Kunstmatige Intelligentie-systemen zullen, gegeven de invoer, bijgevolg outputs produceren die moeten worden opgeslagen. Nog opwindender is dat de resultaten kunnen worden teruggevoerd naar de data lakes/data warehouses en het proces van het leveren van inzichten kunnen voortzetten, aangezien inzichten verdere inzichten kunnen opleveren. Het beheer van hoe outputs worden opgeslagen, zal zorgvuldig moeten worden overwogen binnen een breder kader voor gegevensbeheer.

Aangezien kunstmatige intelligentiesystemen enorme hoeveelheden informatie verwerken, is het waarschijnlijk dat zij contra-intuïtieve inzichten vinden die een mens doorgaans zou missen. Het zijn meestal deze inzichten die het meest significante concurrentievoordeel opleveren. Organisaties zullen dus geen andere keuze hebben dan deze systemen in te zetten als middel om concurrerend te blijven.

De interpretatie van resultaten van kunstmatige intelligentie vereist zorgvuldige overweging. Net als bij huidig onderzoek is het mogelijk dat deze verkeerd worden geïnterpreteerd. Daarom moeten data-analisten alle datapunten traceren en nagaan waarom AI-systemen specifieke bevindingen hebben opgeleverd, anders lopen ze het risico onjuist in te spelen op inzichten. Het gebruik van datavisualisatietools zoals hierboven beschreven, kan worden toegepast op resultaten die door AI zijn gegenereerd.

In de komende decennia zullen organisaties steeds meer vertrouwen op informatie die door AI-systemen wordt geproduceerd, en hoe de data die deze systemen ondersteunen worden beheerd en geïmplementeerd, zal van het grootste belang zijn.

Neem vandaag nog contact met ons op voor een gratis adviesgesprek over hoe de Telemus AI™ in uw organisatie kan worden geïntegreerd.