Les solucions d'intel·ligència artificial requereixen dades d'alta qualitat

Les dades organitzatives es capturen i s'emmagatzemen en diversos formats, des de fulls de càlcul fins a documents de text, bases de dades relacionals i fitxers de text. L'aprofitament de les dades organitzatives implica una sèrie de passos de preprocessament per fer-les adequades per al seu ús en sistemes d'intel·ligència empresarial per a informes i analítica. Els sistemes d'IA requereixen conjunts de dades altament especialitzats per a l'entrenament per garantir un alt grau d'especialització.

La preparació de dades organitzatives per al seu ús en sistemes d'intel·ligència artificial requereix molts processos complexos d'Extracció-Transformació-Càrrega (ETL) per produir un conjunt de dades d'entrenament abans d'introduir-los en una AI. El marc regulador de moltes organitzacions implica que cal complir les lleis i normatives de privacitat abans que es pugui produir l'extracció. A més, els processos estrictes d'emmagatzematge han de complir les normes un cop completada l'extracció per garantir que les dades s'emmagatzemin i s'utilitzin de manera segura.

Hi ha grans quantitats de dades en l'entorn organitzatiu actual, algunes de les quals no estan estructurades en un format fàcil de treballar. També hi ha un repte tècnic en processar aquesta informació. La complexitat de la preparació de dades augmenta quan les dades no són estàtiques i canvien constantment en temps real, i requereixen processos dinàmics.

Explorarem les consideracions clau sobre les dades a les següents seccions.

Fonts de Dades Organitzatives Comunes

Les dades s'emmagatzemen en diversos formats i cobreixen una multitud de dimensions, des de dades financeres fins a informació espacial. Les dades capturades en paquets ofimàtics com Microsoft Office i en sistemes font interns específics no s'adapten bé per al seu ús directament en sistemes d'intel·ligència artificial.

El següent llista fonts de dades conegudes; aquesta llista no és de cap manera exhaustiva:

• Dades financeres per a sistemes de comptabilitat ERP (Oracle, SAP)
• Dades espacials de sistemes GIS (ESRI ArcGIS)
• Fulls de càlcul de eines de productivitat d'oficina (Microsoft Excel, Microsoft Access)
• Bases de dades SQL personalitzades utilitzades darrere dels sistemes origen (Microsoft SQL, MySQL, Oracle, SAP)
• Bases de dades de fitxers plans capturades en sistemes heretats (IBM Mainframes, fitxers indexats)

Diferents sistemes poden emmagatzemar dades en diversos formats. Els conjunts de dades requereixen unir-se; això presenta reptes quan hi ha múltiples sistemes. És habitual que els analistes de dades introdueixin la informació manualment utilitzant fulls de càlcul. La tendència actual és introduir les dades en un llac de dades, de manera que els enginyers de dades puguin treballar-hi sense haver d'interactuar directament amb els sistemes crítics. Per tant, es requereixen transformacions de dades per assolir els objectius.

Els sistemes d'intel·ligència artificial poden fer un gran ús d'aquestes dades. No obstant això, només quan primer es processen en un format adequat per introduir-les en aquests sistemes és on els llacs de dades i els magatzems de dades són crucials per produir conjunts de dades d'alta qualitat.

La Intel·ligència Artificial i la seva relació amb els processos d'Extract-Transform-Load (ETL)

És probable que els processos ETL tradicionals no canviïn a mesura que la intel·ligència artificial esdevingui més prominent. És més probable que aquestes tècniques siguin reorientades per produir conjunts de dades que afavoreixin l'aprenentatge i que funcionin bé amb sistemes d'IA. Un exemple és fer fotos d'objectes i etiquetar-los amb una associació per permetre que els sistemes d'IA aprenguin.

Hi ha grans oportunitats disponibles per a científics de dades i enginyers de dades per utilitzar els seus conjunts d'habilitats de preparació de dades per construir conjunts de dades per a sistemes d'intel·ligència artificial. Serà important que els processos ETL s'automatitzin i no depenguin de processos manuals per obtenir la màxima eficiència dels sistemes d'intel·ligència artificial en temps real.

Data Lakes i Data Warehouses com a única font de veritat per al seu ús en Intel·ligència Artificial

Emmagatzemar dades en brut en diferents sistemes provoca fragmentació. Per superar-ho, és desitjable canalitzar totes les dades cap a una única ubicació, com ara una base de dades relacional que permeti consultes i manipulació de dades. Un cop totes les dades s'emmagatzemen en una sola àrea, es pot accedir i treballar-hi més fàcilment per produir conjunts de dades que generin informació valuosa. És essencial definir una única font de veritat.

Els Data Warehouses es poden definir utilitzant estàndards com Kimball o Inmon per crear dimensions per definir fets o mesures. Un fet típic són dades categòriques, mentre que una mesura sol ser dades numèriques en la comprensió general. El processament de dades utilitzant aquests estàndards ofereix beneficis significatius per garantir l'eficiència i la precisió.

Potser l'avantatge més significatiu per a les organitzacions que han invertit a tenir un bon magatzem de dades és que obre el conjunt de dades organitzatiu a tota l'organització. Atès que es tracta d'organitzacions grans, la majoria dels empleats no tenen accés als sistemes font crítics que gestionen el negoci; no obstant això, tenen accés al magatzem de dades, normalment només de lectura. Els magatzems de dades permeten als empleats identificar coneixements que l'estructura de gestió de l'organització pot no conèixer habitualment.

La creació de magatzems de dades garanteix que es defineixin les consideracions de privadesa i regulació. Els magatzems de dades ajuden a garantir que les dades es transfereixin de manera segura entre les parts interessades. L'accés als llacs de dades i als magatzems també pot millorar la transparència i la responsabilitat de com es duen a terme les funcions organitzatives, permetent procediments operatius més estables.

La Visualització de les Big Data Organitzatives

Un repte de les dades massives és com visualitzar-les millor i transmetre la història que expliquen. Els enfocaments anteriors incloïen serveis d'informes que agreguen les dades de nivells inferiors a superiors per mostrar-les en gràfics estàndard com ara gràfics de barres, gràfics de línies i diagrames de dispersió. Aquests enfocaments són adequats per a informes de gestió (és a dir, informes de vendes, informes de comptes) que formen part de les operacions diàries habituals del negoci. Microsoft SSRS és l'eina més comuna utilitzada per a informes a tota l'empresa.

Han sorgit programes avançats de visualització per abordar aquest buit, amb Tableau i QlikView dominant el mercat. Tableau es va centrar fortament en visualitzacions impressionants, mentre que QlikView va aconseguir equilibrar els serveis tradicionals d'informes com Microsoft SSRS i Tableau. Microsoft PowerBI ha dominat el mercat i és considerat més complex per Gartner. Aquests programes creen taulers de control que són increïblement útils per monitoritzar múltiples mètriques clau i integrar aquesta monitorització com a part de processos organitzatius globals. Els responsables de la presa de decisions estratègiques han creat recentment excel·lents taulers de control per prendre decisions basades en dades, mentre que els gestors d'operacions poden respondre més ràpidament per assolir els objectius corporatius.

Amb l'arribada de la AI, la visualització tindrà un paper vital. Les idees que els sistemes d'Intel·ligència Artificial poden produir són complexes i s'han de comunicar en una representació visual que la gent pugui entendre fàcilment. Un excel·lent exemple d'això és presentar un mapa d'autoorganització (SOM) per visualitzar dades multivariables.

Unificació de Dades per Alimentar un Sistema d'Intel·ligència Artificial

Donat l'accés a conjunts de dades, és possible prendre dades d'una base de dades relacional i proporcionar un connector a un sistema d'intel·ligència artificial. La majoria dels sistemes AI moderns es construeixen utilitzant Python i depenen de mòduls normalment implementats en C/C++ per garantir l'eficiència.

Com que Python és actualment l'eina principal per interactuar amb la AI, hi ha disponible una àmplia sèrie de connectors de dades per a molts tipus diferents de bases de dades per accedir a les dades. A més, Python s'adapta bé a les manipulacions de dades i amplia encara més la funcionalitat nativa amb biblioteques riques com NumPy i Pandas per ajudar a preprocessar les dades que s'introdueixen en sistemes d'AI específics. Els marcs actuals són exigents pel que fa als formats de dades que s'accepten. Els marcs de dades de tipus estàtic poden ajudar en això. El processament amb GPU requereix tipus de dades específics, que és improbable que canviïn. Per tant, cal tenir en compte les consideracions sobre els tipus de dades amb antelació.

Els sistemes d'intel·ligència artificial en el camp de la IA estreta tenen requisits de dades específics, i val la pena dedicar temps a considerar-ho durant les etapes de planificació de la creació de conjunts de dades que s'utilitzaran en aquests sistemes.

Captura, Emmagatzematge i Interpretació de Resultats d'Intel·ligència Artificial

Els sistemes d'intel·ligència artificial, donades les entrades, conseqüentment produiran sortides que hauran d'emmagatzemar-se. El més emocionant és que els resultats es poden reintroduir als llacs de dades/magatzems de dades i continuar el procés de generació d'informació, ja que la informació pot generar més informació. La gestió de com s'emmagatzemen les sortides haurà de considerar-se curosament dins d'un marc més ampli de governança de dades.

Atès que els sistemes d'intel·ligència artificial processen grans quantitats d'informació, és probable que trobin coneixements contra-intuïtius que un humà normalment no detectaria. Normalment són aquests coneixements els que produeixen l'avantatge competitiu més significatiu. Per tant, les organitzacions no tindran més remei que involucrar-se amb aquests sistemes com a mitjà per mantenir la competitivitat.

La interpretació dels resultats de la intel·ligència artificial requerirà una consideració acurada. Igual que amb la recerca actual avui dia, és possible que es malinterpreti. Per tant, els analistes de dades han de rastrejar tots els punts de dades i retrocedir per què els sistemes d'AI han produït resultats específics o arriscar-se a actuar incorrectament sobre la informació obtinguda. L'ús d'eines de visualització de dades com les descrites anteriorment es pot aplicar als resultats generats per AI.

Entrant en les properes dècades, les organitzacions començaran a dependre de la informació produïda pels sistemes d'AI i com es governen i implementen les dades que sustenten aquests sistemes serà de la màxima importància.

Poseu-vos en contacte amb nosaltres avui mateix per a una consulta gratuïta sobre com el Telemus AI™ es pot integrar a la vostra organització.