Tehisintellekti lahendused nõuavad kvaliteetseid andmeid

Organisatsioonilisi andmeid kogutakse ja salvestatakse erinevates vormingutes, alates arvutustabelitest ja tekstidokumentidest kuni relatsiooniliste andmebaaside ja tekstifailideni. Organisatsiooniliste andmete kasutamine hõlmab mitmeid eeltöötlusetappe, et muuta need sobivaks ärianalüüsi süsteemides raporteerimiseks ja analüüsiks. AI süsteemid vajavad treenimiseks väga spetsialiseeritud andmekogusid, et tagada kõrge spetsialiseerituse tase.

Organisatsiooni andmete ettevalmistamine kasutamiseks tehisintellekti süsteemides nõuab palju keerulisi Extract-Transform-Load (ETL) protsesse, et luua treeningandmekogum enne selle sisestamist AI-sse. Paljude organisatsioonide regulatiivne raamistik tähendab, et privaatsusseadusi ja -määrusi tuleb järgida enne ekstraktimist. Lisaks peavad ranged salvestusprotsessid vastama reeglitele pärast ekstraktimise lõpetamist, et tagada andmete turvaline salvestamine ja kasutamine.

Praeguses organisatsioonilises keskkonnas on tohutu hulk andmeid, millest osa on struktureerimata kujul, millega on lihtne töötada. Selle teabe töötlemisel on ka tehniline väljakutse. Andmete ettevalmistamise keerukus suureneb, kui andmed ei ole staatilised ja muutuvad pidevalt reaalajas, ning nõuavad dünaamilisi protsesse.

Me käsitleme peamisi andmekaalutlusi järgmistes jaotistes.

Levinud organisatsioonilised andmeallikad

Andmeid salvestatakse erinevates vormingutes ja need hõlmavad mitut mõõtmet, alates finantsandmetest kuni ruumilise teabeni. Microsoft Office'iga sarnastes kontoritootlikkuse komplektides ja sisemistes otstarbekates lähtesüsteemides salvestatud andmed ei sobi hästi otseks kasutamiseks tehisintellekti süsteemides.

Järgnev loetleb tuttavad andmeallikad; see loend ei ole sugugi ammendav:

• Finantsandmed ERP raamatupidamissüsteemidele (Oracle, SAP)
• Ruumilised andmed GIS-süsteemidest (ESRI ArcGIS)
• Tabelarvutused kontoritootluse tööriistadest (Microsoft Excel, Microsoft Access)
• Kohandatud SQL-andmebaasid, mida kasutatakse lähtesüsteemide taga (Microsoft SQL, MySQL, Oracle, SAP)
• Lihtfailide andmebaasid, mis on salvestatud pärand süsteemidesse (IBM Mainframes, indekseeritud failid)

Erinevad süsteemid saavad salvestada andmeid erinevates vormingutes. Andmekogumid vajavad ühendamist; see tekitab väljakutseid, kui süsteeme on mitu. Andmeanalüütikute jaoks on tavaline sisestada teavet käsitsi, kasutades arvutustabeleid. Praegune suundumus on andmete sisestamine andmejärve, et andmetehnikud saaksid nendega töötada ilma, et nad peaksid otse suhtlema kriitiliste süsteemidega. Seega olid eesmärkide saavutamiseks vajalikud andmete teisendused.

Tehisintellekti süsteemid saavad neid andmeid hästi kasutada. Kuid alles pärast nende sobivasse vormingusse töötlemist sellistesse süsteemidesse sisestamiseks saavad andmejärved ja andmeladud oluliseks kõrgekvaliteediliste andmekogumite tootmisel.

Tehisintellekt ja selle seos Extract-Transform-Load (ETL) protsessidega

Traditsioonilised ETL protsessid ei muutu tõenäoliselt, kuna tehisintellekt muutub silmatorkavamaks. Tõenäolisem on, et sellised tehnikad suunatakse ümber andmekogumite tootmiseks, mis soodustavad õppimist ja töötavad hästi AI süsteemidega. Näide on objektide fotode tegemine ja nende märgistamine seosega, et võimaldada AI süsteemidel õppida.

Andmeteadlastel ja andmetehnikutel on suurepärased võimalused kasutada oma andmete ettevalmistamise oskusi tehisintellekti süsteemide andmekogumite ehitamiseks. On oluline, et ETL protsessid oleksid automatiseeritud ega sõltuks käsitsi protsessidest, et saavutada reaalajas tehisintellekti süsteemidest suurim tõhusus.

Andmejärved ja andmeladud tehisintellektis kasutamiseks ühe tõeallikana

Erinevates süsteemides salvestatud toorandmed põhjustavad killustatust. Selle ületamiseks on soovitav suunata kõik andmed ühte asukohta, näiteks relatsioonilisse andmebaasi, mis võimaldab päringuid ja andmete töötlemist. Kui kõik andmed on salvestatud ühte kohta, on neile lihtsam juurde pääseda ja neid töödelda, et luua andmekogumid, mis annavad väärtuslikku teavet. On oluline määratleda üks tõe allikas.

Seejärel saab andmeladusid defineerida selliste standardite abil nagu Kimball või Inmon, et luua mõõtmed faktide või näitajate defineerimiseks. Fakt on tavaliselt kategooriline andmed, samas kui näitaja on üldise arusaama kohaselt tavaliselt numbriline andmed. Selliste standardite kasutamine andmete töötlemisel pakub olulisi eeliseid tõhususe ja täpsuse tagamisel.

Võib-olla kõige olulisem eelis organisatsioonidele, kes on investeerinud hea andmelao omistamisse, on see, et see avab organisatsiooni andmekogumi laiemale organisatsioonile. Suurtes organisatsioonides ei ole enamikul töötajatel juurdepääsu äri käitavatele kriitilistele lähtesüsteemidele; neil on siiski juurdepääs andmelaoile, tavaliselt ainult lugemisõigusega. Andmelad võimaldavad töötajatel tuvastada selliseid teadmisi, mida organisatsiooni juhtimisstruktuur tavaliselt ei tea.

Andmeladude loomine tagab, et privaatsus- ja regulatiivsed kaalutlused on defineeritud. Andmeladud aitavad tagada, et andmed kantakse huvigruppide vahel turvaliselt üle. Juurdepääs andmejärvedele ja -ladudele võib samuti parandada organisatsiooni funktsioonide teostamise läbipaistvust ja vastutust, võimaldades stabiilsemaid toimimisprotseduure.

Organisatsiooni Suurandmete Visualiseerimine

Suurandmete väljakutse on, kuidas neid kõige paremini vaadata ja edastada lugu, mida need räägivad. Varasemad lähenemisviisid hõlmasid aruandlusteenuseid, mis koondavad andmed madalamatest tasemetest kõrgematele, et kuvada neid standarddiagrammidena, nagu tulpdiagrammid, joondiagrammid ja hajuvusdiagrammid. Need lähenemisviisid sobivad juhtimisaruannete (st müügiaruanded, kontoraruanded) jaoks, mis on osa igapäevasest tavapärasest tegevusest. Microsoft SSRS on levinum tööriist, mida kasutatakse ettevõtteüleses aruandluses.

Selle lünga täitmiseks tekkisid täiustatud visualiseerimisprogrammid, kus Tableau ja QlikView domineerisid turul. Tableau keskendus tugevalt muljetavaldavatele visualiseeringutele, samas kui QlikView suutis tasakaalustada traditsioonilisi aruandlusteenuseid nagu Microsoft SSRS ja Tableau. Microsoft PowerBI on turul domineerunud ja Gartneri hinnangul peetakse seda keerukamaks. Need programmid loovad armatuurlaudu, mis on äärmiselt kasulikud mitme olulise näitaja jälgimiseks ja sellise jälgimise integreerimiseks osana põhjalikest organisatsioonilistest protsessidest. Strateegilised otsustajad on hiljuti loonud suurepäraseid armatuurlaudu, et teha andmepõhiseid otsuseid, samas kui tegevusjuhid saavad kiiremini reageerida ettevõtte eesmärkide saavutamiseks.

AI saabumisega mängib visualiseerimine elulist rolli. Tehisintellekti süsteemide loodavad ülevaated on keerulised ja neid tuleb edastada visuaalses esituses, mida inimesed saavad hõlpsasti mõista. Suurepärane näide sellest on eneseorganiseeruva kaardi (SOM) esitamine mitmemuutujaliste andmete vaatamiseks.

Andmete koondamine tehisintellekti süsteemidega toitmiseks

Andmekogumitele juurdepääsu omamisel on seejärel võimalik võtta andmeid relatsioonilisest andmebaasist ja pakkuda ühendust tehisintellekti süsteemiga. Enamik kaasaegseid AI-süsteeme on ehitatud Pythoni abil ja sõltuvad moodulitest, mis on tavaliselt juurutatud C/C++-s, et tagada tõhusus.

Kuna Python on praegu peamine tööriist AI-ga suhtlemiseks, on saadaval rikas seeria andmekonnektoreid paljudesse erinevat tüüpi andmebaasidesse andmetele juurdepääsemiseks. Lisaks sobib Python hästi andmete manipuleerimiseks ja laiendab oma põhifunktsionaalsust rikkalike teekidega nagu NumPy ja Pandas, et aidata eeltöödelda andmeid, mis sisestatakse konkreetsetesse AI süsteemidesse. Praegused raamistikud on nõudlikud andmevormingute osas, mis on aktsepteeritud. Staatiliselt tüübitud andmeraamistikud saavad siin abiks olla. GPU töötlemine nõuab konkreetseid andmetüüpe, mis ei pruugi muutuda. Seega tuleb andmetüübi kaalutlusi teha ette.

Kitsa AI valdkonna tehisintellekti süsteemidel on spetsiifilised andmenõuded ning tasub võtta aega, et neid arvestada nende andmekogumite loomise planeerimisetappides, mida nimetatud süsteemides kasutatakse.

Tehisintellekti tulemuste hõivamine, salvestamine ja tõlgendamine

Tehisintellekti süsteemid toodavad sisendite põhjal väljundeid, mis tuleb salvestada. veel põnevam on see, et tulemusi saab suunata tagasi andmejärvedesse/andmeladudesse ja jätkata arusaamade edastamise protsessi, kuna arusaamad võivad anda edasi uusi arusaamu. Väljundite salvestamise haldamist tuleb hoolikalt kaaluda laiemas andmete valitsemise raamistikus.

Arvestades, et tehisintellekti süsteemid töötlevad tohutuid koguseid teavet, on tõenäoline, et need leiavad vastuintuitiivseid teadmisi, mida inimene tavaliselt märkaks. Just need teadmised toovad tavaliselt kõige olulisema konkurentsieelise. Seega ei jää organisatsioonidel muud valikut, kui nende süsteemidega tegeleda, et säilitada konkurentsivõime.

Tehisintellekti tulemuste tõlgendamine nõuab hoolikat kaalumist. Sarnaselt tänase uuringutega on võimalik, et neid tõlgendatakse valesti. Seetõttu peavad andmeanalüütikud jälgima kõiki andmepunkte ja tagasi jälgima, miks AI süsteemid on jõudnud konkreetsete leidudeni, või riskima, et tegutsetakse ekslikult vale arusaama põhjal. Eespool kirjeldatud andmete visualiseerimise tööriistu saab rakendada AI poolt loodud tulemustele.

Järgmistesse kümnendisse liikudes hakkavad organisatsioonid toetuma AI süsteemide toodetud teabele ning nende süsteemide aluseks olevate andmete haldamine ja rakendamine on ülioluline.

Võtke meiega täna ühendust tasuta nõustamiseks selle kohta, kuidas Telemus AI™ saab teie organisatsiooni integreerida.