Dirbtinio intelekto sprendimams reikia aukštos kokybės duomenų

Organizaciniai duomenys yra renkami ir saugomi įvairiais formatais: nuo skaičiuoklių iki tekstų dokumentų, reliacinių duomenų bazių ir teksto failų. Organizacinių duomenų išnaudojimas apima eilę išankstinio apdorojimo žingsnių, kad jie tiktų naudoti verslo išmaniųjų sistemų ataskaitoms ir analizei. AI sistemos reikalauja labai specializuotų duomenų rinkinių mokymui, kad būtų užtikrintas aukštas specializacijos laipsnis.

Organizacijos duomenų paruošimas naudoti dirbtinio intelekto sistemose reikalauja daug sudėtingų Ištraukti-Transformuoti-Pakrauti (ETL) procesų, kad būtų sukurtas mokymo duomenų rinkinys prieš įvedant jį į AI. Daugelio organizacijų reguliavimo sistema reiškia, kad privatumo įstatymai ir reglamentai turi būti laikomasi dar prieš ištraukiant duomenis. Be to, griežti saugojimo procesai turi atitikti taisykles, kai ištraukimas bus baigtas, siekiant užtikrinti, kad duomenys būtų saugomi ir naudojami saugiai.

Esamoje organizacinėje aplinkoje yra didžiuliai duomenų kiekiai, iš kurių kai kurie yra nesusisteminti lengvai apdorojamu formatu. Taip pat yra techninis iššūkis apdorojant šią informaciją. Duomenų paruošimo sudėtingumas didėja, kai duomenys nėra statiniai ir nuolat keičiasi realiu laiku, o tai reikalauja dinaminių procesų.

Tolesniuose skyriuose aptarsime pagrindinius duomenų aspektus.

Dažni organizaciniai duomenų šaltiniai

Duomenys saugomi įvairiais formatais ir apima daugybę dimensijų, nuo finansinių duomenų iki erdvės informacijos. Duomenys, surinkti biuro produktyvumo paketuose, tokiuose kaip „Microsoft Office“, ir vidinėse specializuotose šaltinio sistemose, nėra labai tinkami tiesiogiai naudoti dirbtinio intelekto sistemose.

Toliau išvardyti pažįstami duomenų šaltiniai; šis sąrašas jokiu būdu nėra išsamus:

• Finansiniai duomenys ERP apskaitos sistemoms („Oracle“, „SAP“)
• Erdviniai duomenys iš GIS sistemų (ESRI ArcGIS)
• Skaičiuoklės iš biuro produktyvumo įrankių (Microsoft Excel, Microsoft Access)
• Pasirinktinės SQL duomenų bazės, naudojamos už šaltinių sistemų (Microsoft SQL, MySQL, Oracle, SAP)
• Paprastųjų failų duomenų bazės, saugomos senstinėse sistemose („IBM Mainframes“, indeksuoti failai)

Skirtingos sistemos gali saugoti duomenis įvairiais formatais. Duomenų rinkinius reikia sujungti; tai kelia iššūkių, kai yra kelios sistemos. Duomenų analitikams įprasta įvesti informaciją rankiniu būdu naudojant skaičiuokles. Dabartinė tendencija yra įkelti duomenis į duomenų ežerą, kad duomenų inžinieriai galėtų dirbti su jais neprivalėdami tiesiogiai sąveikauti su kritinėmis sistemomis. Taigi, tikslams pasiekti reikėjo duomenų transformacijų.

Dirbtinio intelekto sistemos gali puikiai išnaudoti šiuos duomenis. Tačiau tik tada, kai jie pirmiausia apdorojami tinkamu formatu, kad būtų paduoti į tokias sistemas, yra vieta, kur duomenų ežerai ir duomenų sandėliai yra labai svarbūs kuriant aukštos kokybės duomenų rinkinius.

Dirbtinis intelektas ir jo ryšys su Extract-Transform-Load (ETL) procesais

Tradicioniniai ETL procesai greičiausiai nepasikeis, kai dirbtinis intelektas taps labiau paplitęs. Labiau tikėtina, kad tokios technikos bus nukreiptos gaminti duomenų rinkinius, kurie palankūs mokymuisi ir gerai veikia su AI sistemomis. Pavyzdys yra objektų nuotraukų darymas ir jų žymėjimas susiejimu, kad AI sistemos galėtų mokytis.

Yra didžiulių galimybių duomenų mokslininkams ir duomenų inžinieriams naudoti savo duomenų paruošimo įgūdžius dirbtinio intelekto sistemų duomenų rinkiniams kurti. Bus svarbu, kad ETL procesai būtų automatizuoti ir nepriklaustumų nuo rankinių procesų, siekiant maksimalaus realaus laiko dirbtinio intelekto sistemų efektyvumo.

Duomenų ežerai ir duomenų sandėliai kaip vienas tiesos šaltinis dirbtiniam intelektui naudoti

Žalių duomenų, saugomų skirtingose sistemose, rezultatas yra fragmentacija. Norint tai įveikti, pageidautina nukreipti visus duomenis į vieną vietą, pavyzdžiui, į reliacinę duomenų bazę, leidžiančią atlikti užklausas ir manipuliuoti duomenimis. Kai visi duomenys saugomi vienoje vietoje, juos galima lengviau pasiekti ir apdoroti, siekiant sukurti duomenų rinkinius, teikiančius vertingos informacijos. Būtina apibrėžti vieną teisingą informacijos šaltinį.

Tada duomenų sandėliai gali būti apibrėžiami naudojant tokius standartus kaip „Kimball“ ar „Inmon“, siekiant sukurti dimensijas faktams ar priemonėms apibrėžti. Faktas paprastai yra kategoriniai duomenys, o priemonė – paprastai skaitiniai duomenys bendruoju supratimu. Duomenų apdorojimas naudojant tokius standartus suteikia reikšmingos naudos užtikrinant efektyvumą ir tikslumą.

Galbūt reikšmingiausias pranašumas organizacijoms, investavusioms į geros duomenų sandėlio sukūrimą, yra tas, kad jis atveria organizacijos duomenų rinkinį visai organizacijai. Atsižvelgiant į dideles organizacijas, dauguma darbuotojų neturi prieigos prie kritinių šaltinio sistemų, valdančių verslą; tačiau jie turi prieigą prie duomenų sandėlio, paprastai tik skaitymo teisėmis. Duomenų sandėliai leidžia darbuotojams nustatyti įžvalgas, kurių organizacijos valdymo struktūra paprastai gali nežinoti.

Duomenų sandėlių kūrimas užtikrina, kad privatumo ir reglamentavimo aspektai būtų apibrėžti. Duomenų sandėliai padeda užtikrinti, kad duomenys būtų saugiai perduodami tarp suinteresuotų šalių. Prieiga prie duomenų ežerų ir sandėlių taip pat gali pagerinti organizacinių funkcijų vykdymo skaidrumą ir atskaitomybę, leisdama stabilesnes operacines procedūras.

Organizacinio „Big Data“ vizualizavimas

Didelių duomenų iššūkis yra tai, kaip geriausiai juos peržiūrėti ir perteikti istoriją, kurią jie pasakoja. Ankstesni metodai apėmė ataskaitų teikimo paslaugas, kurios agreguoja duomenis iš žemesnio į aukštesnį lygį, kad būtų rodomi standartiniuose grafikuose, tokiuose kaip stulpeliniai grafikai, linijiniai grafikai ir sklaidos grafikai. Šie metodai tinka valdymo ataskaitoms (t. y. pardavimo ataskaitoms, sąskaitų ataskaitoms), kurios yra kasdieninių įprastų operacijų dalis. Microsoft SSRS yra dažniausiai naudojamas įrankis visos įmonės ataskaitoms.

Pažangios vizualizavimo programos atsirado norint užpildyti šią spragą, o rinkoje dominuoja Tableau ir QlikView. Tableau daug dėmesio skyrė įspūdingoms vizualizacijoms, o QlikView sugebėjo subalansuoti tradicines ataskaitų paslaugas, tokias kaip Microsoft SSRS ir Tableau. Microsoft PowerBI dominuoja rinkoje ir Gartner laiko ją sudėtingesne. Šios programos sukuria valdymo skydelius, kurie yra nepaprastai naudingi stebint kelis pagrindinius rodiklius ir integruojant tokį stebėjimą kaip visapusiškos organizacijos procesų dalį. Strateginiai sprendimų priėmėjai neseniai sukūrė puikius valdymo skydelius priimti duomenimis pagrįstus sprendimus, o operacijų vadovai gali greičiau reaguoti siekdami įmonės tikslų.

Atsiradus AI, vizualizacija vaidins gyvybiškai svarbų vaidmenį. Įžvalgos, kurias gali pateikti Dirbtinio intelekto sistemos, yra sudėtingos, ir jas reikia pateikti vaizdine forma, kurią žmonės galėtų lengvai suprasti. Puikus to pavyzdys yra savarankiškai organizuojančio žemėlapio (SOM) pateikimas daugiaviečių duomenų peržiūrai.

Duomenų sujungimas, kad būtų galima juos pateikti dirbtinio intelekto sistemoms

Turint prieigą prie duomenų rinkinių, tada galima paimti duomenis iš reliacinės duomenų bazės ir suteikti jungtį prie dirbtinio intelekto sistemos. Dauguma šiuolaikinių AI sistemų sukurtos naudojant „Python“ ir priklauso nuo modulių, paprastai įgyvendintų C/C++, siekiant užtikrinti efektyvumą.

Kadangi Python šiuo metu yra pagrindinis įrankis, skirtas sąveikauti su AI, yra prieinama turtinga serija duomenų jungčių prie daugelio skirtingų tipų duomenų bazių, kad būtų galima pasiekti duomenis. Be to, Python puikiai tinka duomenų manipuliavimui ir dar labiau išplečia savo gimtąją funkcionalumą su turtingomis bibliotekomis, tokiomis kaip NumPy ir Pandas, kad padėtų iš anksto apdoroti duomenis, paduodamus į specifines AI sistemas. Dabartiniai karkasai yra reiklūs duomenų formatams, kurie yra priimami. Statiškai tipizuoti duomenų karkasai gali su tuo padėti. GPU apdorojimas reikalauja specifinių duomenų tipų, kurie vargu ar pasikeis. Taigi, duomenų tipo aspektai turi būti apsvarstyti iš anksto.

Dirbtinio intelekto sistemos siauro AI srityje turi specifinius duomenų reikalavimus, ir verta skirti laiko tai apsvarstyti planavimo etapuose, kuriant duomenų rinkinius, kurie bus naudojami minėtose sistemose.

Dirbtinio intelekto rezultatų fiksavimas, saugojimas ir interpretavimas

Dirbtinio intelekto sistemos, gavusios įvestis, atitinkamai pateiks išvestis, kurias reikės išsaugoti. Dar įdomiau, rezultatai gali būti grąžinti į duomenų ežerus/duomenų sandėlius ir tęsti įžvalgų teikimo procesą, nes įžvalgos gali duoti dar daugiau įžvalgų. Kaip išvestys saugomos, reikės atidžiai apsvarstyti didesnio duomenų valdymo sistemos rėmuose.

Atsižvelgiant į tai, kad dirbtinio intelekto sistemos apdoroja didžiulius informacijos kiekius, tikėtina, kad bus randama nestandartinių įžvalgų, kurių žmogus paprastai nepastebėtų. Būtent šios įžvalgos dažniausiai sukuria didžiausią konkurencinį pranašumą. Taigi, organizacijos neturės kito pasirinkimo, kaip tik naudotis šiomis sistemomis, kad išliktų konkurencingos.

Dirbtinio intelekto rezultatų interpretavimas reikalaus atidaus apsvarstymo. Kaip ir šiandieniniuose tyrimuose, yra rizika, kad jie bus neteisingai interpretuoti. Todėl duomenų analitikai turi sekti visus duomenų taškus ir atsekti, kodėl AI sistemos pateikė tam tikrus rezultatus, arba rizikuoti neteisingai reaguoti į įžvalgas. Pirmiau aprašytų duomenų vizualizavimo įrankių naudojimą galima taikyti AI generuojamiems rezultatams.

Žengiant į ateinančius dešimtmečius, organizacijos pradės pasikliauti AI sistemų pateikiama informacija, o tai, kaip valdomi ir įgyvendinami šias sistemas palaikantys duomenys, bus itin svarbu.

Susisiekite su mumis šiandien dėl nemokamos konsultacijos, kaip Telemus AI™ gali būti integruotas į jūsų organizaciją.