Tölvugreind lausnir krefjast hágæða gagna

Fyrirtækjagögn eru tekin upp og geymd í ýmsum sniðum, frá töflureiknum til textaskjala, tengslagagnagrunna og textaskráa. Nýting fyrirtækjagagna felur í sér röð forvinnsluskrefa til að gera þau hentug til notkunar í viðskiptagreindarkerfum fyrir skýrslur og greiningu. AI kerfi krefjast sérhæfðra gagnasafna til þjálfunar til að tryggja mikla sérhæfingu.

Undirbúningur skipulagslegra gagna fyrir notkun í kerfum gervigreindar krefst margra flókina Extract-Transform-Load (ETL) ferla til að búa til þjálfunargagnasett áður en þau eru innt inn í AI. Regluverk margra stofnana gerir kröfu um að persónuverndarlög og reglugerðir séu virt áður en útdráttur getur átt sér stað. Að auki þurfa strangar geymsluferðir að uppfylla reglur þegar útdráttur er lokinn til að tryggja að gögn séu geymd og notuð á öruggan hátt.

Það eru miklar magn af gögnum í núverandi stofnanalegu umhverfi, þar af sumu óskipulagt á sniði sem er auðvelt að vinna með. Það er einnig tæknileg áskorun við að vinna úr þessum upplýsingum. Flækjustig gagnaundirbúnings eykst þegar gögn eru ekki kyrrstæð og breytast stöðugt í rauntíma, og krefjast breytilegra ferla.

Við munum skoða lykilatriði varðandi gögn í eftirfarandi köflum.

Algengar gagnaveitur stofnana

Gögn eru geymd á ýmsum sniðum og ná yfir fjölmarga víddir, allt frá fjárhagsgögnum til rýmisupplýsinga. Gögn sem tekin eru upp í skrifstofuframleiðnipökkum eins og Microsoft Office og innri tilgangsgerðum upprunakerfum henta ekki vel til beinnar notkunar í kerfum tilbúinnar greindar.

Eftirfarandi telur upp þekktar gagnaheimildir; þessi listi er á engan hátt tæmandi:

• Fjármálagögn fyrir ERP bókhaldskerfi (Oracle, SAP)
• Rýmisgögn úr GIS kerfum (ESRI ArcGIS)
• Töflureiknar úr skrifstofuverkfærum (Microsoft Excel, Microsoft Access)
• Sérsniðin SQL gagnagrunnar notaðir á bak við upprunakerfi (Microsoft SQL, MySQL, Oracle, SAP)
• Flatar skráagagnabankar í eldri kerfum (IBM Mainframes, Indexed skrár)

Mismunandi kerfi geta geymt gögn í ýmsum sniðum. Gagnasöfn þurfa að vera sameinuð; þetta skapar áskoranir þegar um fleiri kerfi er að ræða. Það er algengt að gagnagreinar slái upplýsingar inn handvirkt með töflureiknum. Núverandi tilhneiging er að setja gögn inn í gagnavatn, svo að gagnafræðingar geti unnið með þau án þess að þurfa að tengjast gagnvirkt við mikilvæg kerfi. Þannig krafðist það gagnabreytinga til að ná markmiðum.

Tölvugreind kerfi geta nýtt þessi gagn vel. Hins vegar er það aðeins þegar þau hafa verið unnin í viðeigandi sniði til að færa inn í slík kerfi sem gagnalón og gagnavöruhús eru afgerandi við að framleiða hágæða gagnasöfn.

Gervigreind og tengsl hennar við Extract-Transform-Load (ETL) ferli

Hefðbundnar ETL-ferlar munu líklega ekki breytast þegar gervigreind verður áberandi. Það er líklegra að slíkum aðferðum verði beint að því að framleiða gagnasöfn sem henta til náms og virka vel með AI-kerfum. Dæmi er að taka myndir af hlutum og merkja þau með tengslum til að gera AI-kerfum kleift að læra.

Það eru miklar tækifæri í boði fyrir gagnavísindamenn og gagnaverkfræðinga til að nýta hæfni sína í gagnaundirbúningi til að byggja gagnasöfn fyrir kerfi gervigreindar. Það verður mikilvægt að ETL ferli séu sjálfvirk og treysti ekki á handvirk ferli til að hámarka skilvirkni úr rauntíma kerfum gervigreindar.

Gagnavatn og gagnavöruhús sem eina sannleikauppsprettu til notkunar í tilbúinni greind

Geyming hrággagna yfir mismunandi kerfi leiðir til brotamyndunar. Til að yfirstíga þetta er æskilegt að leiða öll gögn á einn stað, svo sem í tengslagagnagrunn sem leyfir fyrirspurnir og gagnameðhöndlun. Þegar öll gögnin eru geymd á einu svæði er auðveldara að nálgast þau og vinna með þau til að búa til gagnasöfn sem skila dýrmætum upplýsingum. Það er mikilvægt að skilgreina eina sannleiksheimild.

Gagnavöruhús er síðan hægt að skilgreina með því að nota staðla eins og Kimball eða Inmon til að búa til víddir til að skilgreina staðreyndir eða mælistærðir. Staðreynd er yfirleitt flokkunargögn, á meðan mælistærð er yfirleitt töluleg gögn í almennri skilningi. Meðhöndlun gagna með slíkum stöðlum býður upp á verulega ávinninga við að tryggja skilvirkni og nákvæmni.

Kannski er verulegasti kosturinn fyrir stofnanir sem hafa fjárfest í að hafa góðan gagnageymslu að hún opnar skipulagslega gagnasafnið fyrir breiðari skipulag. Vegna stórra stofnana hafa flestar starfsfólk ekki aðgang að mikilvæg upprunakerfum sem keyra reksturinn; hins vegar hafa þau aðgang að gagnageymslunni, venjulega aðeins til lestrar. Gagnageymslur gera starfsfólki kleift að auðkenna innsýn sem stjórnarbygging stofnunarinnar kann ekki almennt.

Stofnun gagnageymslna tryggir að persónuverndar- og regluhugleiðingar séu skilgreindar. Gagnageymslur hjálpa til við að tryggja að gögn séu örugglega flutt milli hagsmunaaðila. Aðgangur að gagnavötnum og gagnageymslum getur einnig bætt gagnsæi og ábyrgð um hvernig fyrirtækisstarfsemi er framkvæmd, sem gerir kleift að hafa stöðugri rekstrarferla.

Sjónræn framsetning á stórum gögnum stofnana

Eitt af áskorunum stórra gagna er hvernig best er að skoða þau og miðla sögunni sem þau segja. Fyrri aðferðir fólust í skýrsluþjónustu sem safnar gögnum frá lægri til hærri stiga til að birta þau í staðlaðum gröfum svo sem súluritum, línuritum og dreifiritum. Þessar aðferðir henta fyrir stjórnunarskýrslur (þ.e. söluskýrslur, reikningsskýrslur) sem eru hluti af daglegum venjulegum rekstri. Microsoft SSRS er algengasta tækið sem notað er fyrir skýrslugerð á fyrirtækisstigi.

Háþróuð forrit fyrir myndræna framsetningu komu fram til að brúa þetta bil, þar sem Tableau og QlikView ráðandi á markaðnum. Tableau lagði mikla áherslu á glæsilega myndræna framsetningu, á meðan QlikView tókst að jafna hefðbundna skýrsluþjónustu eins og Microsoft SSRS og Tableau. Microsoft PowerBI hefur ráðið markaðnum og er talið flóknara af Gartner. Þessi forrit búa til stjórnborð sem eru ótrúlega gagnleg til að fylgjast með mörgum lykilvísum og samþætta slíka eftirlitshlut sem hluta af alhliða skipulagsferlum. Stefnumótandi ákvörðunartakar hafa nýlega búið til góð stjórnborð til að taka gagnadrifnar ákvarðanir, á meðan rekstrarstjórar geta brugðist hraðar við til að ná fyrirtækjamarkmiðum.

Með tilkomu AI mun sjónræn framsetning spila lykilhlutverk. Innsýnin sem kerfi gervigreindar geta framleitt er flókin, og þarf að miðla henni í sjónrænni framsetningu sem fólk getur auðveldlega skilið. Frábært dæmi um þetta er að birta sjálfskipulagða korta (SOM) til að skoða fjölbreytt gögn.

Sameining gagna til inntaks í kerfi tilbúinnar greindar

Miðað við aðgang að gagnasöfnum, er þá mögulegt að taka gögn úr gagnagrunni og bjóða upp á tengi við kerfi með tilbúinn greind. Flest nútíma AI kerfi eru byggð með Python og treysta á einingar sem venjulega eru útfærðar í C/C++ til að tryggja skilvirkni.

Þar sem Python er að svo stöddu aðalverkfærið til að eiga samskipti við AI, er fjöldi gagnatengja í boði fyrir margvíslegar gerðir gagnagrunna til að fá aðgang að gögnum. Að auki hentar Python vel til gagnavinnslu og endurnýjar innbyggt virkni með fjölbreyttum aðgerðasöfnum á borð við NumPy og Pandas til að aðstoða við að forvinna gögn sem eru innleid í tiltekin AI kerfi. Núverandi kerfi gera sérstakar kröfur um samþykkt gagnasnið. Staðlað gagnasnið geta aðstoðað við þetta. GPU vinnsla krefst tiltekinna gagnagerða sem ekki er líklegt að breytist. Því verður að taka tillit til gagnagerða fyrirfram.

Tölvugreind kerfi á þröngu-AI sviðinu hafa sérstakar gagnakröfur, og það er vert að taka sér tíma til að íhuga þetta á skipulagsstigum við að búa til gagnasöfn sem á að nota í tilgreindum kerfum.

Söfnun, geymsla og túlkun niðurstaðna gervigreindar

Tölvugreind kerfi, miðað við inntak, munu í kjölfarið framleiða úttak sem þarf að geyma. Enn spennandi er að niðurstöðurnar geta verið endurfærðar í gagnalónin/gagnavöruhúsin og haldið áfram ferlið við að skila innsæi þar sem innsæi getur skilað frekara innsæi. Stjórnun á því hvernig úttak er geymt þarf að vera íhuguð vandlega innan stærra gagnastjórnunarramma.

Miðað við að kerfi með tilbúinni greind vinna úr miklum magni upplýsinga, er líklegt að finnast óvæntar innsýn sem maður myndi venjulega misst af. Venjulega er það þessi innsýn sem skapar mestan samkeppnisforskot. Því munu stofnanir eiga ekkert val en að taka þátt í þessum kerfum sem hætti til að halda samkeppnishæfni.

Túlkun niðurstaðna gervigreindar krefst vandrar íhugunar. Rétt eins og með núverandi rannsóknir í dag, er mögulegt að rangtúlkun verði á þeim. Þess vegna verða gagnagreinar að rekja sig í gegnum öll gagnapunkti og bakrekja hvers vegna AI kerfi hafa skilað tilteknum niðurstöðum eða áhætta því að bregðast rangt við innsæi. Hægt er að beita gagnamyndunarverkfærum eins og lýst er hér að ofan á niðurstöður sem AI framleiðir.

Á komandi áratugum munu stofnanir byrja að reiða sig á upplýsingar framleiddar af AI kerfum og hvernig gögnin sem styðja þessi kerfi eru stýrð og innleidd verður af mikilvægi að ósködduðu.

Hafðu samband í dag ókeypis ráðgjöf um hvernig Telemus AI™ er hægt að samþætta í stofnunina þína.