Ang mga Artificial Intelligence Solution ay Nangangailangan ng High-Quality Data

Ang data na organisasyonal ay nakukuha at iniimbak sa iba't ibang format, mula sa mga spreadsheet hanggang sa mga word document, relational database, at text file. Ang paggamit sa data na organisasyonal ay nagsasangkot ng isang serye ng mga hakbang sa pre-processing upang gawing angkop para sa paggamit sa mga business intelligence system para sa pag-uulat at analytics. Nangangailangan ang mga AI system ng mga highly specialised dataset para sa training upang matiyak ang mataas na antas ng specialisation.

Ang paghahanda ng datos ng organisasyon para magamit sa mga sistema ng artificial intelligence ay nangangailangan ng maraming kumplikadong Extract-Transform-Load (ETL) na proseso upang makabuo ng training dataset bago ipasok sa isang AI. Ang regulatory framework ng maraming organisasyon ay nagpapahiwatig na kinakailangang sundin ang mga batas at regulasyon sa privacy bago makagawa ng extraction. Bilang karagdagan, mahigpit na proseso ng storage ay kinakailangang sumunod sa mga patakaran kapag nakumpleto na ang extraction upang matiyak na ang datos ay ligtas na nakaimbak at ginagamit.

Mayroong malalaking dami ng data sa kasalukuyang organisasyonal na kapaligiran, ang ilan sa mga ito ay hindi structured sa isang format na madaling gamitin. Mayroon ding teknikal na hamon sa pagproseso ng impormasyong ito. Tumataas ang pagiging komplikado ng paghahanda ng data kapag ang data ay hindi static at patuloy na nagbabago sa real-time, at nangangailangan ng mga dynamic na proseso.

Tatalakayin namin ang mga pangunahing pagsasaalang-alang sa data sa mga sumusunod na seksyon.

Karaniwang Pinagmumulan ng Data ng Organisasyon

Ang data ay nakaimbak sa iba't ibang format at sumasaklaw sa maraming dimensyon, mula sa pinansyal na data hanggang sa spatial na impormasyon. Ang data na nakukuha sa mga office productivity suite tulad ng Microsoft Office at mga panloob na fit for purpose source system ay hindi angkop para direktang paggamitin sa mga artificial intelligence system.

Naglilista ang sumusunod ng mga pamilyar na pinagmulan ng data; ang listahang ito ay hindi sa anumang paraan lubos:

• Pinansiyal na Data para sa mga ERP Accounting System (Oracle, SAP)
• Spatial Data mula sa GIS Systems (ESRI ArcGIS)
• Mga Spreadsheet mula sa Office Productivity Tools (Microsoft Excel, Microsoft Access)
• Custom SQL databases na ginagamit sa likod ng mga source system (Microsoft SQL, MySQL, Oracle, SAP)
• Mga flat file database na nakunan sa mga legacy system (IBM Mainframes, Indexed files)

Iba't ibang mga system ay maaaring mag-imbak ng data sa iba't ibang format. Kinakailangan ang pag-join ng mga dataset; nagdudulot ito ng mga hamon kapag may maraming mga system. Karaniwan para sa mga data analyst na manu-manong ilagay ang impormasyon gamit ang mga spreadsheet. Ang kasalukuyang uso ay ilagay ang data sa isang data lake, upang makapagtrabaho ang mga data engineer dito nang hindi direktaang nakikipag-interface sa mga critical system. Kaya naman, nangangailangan ito ng mga data transformation upang makamit ang mga layunin.

Ang mga Artificial Intelligence system ay maaaring magamit nang husto sa data na ito. Gayunpaman, kapag ito ay unang naiproseso sa angkop na format upang ipasok sa mga naturang system, doon mahalaga ang data lakes at data warehouses sa paglikha ng mga high-quality dataset.

Ang Artificial Intelligence at ang ugnayan nito sa mga proseso ng Extract-Transform-Load (ETL)

Hindi malamang na magbabago ang mga tradisyonal na proseso ng ETL habang nagiging mas prominenteng ang artificial intelligence. Mas malamang na ang mga ganitong teknik ay muling ituturo upang lumikha ng mga dataset na paborableng para sa pagkatuto na gumana nang maayos sa mga AI system. Isang halimbawa ay ang pagkuha ng mga larawan ng mga bagay at pag-label sa mga ito ng isang asosasyon upang payagan ang mga AI system na matuto.

Mayroong magagandang pagkakataon para sa mga data scientist at data engineer na gamitin ang kanilang mga kasanayan sa paghahanda ng data upang bumuo ng mga dataset para sa mga artificial intelligence system. Magiging mahalaga na ang mga proseso ng ETL ay awtomatiko at hindi umaasa sa mga manu-manong proseso upang makakuha ng pinakamataas na episyensiya mula sa mga real-time artificial intelligence system.

Data Lakes at Data Warehouses bilang Nag-iisang Pinagmulan ng Katotohanan para sa paggamit sa Artificial Intelligence

Ang mga hilaw na datos na nakaimbak sa iba't ibang sistema ay nagreresulta sa fragmentation. Upang malampasan ito, kanais-nais na i-pipe ang lahat ng datos sa isang lokasyon, tulad ng isang relational database na nagpapahintulot ng mga query at pagmamanipula ng datos. Kapag ang lahat ng datos ay nakaimbak sa isang lugar, mas madali itong ma-access at gamitin upang makabuo ng mga dataset na nagbibigay ng mahalagang impormasyon. Mahalagang tukuyin ang isang solong pinagmulan ng katotohanan.

Ang mga Data Warehouse ay maaaring tukuyin gamit ang mga pamantayan tulad ng Kimball o Inmon upang lumikha ng mga dimensyon upang tukuyin ang mga fact o measure. Ang isang fact ay karaniwang categorical data, habang ang isang measure ay karaniwang numerical data sa pangkalahatang pag-unawa. Ang pagproseso ng data gamit ang mga ganitong pamantayan ay nag-aalok ng mahahalagang benepisyo sa pagtiyak sa kahusayan at katumpakan.

Marahil ang pinakamahalagang bentahe para sa mga organisasyon na nag-imbak sa pagkakaroon ng isang magandang data warehouse ay nagbubukas ito ng organisasyonal na dataset sa mas malawak na organisasyon. Sa mga malalaking organisasyon, karamihan sa mga empleyado ay walang access sa mga kritikal na source system na nagpapatakbo ng negosyo; gayunpaman, mayroon silang access sa data warehouse, karaniwang read-only. Ang mga data warehouse ay nagpapahintulot sa mga empleyado na tukuyin ang mga insight na maaaring hindi pangkaraniwang alam ng estruktura ng pamamahala ng organisasyon.

Ang paglikha ng mga data warehouse ay nagsisiguro na ang mga pagsasaalang-alang sa privacy at regulasyon ay tinukoy. Tinutulungan ng mga data warehouse na matiyak na ligtas na naililipat ang datos sa pagitan ng mga stakeholder. Ang pag-access sa mga data lake at warehouse ay maaari ring mapahusay ang transparency at accountability kung paano isinasagawa ang mga tungkulin ng organisasyon, na nagpapahintulot ng mas matatag na mga operating procedure.

Ang Visualisasyon ng Organisasyonal na Big Data

Isang hamon ng malaking data ay kung paano pinakamahusay na titingnan ito at ipapakita ang kuwento na sinasabi nito. Kasama sa mga naunang diskarte ang mga serbisyong nag-uulat na nag-iipon ng data mula sa mas mababa patungo sa mas mataas na antas upang ipakita sa mga karaniwang tsart tulad ng bar charts, line charts, at scatter plots. Ang mga diskarteng ito ay angkop para sa mga ulat ng pamamahala (hal. mga ulat ng benta, mga ulat ng account) na bahagi ng pang-araw-araw na negosyo bilang mga karaniwang operasyon. Ang Microsoft SSRS ang pinakakaraniwang ginagamit na tool para sa pag-uulat sa buong enterprise.

Lumitaw ang mga advanced na programa sa visualisasyon upang matugunan ang puwang na ito, kasama ang Tableau at QlikView na nanaig sa merkado. Nakatutok nang malaki ang Tableau sa mga nakamamanghang visualisasyon, habang nagawang balansehin ng QlikView ang mga tradisyonal na serbisyong pag-uulat tulad ng Microsoft SSRS at Tableau. Nanaig ang Microsoft PowerBI sa merkado at itinuturing na mas komplikado ng Gartner. Lumilikha ang mga programang ito ng mga dashboard na lubhang kapaki-pakinabang para sa pagsubaybay sa maraming pangunahing sukatan at pagsasama ng nasabing pagsubaybay bilang bahagi ng mga komprehensibong prosesong organisasyonal. Kamakailan ay gumawa ang mga tagapagpasya sa estratehiya ng mga magagandang dashboard upang makagawa ng mga desisyong nakabatay sa datos, habang ang mga tagapamahala ng operasyon ay mas mabilis na makatugon upang makamit ang mga layunin ng korporasyon.

Sa pagdating ng AI, mahalagang papel ang gagampanan ng visualisasyon. Ang mga pananaw na maaaring likhain ng mga Artificial Intelligence system ay kumplikado, at ito ay kailangang ihatid sa isang visual na representasyon na madaling mauunawaan ng mga tao. Isang magandang halimbawa nito ay ang pagpapakita ng isang self-organising map (SOM) upang matingnan ang multivariate data.

Pag-iipon ng Data upang Ipakain sa isang Artificial Intelligence Systems

Sa pagkakaroon ng access sa mga dataset, posiblong kunin ang data mula sa isang relational database at magbigay ng isang connector sa isang artificial intelligence system. Karamihan sa mga modernong AI system ay ginawa gamit ang Python at umaasa sa mga module na karaniwang ipinatutupad sa C/C++ upang masiguro ang kahusayan.

Dahil ang Python ay kasalukuyang pangunahing kasangkapan upang makipag-ugnayan sa AI, mayroong mayamang serye ng mga data connector na available sa maraming iba't ibang uri ng mga database upang ma-access ang data. Bilang karagdagan, ang Python ay angkop sa mga manipulasyon ng data at mas nagpapalawak ng katutubong functionality sa mayamang mga library tulad ng NumPy at Pandas upang mas matulungan sa pre-processing ng data na ipapakain sa mga partikular na AI system. Ang mga kasalukuyang framework ay partikular sa mga format ng data na tinatanggap. Ang mga statically typed na data framework ay makakatulong dito. Ang GPU processing ay nangangailangan ng mga partikular na data type, na malamang na hindi magbabago. Kaya, ang mga pagsasaalang-alang sa data type ay dapat gawin nang maaga.

Ang mga Artificial Intelligence system sa narrow-AI field ay may mga partikular na kinakailangan sa data, at kapaki-pakinabang na maglaan ng panahon upang isaalang-alang ito sa panahon ng planning stage sa paglikha ng mga dataset na gagamitin sa mga nasabing system.

Pag-capture, Pag-iimbak, at Pag-interpret ng Mga Resulta ng Artificial Intelligence

Ang mga Artificial Intelligence system, batay sa mga input, dahil dito ay lilikha ng mga output na kailangang i-store. Mas nakaka-excite, ang mga resulta ay maaaring ibalik sa data lakes/data warehouses at ipagpatuloy ang proseso ng pagbibigay ng mga insight dahil ang mga insight ay maaaring magbunga ng karagdagang insight. Ang pamamahala kung paano i-store ang mga output ay kailangang isaalang-alang nang mabuti sa loob ng isang mas malaking data governance framework.

Dahil nagpoproseso ang mga artificial intelligence system ng napakalaking dami ng impormasyon, malamang na makahanap ng mga counter-intuitive insight na karaniwang napapalampas ng isang tao. Karaniwan sa mga insight na ito ang lumilikha ng pinakamalaking competitive advantage. Kaya, ang mga organisasyon ay walang pagpipilian kundi makipag-ugnayan sa mga sistemang ito bilang paraan upang manatiling competitive.

Magiging masusing pagsasaalang-alang ang kinakailangan sa pagpapaliwanag ng mga resulta ng artificial intelligence. Tulad ng sa kasalukuyang pananaliksik ngayon, posibleng ito ay maling ipakahulugan. Samakatuwid, dapat sundan ng mga data analyst ang lahat ng data points at baliktaranin kung bakit nagbigay ang mga AI system ng mga partikular na natuklasan o mapanganib na mali na kumilos ayon sa insight. Maaaring ilapat ang paggamit ng mga data visualisation tools na inilarawan sa itaas sa mga resultang nabuo ng AI.

Sa paparating na mga dekada, magsisimulang umasa ang mga organisasyon sa impormasyong ginawa ng mga AI system at kung paano pinamamahalaan at ipinatutupad ang data na sumusuporta sa mga sistemang ito ay magiging pinakamahalaga.

Makipag-ugnayan sa amin ngayon para sa isang libreng konsultasyon kung paano maisasama ang Telemus AI™ sa inyong organisasyon.