Решенията за изкуствен интелект изискват данни с високо качество

Организационните данни се събират и съхраняват в различни формати – от електронни таблици до текстови документи, релационни бази данни и текстови файлове. Използването на организационните данни включва поредица от стъпки за предварителна обработка, за да станат подходящи за използване в системи за бизнес интелигентност за отчитане и анализ. AI системите изискват силно специализирани набори от данни за обучение, за да се осигури висока степен на специализация.

Подготовката на организационни данни за използване в системи с изкуствен интелект изисква много сложни процеси за извличане-трансформиране-зареждане (ETL), за да се създаде обучителен набор от данни, преди да бъде въведен в AI. Регулаторната рамка на много организации предполага, че законите и разпоредбите за поверителност трябва да се спазват, преди да може да се извърши извличането. Освен това, строгите процеси за съхранение трябва да съответстват на правилата след завършване на извличането, за да се гарантира, че данните се съхраняват и използват сигурно.

Съществуват огромни количества данни в текущата организационна среда, част от които са неструктурирани в лесен за работа формат. Съществува и техническо предизвикателство при обработката на тази информация. Сложността на подготовката на данните се увеличава, когато данните не са статични и постоянно се променят в реално време, което изисква динамични процеси.

Ще разгледаме ключовите съображения за данните в следващите раздели.

Често срещани организационни източници на данни

Данните се съхраняват в различни формати и обхващат множество измерения, от финансови данни до пространствена информация. Данните, улавяни в офис пакети за продуктивност като Microsoft Office и вътрешни целеви изходни системи, не са подходящи за директна употреба в системи за изкуствен интелект.

Следното изброява познати източници на данни; този списък по никакъв начин не е изчерпателен:

• Финансови данни за ERP счетоводни системи (Oracle, SAP)
• Пространствени данни от GIS системи (ESRI ArcGIS)
• Електронни таблици от инструменти за офисна продуктивност (Microsoft Excel, Microsoft Access)
• Персонализирани SQL бази данни, използвани зад източниците на системи (Microsoft SQL, MySQL, Oracle, SAP)
• Бази данни с плоски файлове, съхранени в наследени системи (IBM мейнфреймове, индексирани файлове)

Различни системи могат да съхраняват данни в различни формати. Наборите от данни изискват обединяване; това създава предизвикателства, когато има множество системи. Често срещано е анализаторите на данни да въвеждат информация ръчно, използвайки електронни таблици. Настоящата тенденция е данните да се въвеждат в data lake, за да могат инженерите на данни да работят с тях, без да се налага да взаимодействат директно с критични системи. По този начин се изискват трансформации на данните за постигане на целите.

Системите за изкуствен интелект могат да използват тези данни с голяма полза. Въпреки това, само когато те първо бъдат обработени в подходящ формат за въвеждане в такива системи, е мястото, където езерата от данни и хранилищата за данни са от решаващо значение за създаването на висококачествени набори от данни.

Изкуствен интелект и неговата връзка с процесите Extract-Transform-Load (ETL)

Традиционните ETL процеси вероятно няма да се променят, тъй като изкуственият интелект става по-значим. По-вероятно е такива техники да бъдат пренасочени за създаване на набори от данни, които са подходящи за обучение и работят добре с AI системи. Пример е правенето на снимки на обекти и маркирането им с асоциация, за да позволят на AI системите да учат.

Съществуват големи възможности за специалистите по данни и инженерите по данни да използват своите умения за подготовка на данни, за да изграждат набори от данни за системи с изкуствен интелект. Ще бъде важно ETL процесите да са автоматизирани и да не разчитат на ръчни процеси, за да се постигне максимална ефективност от системите с изкуствен интелект в реално време.

Езера от данни и хранилища на данни като единствен източник на истината за използване в изкуствен интелект

Суровите данни, съхранявани в различни системи, водят до фрагментиране. За да се преодолее това, е желателно всички данни да се пренасочат на едно място, като например релационна база данни, която позволява заявки и манипулиране на данни. След като всички данни са съхранени на едно място, те могат да бъдат по-лесно достъпвани и обработвани за създаване на набори от данни, които дават ценна информация. От съществено значение е да се дефинира единен източник на истината.

След това хранилищата на данни могат да бъдат дефинирани с използване на стандарти като Kimball или Inmon за създаване на измерения за дефиниране на факти или мерки. Един факт обикновено е категорични данни, докато мярка е обикновено числови данни в общото разбиране. Обработката на данни с използване на такива стандарти предлага значителни ползи за осигуряване на ефективност и точност.

Може би най-значимото предимство за организациите, които са инвестирали в наличието на добро хранилище за данни, е, че то отваря организационния набор от данни за по-широката организация. Предвид големите организации, повечето служители нямат достъп до критичните изходни системи, които управляват бизнеса; те обаче имат достъп до хранилището за данни, обикновено само за четене. Хранилищата за данни позволяват на служителите да идентифицират идеи, които управленската структура на организацията може би не знае.

Създаването на хранилища за данни гарантира, че съображенията за поверителност и регулаторни изисквания са дефинирани. Хранилищата за данни помагат за гарантиране, че данните се прехвърлят безопасно между заинтересованите страни. Достъпът до езера за данни и хранилища също може да подобри прозрачността и отчетността на това как се изпълняват организационните функции, позволявайки по-стабилни оперативни процедури.

Визуализацията на организационни Big Data

Едно от предизвикателствата на големите данни е как да се разглеждат най-добре и как да се предаде историята, която разказват. По-ранните подходи включваха услуги за отчитане, които агрегират данните от по-ниско към по-високо ниво, за да се показват в стандартни графики като стълбовидни графики, линейни графики и точкови диаграми. Тези подходи са подходящи за управленски отчети (т.е. отчети за продажби, отчети за сметки), които са част от ежедневните рутинни бизнес операции. Microsoft SSRS е най-често използваният инструмент за отчитане в рамките на цялото предприятие.

Появиха се разширени програми за визуализация, за да запълнят тази празнина, като Tableau и QlikView доминират на пазара. Tableau се фокусира силно върху впечатляващи визуализации, докато QlikView успя да балансира традиционни услуги за отчитане като Microsoft SSRS и Tableau. Microsoft PowerBI доминира на пазара и се счита за по-сложен от Gartner. Тези програми създават табла за управление, които са изключително полезни за наблюдение на множество ключови показатели и интегриране на такова наблюдение като част от цялостни организационни процеси. Стратегическите вземащи решения наскоро създадоха страхотни табла за управление, за да вземат решения, базирани на данни, докато оперативните мениджъри могат да реагират по-бързо, за да постигнат корпоративните цели.

С появата на AI визуализацията ще играе жизненоважна роля. Прозренията, които системите за изкуствен интелект могат да генерират, са сложни и трябва да бъдат комуникирани във визуално представяне, което хората да разбират лесно. Отличен пример за това е представянето на самоорганизираща се карта (SOM) за преглед на многомерни данни.

Обединяване на данни за подаване към системи за изкуствен интелект

При наличен достъп до набори от данни, след това е възможно да се вземат данни от релационна база данни и да се осигури конектор към система за изкуствен интелект. Повечето съвременни AI системи са изградени с помощта на Python и разчитат на модули, обикновено реализирани на C/C++, за да осигурят ефективност.

Тъй като Python в момента е основният инструмент за взаимодействие с AI, налична е богата серия от свързващи компоненти за данни към много различни видове бази данни за достъп до информация. Освен това, Python се адаптира добре към манипулации на данни и допълнително разширява вродените си функции с богати библиотеки като NumPy и Pandas, за да помогне допълнително за предварителната обработка на данни, подавани към специфични AI системи. Настоящите рамки са специфични относно приеманите формати на данни. Статично типизираните рамки за данни могат да помогнат с това. GPU обработката изисква специфични типове данни, които е малко вероятно да се променят. По този начин, съображенията относно типа данни трябва да се направят предварително.

Системите за изкуствен интелект в областта на тесния AI имат специфични изисквания към данните, и си струва да се отдели време за обмислянето на това по време на етапите на планиране при създаването на набори от данни, които да се използват в посочените системи.

Прихващане, съхраняване и интерпретиране на резултати от изкуствен интелект

Системите за изкуствен интелект, при дадени входове, съответно ще генерират изходи, които ще трябва да бъдат съхранени. Още по-вълнуващо е, че резултатите могат да бъдат върнати обратно в езерата/хранилищата от данни и да продължат процеса на предоставяне на аналитични заключения, тъй като от заключенията могат да се извлекат допълнителни заключения. Управлението на начина, по който се съхраняват изходите, ще трябва да бъде внимателно обмислено в рамките на по-широка структура за управление на данните.

Тъй като системите за изкуствен интелект обработват огромни количества информация, вероятно е да се намерят контраинтуитивни прозрения, които човек обикновено би пропуснал. Обикновено именно тези прозрения произвеждат най-значителното конкурентно предимство. По този начин организациите няма да имат друг избор, освен да се ангажират с тези системи като средство за запазване на конкурентоспособността си.

Интерпретирането на резултатите от изкуствен интелект ще изисква внимателно обмисляне. Както при настоящите изследвания днес, възможно е да бъдат неправилно интерпретирани. Следователно анализаторите на данни трябва да проследят всички точки от данни и да установят обратно защо AI системите са дали конкретни резултати, или да поемат риска да действат неправилно на базата на получената информация. Инструментите за визуализация на данни, описани по-горе, могат да се прилагат към резултати, генерирани от AI.

Преминавайки в следващите десетилетия, организациите ще започнат да разчитат на информация, произвеждана от AI системи, и начина, по който данните, лежащи в основата на тези системи, се управляват и прилагат, ще бъде от най-голямо значение.

Свържете се с нас днес за безплатна консултация относно това как Telemus AI™ може да бъде интегриран във вашата организация.