Рішення на основі штучного інтелекту вимагають високоякісних даних

Організаційні дані фіксуються та зберігаються у різних форматах: від електронних таблиць до текстових документів, реляційних баз даних та текстових файлів. Використання організаційних даних передбачає серію кроків попередньої обробки, щоб зробити їх придатними для використання в системах бізнес-аналітики для звітності та аналітики. Системи AI вимагають високоспеціалізованих наборів даних для навчання, щоб забезпечити високий ступінь спеціалізації.

Підготовка організаційних даних для використання в системах штучного інтелекту вимагає багатьох складних процесів вилучення, перетворення та завантаження (ETL) для створення навчального набору даних перед введенням його в AI. Нормативна база багатьох організацій передбачає, що закони та правила щодо конфіденційності повинні дотримуватися до вилучення даних. Крім того, суворі процеси зберігання повинні відповідати правилам після завершення вилучення, щоб гарантувати безпечне зберігання та використання даних.

У поточному організаційному середовищі існують величезні обсяги даних, частина з яких є неструктурованою у форматі, з яким легко працювати. Існує також технічна проблема обробки цієї інформації. Складність підготовки даних зростає, коли дані не є статичними і постійно змінюються в реальному часі, що вимагає динамічних процесів.

Ми розглянемо ключові аспектів даних у наступних розділах.

Загальні джерела даних організації

Дані зберігаються у різних форматах і охоплюють безліч вимірів, від фінансових даних до просторової інформації. Дані, отримані в офісних пакетах продуктивності, таких як Microsoft Office, та внутрішніх вихідних системах спеціального призначення, не дуже підходять для безпосереднього використання в системах штучного інтелекту.

Нижче наведено список відомих джерел даних; цей список ні в якому разі не є вичерпним:

• Фінансові дані для систем бухгалтерського обліку ERP (Oracle, SAP)
• Просторові дані з ГІС-систем (ESRI ArcGIS)
• Електронні таблиці з інструментів офісної продуктивності (Microsoft Excel, Microsoft Access)
• Користувацькі SQL-бази даних, що використовуються за вихідними системами (Microsoft SQL, MySQL, Oracle, SAP)
• Плоскі файлові бази даних, зафіксовані у застарілих системах (мейнфрейми IBM, індексовані файли)

Різні системи можуть зберігати дані у різних форматах. Набори даних потребують об'єднання; це створює труднощі, коли є кілька систем. Для аналітиків даних є звичайною практикою вводити інформацію вручну за допомогою електронних таблиць. Поточна тенденція полягає у завантаженні даних у озеро даних, щоб інженери даних могли працювати з ними без необхідності безпосередньої взаємодії з критичними системами. Таким чином, для досягнення цілей потрібні перетворення даних.

Системи штучного інтелекту можуть чудово використовувати ці дані. Однак лише після їх попередньої обробки у відповідному форматі для завантаження в такі системи, озера даних та сховища даних стають вирішальними для створення високоякісних наборів даних.

Штучний інтелект та його зв'язок із процесами Extract-Transform-Load (ETL)

Традиційні процеси ETL, ймовірно, не зміняться з підвищенням ролі штучного інтелекту. Швидше за все, такі методи будуть перенаправлені на створення наборів даних, які сприяють навчанню і добре працюють із системами AI. Прикладом є фотографування об'єктів та їх маркування з асоціацією, щоб дозволити системам AI навчатися.

Існують чудові можливості для науковців даних та інженерів даних використати свої навички підготовки даних для створення наборів даних для систем штучного інтелекту. Важливо, щоб процеси ETL були автоматизовані та не покладалися на ручні процеси для досягнення максимальної ефективності систем штучного інтелекту в реальному часі.

Озера даних та сховища даних як єдине джерело істини для використання в Штучному Інтелекті

Зберігання необроблених даних у різних системах призводить до фрагментації. Щоб подолати це, бажано направляти всі дані в одне місце, наприклад, у реляційну базу даних, яка дозволяє виконувати запити та маніпулювати даними. Якщо всі дані зберігаються в одній області, до них можна легше отримати доступ і працювати з ними для створення наборів даних, які дають цінну інформацію. Надзвичайно важливо визначити єдине джерело істини.

Сховища даних можуть бути визначені з використанням таких стандартів, як Kimball або Inmon, для створення вимірів з метою визначення фактів або показників. Факт зазвичай є категоріальними даними, тоді як показник зазвичай є числовими даними у загальному розумінні. Обробка даних з використанням таких стандартів дає значні переваги в забезпеченні ефективності та точності.

Можливо, найзначнішою перевагою для організацій, які інвестували у створення хорошого сховища даних, є те, що воно відкриває доступ до організаційного набору даних для всієї організації. У великих організаціях більшість співробітників не мають доступу до критичних вихідних систем, які забезпечують роботу бізнесу; однак вони мають доступ до сховища даних, як правило, лише для читання. Сховища даних дозволяють співробітникам виявляти закономірності, про які керівна структура організації може зазвичай не знати.

Створення сховищ даних гарантує, що конфіденційність та нормативні вимоги визначені. Сховища даних допомагають гарантувати безпечне передавання даних між зацікавленими сторонами. Доступ до озер даних та сховищ також може підвищити прозорість та підзвітність того, як виконуються організаційні функції, що дозволяє впровадити більш стабільні операційні процедури.

Візуалізація організаційних великих даних

Одним із викликів великих даних є те, як найкраще їх переглядати та передавати історію, яку вони розповідають. Попередні підходи включали служби звітності, які агрегують дані з нижчих на вищі рівні для відображення на стандартних діаграмах, таких як стовпчасті діаграми, лінійні діаграми та діаграми розсіювання. Ці підходи підходять для управлінських звітів (тобто звітів про продажі, фінансових звітів), які є частиною щоденних звичайних бізнес-операцій. Microsoft SSRS є найпоширенішим інструментом, що використовується для звітності в масштабах підприємства.

Складні програми візуалізації з'явилися для вирішення цієї проблеми, причому Tableau та QlikView домінують на ринку. Tableau зосередився переважно на вражаючих візуалізаціях, тоді як QlikView зміг збалансувати традиційні служби звітності, такі як Microsoft SSRS та Tableau. Microsoft PowerBI домінує на ринку і вважається більш складним за даними Gartner. Ці програми створюють інформаційні панелі, які неймовірно корисні для моніторингу багатьох ключових показників та інтеграції такого моніторингу як частини комплексних організаційних процесів. Стратегічні керівники нещодавно створили чудові інформаційні панелі для прийняття рішень на основі даних, тоді як операційні менеджери можуть швидше реагувати для досягнення корпоративних цілей.

З появою AI візуалізація відіграватиме життєво важливу роль. Інсайти, які можуть генерувати системи штучного інтелекту, є складними, і їх необхідно передавати у візуальному вигляді, який люди можуть легко зрозуміти. Чудовим прикладом цього є презентація самоорганізуючоїся карти (SOM) для перегляду багатовимірних даних.

Об'єднання даних для введення в системи штучного інтелекту

Маючи доступ до наборів даних, можна брати дані з реляційної бази даних і надавати конектор до системи штучного інтелекту. Більшість сучасних систем AI створюються з використанням Python і покладаються на модулі, які зазвичай реалізовані на C/C++ для забезпечення ефективності.

Оскільки Python наразі є основним інструментом для взаємодії з AI, доступна багата серія конекторів даних для багатьох різних типів баз даних для доступу до даних. Крім того, Python добре підходить для маніпуляцій з даними та розширює власну функціональність за допомогою таких багатих бібліотек, як NumPy та Pandas, щоб допомогти попередньо обробити дані, що вводяться в певні системи AI. Поточні фреймворки особливі щодо форматів даних, які приймаються. Статично типізовані фреймворки даних можуть допомогти з цим. Обробка GPU вимагає певних типів даних, які навряд чи зміняться. Таким чином, типи даних необхідно враховувати заздалегідь.

Системи штучного інтелекту в галузі вузького AI мають специфічні вимоги до даних, і варто витратити час на їх врахування під час етапів планування створення наборів даних, які будуть використовуватися в зазначених системах.

Захоплення, зберігання та інтерпретація результатів штучного інтелекту

Системи штучного інтелекту, отримавши вхідні дані, відповідно створюють вихідні дані, які потрібно буде зберігати. Що ще цікавіше, результати можуть бути повернуті в озера даних/сховища даних і продовжити процес надання аналітичних даних, оскільки інсайти можуть породжувати нові інсайти. Управління тим, як зберігаються вихідні дані, потрібно буде ретельно розглянути в рамках більш широкої структури управління даними.

З огляду на те, що системи штучного інтелекту обробляють величезні обсяги інформації, ймовірно, вони знаходитимуть неінтуїтивні інсайти, які людина зазвичай пропускає. Саме ці інсайти найчастіше забезпечують найзначнішу конкурентну перевагу. Таким чином, організаціям не залишиться нічого іншого, як взаємодіяти з цими системами як засобом збереження конкурентоспроможності.

Інтерпретація результатів штучного інтелекту вимагатиме ретельного розгляду. Як і з поточними дослідженнями сьогодні, існує ймовірність того, що їх буде неправильно інтерпретовано. Тому аналітики даних повинні відстежувати всі точки даних і з'ясовувати, чому системи AI дали конкретні результати, або ризикувати неправильно діяти на основі аналітичних висновків. Використання інструментів візуалізації даних, як описано вище, може бути застосоване до результатів, згенерованих AI.

У наступні десятиліття організації почнуть покладатися на інформацію, створену системами AI, і те, як керуються та впроваджуються дані, що лежать в основі цих систем, матиме найважливіше значення.

Зв'яжіться з нами сьогодні для безкоштовної консультації щодо того, як Telemus AI™ може бути інтегрований у вашу організацію.