Решения на базе искусственного интеллекта требуют высококачественных данных

Организационные данные фиксируются и хранятся в различных форматах: от электронных таблиц до текстовых документов, реляционных баз данных и текстовых файлов. Использование организационных данных включает ряд этапов предварительной обработки, чтобы сделать их пригодными для использования в системах бизнес-аналитики для отчетности и аналитики. Системам AI требуются узкоспециализированные наборы данных для обучения, чтобы обеспечить высокую степень специализации.

Подготовка корпоративных данных для использования в системах искусственного интеллекта требует множества сложных процессов извлечения, преобразования и загрузки (ETL) для создания обучающего набора данных перед его вводом в AI. Нормативная база многих организаций подразумевает, что законы и правила о конфиденциальности должны соблюдаться до начала извлечения. Кроме того, строгие процессы хранения должны соответствовать правилам после завершения извлечения, чтобы гарантировать безопасное хранение и использование данных.

В текущей организационной среде существуют огромные объемы данных, некоторые из которых неструктурированы в формате, удобном для работы. Существует также техническая проблема в обработке этой информации. Сложность подготовки данных возрастает, когда данные не являются статичными и постоянно меняются в режиме реального времени, что требует динамических процессов.

Мы рассмотрим ключевые аспекты, касающиеся данных, в следующих разделах.

Общие источники данных организации

Данные хранятся в различных форматах и охватывают множество измерений: от финансовых данных до пространственной информации. Данные, собираемые в офисных пакетах, таких как Microsoft Office, и внутренних специализированных исходных системах, не очень подходят для непосредственного использования в системах искусственного интеллекта.

Ниже перечислены известные источники данных; этот список ни в коем случае не является исчерпывающим:

• Финансовые данные для бухгалтерских систем ERP (Oracle, SAP)
• Пространственные данные из ГИС-систем (ESRI ArcGIS)
• Электронные таблицы из инструментов офисной производительности (Microsoft Excel, Microsoft Access)
• Пользовательские базы данных SQL, используемые за исходными системами (Microsoft SQL, MySQL, Oracle, SAP)
• Плоские файловые базы данных, хранящиеся в устаревших системах (мейнфреймы IBM, индексированные файлы)

Различные системы могут хранить данные в разных форматах. Наборы данных требуют объединения; это создает проблемы при наличии нескольких систем. Аналитики данных часто вводят информацию вручную с помощью электронных таблиц. Современная тенденция заключается во вводе данных в озеро данных, чтобы инженеры данных могли работать с ними без необходимости прямого взаимодействия с критическими системами. Таким образом, для достижения целей требовались преобразования данных.

Системы искусственного интеллекта могут отлично использовать эти данные. Однако только после их предварительной обработки в подходящем формате для загрузки в такие системы становятся важными озера данных и хранилища данных для создания высококачественных наборов данных.

Искусственный интеллект и его связь с процессами извлечения, преобразования и загрузки (ETL)

Традиционные процессы ETL, вероятно, не изменятся по мере того, как искусственный интеллект становится более заметным. Более вероятно, что такие методы будут перенаправлены на создание наборов данных, которые способствуют обучению и хорошо работают с системами AI. Примером является фотографирование объектов и их маркировка с помощью ассоциации, чтобы позволить системам AI обучаться.

Для дата-сайентистов и дата-инженеров доступны отличные возможности использовать свои навыки подготовки данных для создания наборов данных для систем искусственного интеллекта. Важно, чтобы процессы ETL были автоматизированы и не полагались на ручные процессы, чтобы получить максимальную эффективность от систем искусственного интеллекта в реальном времени.

Озера данных и хранилища данных как единый источник истины для использования в искусственном интеллекте

Хранение необработанных данных в разных системах приводит к фрагментации. Чтобы преодолеть это, желательно направлять все данные в одно место, например, в реляционную базу данных, которая позволяет выполнять запросы и манипуляции с данными. Как только все данные будут храниться в одном месте, к ним будет легче получить доступ и работать с ними для создания наборов данных, дающих ценную информацию. Крайне важно определить единый источник достоверных данных.

Затем хранилища данных могут быть определены с использованием таких стандартов, как Kimball или Inmon, для создания измерений, определяющих факты или меры. Факт обычно представляет собой категориальные данные, а мера — как правило, числовые данные в общепринятом понимании. Обработка данных с использованием таких стандартов дает значительные преимущества в обеспечении эффективности и точности.

Пожалуй, наиболее значительным преимуществом для организаций, которые инвестировали в создание хорошего хранилища данных, является то, что оно открывает доступ к корпоративному набору данных для всей организации. Учитывая масштабы крупных организаций, большинство сотрудников не имеют доступа к критически важным исходным системам, на которых работает бизнес; однако у них есть доступ к хранилищу данных, как правило, только для чтения. Хранилища данных позволяют сотрудникам выявлять инсайты, о которых управленческая структура организации может обычно не знать.

Создание хранилищ данных гарантирует, что вопросы конфиденциальности и нормативных требований определены. Хранилища данных помогают обеспечить безопасную передачу данных между заинтересованными сторонами. Доступ к озерам данных и хранилищам также может повысить прозрачность и подотчетность того, как выполняются организационные функции, что позволяет внедрить более стабильные операционные процедуры.

Визуализация организационных больших данных

Одной из проблем больших данных является то, как лучше всего визуализировать их и передать историю, которую они рассказывают. Более ранние подходы включали службы отчетности, которые агрегируют данные от низких уровней к более высоким для отображения на стандартных диаграммах, таких как гистограммы, линейные графики и точечные диаграммы. Эти подходы подходят для управленческих отчетов (например, отчетов о продажах, финансовых отчетов), которые являются частью повседневных стандартных бизнес-операций. Microsoft SSRS — наиболее распространенный инструмент, используемый для корпоративной отчетности.

Появились продвинутые программы визуализации, чтобы заполнить этот пробел, при этом Tableau и QlikView доминируют на рынке. Tableau сосредоточился на потрясающей визуализации, в то время как QlikView удалось сбалансировать традиционные сервисы отчетности, такие как Microsoft SSRS и Tableau. Microsoft PowerBI доминирует на рынке и считается более сложным по версии Gartner. Эти программы создают информационные панели, которые невероятно полезны для мониторинга нескольких ключевых показателей и интеграции такого мониторинга в комплексные организационные процессы. Лица, принимающие стратегические решения, недавно создали отличные панели для принятия решений на основе данных, в то время как операционные менеджеры могут быстрее реагировать для достижения корпоративных целей.

С появлением AI визуализация будет играть жизненно важную роль. Инсайты, которые могут генерировать системы Ariticical Intelligence, сложны, и их необходимо доносить в визуальном представлении, которое люди могут легко понять. Отличным примером этого является представление самоорганизующейся карты (SOM) для просмотра многомерных данных.

Объединение данных для ввода в системы искусственного интеллекта

При наличии доступа к наборам данных становится возможным извлечь данные из реляционной базы данных и предоставить коннектор к системе искусственного интеллекта. Большинство современных систем AI создаются с использованием Python и опираются на модули, обычно реализованные на C/C++ для обеспечения эффективности.

Поскольку Python в настоящее время является основным инструментом для взаимодействия с AI, доступна богатая серия коннекторов данных для многих различных типов баз данных для доступа к данным. Кроме того, Python хорошо подходит для манипуляций с данными и дополнительно расширяет нативный функционал с помощью богатых библиотек, таких как NumPy и Pandas, для дополнительной помощи в предварительной обработке данных, загружаемых в конкретные системы AI. Современные фреймворки предъявляют особые требования к принимаемым форматам данных. Фреймворки со статической типизацией могут помочь в этом. Обработка на GPU требует определенных типов данных, которые вряд ли изменятся. Таким образом, вопросы типов данных должны быть продуманы заранее.

Системы искусственного интеллекта в области узкого AI имеют специфические требования к данным, и стоит потратить время на их учет на этапе планирования создания наборов данных, которые будут использоваться в указанных системах.

Сбор, хранение и интерпретация результатов искусственного интеллекта

Системы искусственного интеллекта при получении входных данных будут, соответственно, выдавать результаты, которые необходимо будет хранить. Что еще более интересно, результаты могут быть возвращены в озера данных/хранилища данных и продолжить процесс получения аналитических данных, поскольку инсайты могут порождать новые инсайты. Управление тем, как хранятся выходные данные, должно быть тщательно продумано в рамках более широкой системы управления данными.

Учитывая, что системы искусственного интеллекта обрабатывают огромные объемы информации, они, вероятно, находят неочевидные закономерности, которые человек обычно упускает. Именно эти закономерности, как правило, обеспечивают наиболее значительное конкурентное преимущество. Таким образом, у организаций не останется иного выбора, кроме как использовать эти системы как средство сохранения конкурентоспособности.

Интерпретация результатов искусственного интеллекта потребует тщательного рассмотрения. Как и в современных исследованиях, существует вероятность их неверной интерпретации. Поэтому аналитики данных должны отслеживать все точки данных и устанавливать причины, по которым системы AI дали определенные результаты, иначе они рискуют действовать на основе некорректных выводов. Инструменты визуализации данных, описанные выше, могут применяться к результатам, сгенерированным AI.

В предстоящие десятилетия организации начнут полагаться на информацию, создаваемую системами AI, и то, как управляются и внедряются данные, лежащие в основе этих систем, будет иметь первостепенное значение.

Свяжитесь с нами сегодня для бесплатной консультации о том, как Telemus AI™ может быть интегрирован в вашу организацию.