Soluções de Inteligência Artificial Exigem Dados de Alta Qualidade

Os dados organizacionais são capturados e armazenados em vários formatos, de planilhas a documentos de texto, bancos de dados relacionais e arquivos de texto. O aproveitamento de dados organizacionais envolve uma série de etapas de pré-processamento para torná-los adequados para uso em sistemas de inteligência de negócios para relatórios e análises. Sistemas de AI exigem conjuntos de dados altamente especializados para treinamento, a fim de garantir um alto grau de especialização.

A preparação de dados organizacionais para uso em sistemas de inteligência artificial requer muitos processos complexos de Extrair-Transformar-Carregar (ETL) para produzir um conjunto de dados de treinamento antes de ser inserido em uma IA. A estrutura regulatória de muitas organizações implica que as leis e regulamentos de privacidade precisam ser seguidos antes que a extração possa ocorrer. Além disso, processos rigorosos de armazenamento precisam cumprir as regras assim que a extração é concluída para garantir que os dados sejam armazenados e usados com segurança.

Existem vastas quantidades de dados no ambiente organizacional atual, alguns dos quais não estruturados em um formato fácil de trabalhar. Há também um desafio técnico no processamento dessas informações. A complexidade da preparação de dados aumenta quando os dados não são estáticos e estão mudando constantemente em tempo real, exigindo processos dinâmicos.

Exploraremos as principais considerações sobre dados nas seções a seguir.

Fontes Comuns de Dados Organizacionais

Os dados são armazenados em vários formatos e cobrem uma infinidade de dimensões, de dados financeiros a informações espaciais. Dados capturados em pacotes de produtividade de escritório, como o Microsoft Office, e sistemas de origem internos adequados ao propósito não se prestam bem ao uso direto em sistemas de inteligência artificial.

A seguir, lista fontes de dados familiares; esta lista de forma alguma é exaustiva:

• Dados Financeiros para Sistemas de Contabilidade ERP (Oracle, SAP)
• Dados Espaciais de Sistemas GIS (ESRI ArcGIS)
• Planilhas de Ferramentas de Produtividade de Escritório (Microsoft Excel, Microsoft Access)
• Bancos de dados SQL personalizados usados atrás de sistemas de origem (Microsoft SQL, MySQL, Oracle, SAP)
• Bancos de dados de arquivos simples capturados em sistemas legados (Mainframes IBM, arquivos indexados)

Diferentes sistemas podem armazenar dados em vários formatos. Conjuntos de dados exigem junção; isso apresenta desafios quando há múltiplos sistemas. É comum que analistas de dados insiram informações manualmente usando planilhas. A tendência atual é inserir dados em um data lake, para que os engenheiros de dados possam trabalhar com eles sem ter que interagir diretamente com sistemas críticos. Assim, foram necessárias transformações de dados para alcançar os objetivos.

Sistemas de Inteligência Artificial podem fazer grande uso desses dados. No entanto, apenas quando são primeiro processados em um formato adequado para alimentar tais sistemas é que os data lakes e os data warehouses se tornam cruciais na produção de conjuntos de dados de alta qualidade.

Inteligência Artificial e sua relação com processos Extract-Transform-Load (ETL)

Os processos tradicionais de ETL provavelmente não mudarão à medida que a inteligência artificial se tornar mais proeminente. É mais provável que tais técnicas sejam redirecionadas para produzir conjuntos de dados que sejam propícios ao aprendizado e que funcionem bem com sistemas de AI. Um exemplo é tirar fotos de objetos e rotulá-las com uma associação para permitir que os sistemas de AI aprendam.

Existem grandes oportunidades disponíveis para cientistas de dados e engenheiros de dados usarem seus conjuntos de habilidades de preparação de dados para construir conjuntos de dados para sistemas de inteligência artificial. Será importante que os processos de ETL sejam automatizados e não dependam de processos manuais para obter a máxima eficiência de sistemas de inteligência artificial em tempo real.

Data Lakes e Data Warehouses como uma Única Fonte de Verdade para uso em Inteligência Artificial

Dados brutos armazenados em diferentes sistemas resultam em fragmentação. Para superar isso, é desejável direcionar todos os dados para um único local, como um banco de dados relacional que permite consultas e manipulação de dados. Depois que todos os dados são armazenados em uma área, eles podem ser acessados e trabalhados com mais facilidade para produzir conjuntos de dados que geram informações valiosas. É essencial definir uma única fonte de verdade.

Data Warehouses podem então ser definidos usando padrões como Kimball ou Inmon para criar dimensões para definir fatos ou medidas. Um fato é tipicamente um dado categórico, enquanto uma medida é tipicamente um dado numérico no entendimento geral. O processamento de dados usando tais padrões oferece benefícios significativos para garantir eficiência e precisão.

Talvez a vantagem mais significativa para organizações que investiram em ter um bom armazém de dados seja que ele abre o conjunto de dados organizacional para a organização mais ampla. Em grandes organizações, a maioria dos funcionários não tem acesso aos sistemas de origem críticos que administram o negócio; no entanto, eles têm acesso ao armazém de dados, normalmente somente leitura. Os armazéns de dados permitem que os funcionários identifiquem insights que a estrutura de gestão da organização pode não conhecer comumente.

A criação de data warehouses garante que as considerações de privacidade e regulatórias sejam definidas. Os data warehouses ajudam a garantir que os dados sejam transferidos com segurança entre as partes interessadas. O acesso a data lakes e warehouses também pode melhorar a transparência e a responsabilidade de como as funções organizacionais são realizadas, permitindo procedimentos operacionais mais estáveis.

A Visualização de Big Data Organizacional

Um desafio dos big data é como melhor visualizá-los e transmitir a história que eles contam. Abordagens anteriores incluíam serviços de relatórios que agregam os dados de níveis inferiores para níveis superiores a serem exibidos em gráficos padrão, como gráficos de barras, gráficos de linhas e gráficos de dispersão. Essas abordagens são adequadas para relatórios de gestão (ou seja, relatórios de vendas, relatórios de contas) que fazem parte das operações diárias normais de negócios. O Microsoft SSRS é a ferramenta mais comum usada para relatórios em toda a empresa.

Programas avançados de visualização surgiram para preencher essa lacuna, com Tableau e QlikView dominando o mercado. O Tableau focou fortemente em visualizações impressionantes, enquanto o QlikView conseguiu equilibrar serviços tradicionais de relatórios, como Microsoft SSRS e Tableau. O Microsoft PowerBI tem dominado o mercado e é considerado mais complexo pela Gartner. Esses programas criam painéis que são incrivelmente úteis para monitorar múltiplas métricas-chave e integrar tal monitoramento como parte de processos organizacionais abrangentes. Tomadores de decisão estratégicos recentemente criaram ótimos painéis para tomar decisões baseadas em dados, enquanto gerentes de operações podem responder mais rapidamente para alcançar os objetivos corporativos.

Com o advento da AI, a visualização desempenhará um papel vital. Os insights que os sistemas de Inteligência Artificial podem produzir são complexos e precisam ser comunicados em uma representação visual que as pessoas possam entender facilmente. Um excelente exemplo disso é apresentar um mapa auto-organizável (SOM) para visualizar dados multivariados.

Consolidando Dados para Alimentar um Sistema de Inteligência Artificial

Tendo acesso a conjuntos de dados, é possível então extrair dados de um banco de dados relacional e fornecer um conector para um sistema de inteligência artificial. A maioria dos sistemas de IA modernos é construída usando Python e depende de módulos tipicamente implementados em C/C++ para garantir eficiência.

Como o Python é atualmente a principal ferramenta para interagir com a IA, uma rica série de conectores de dados está disponível para muitos tipos diferentes de bancos de dados para acessar dados. Além disso, o Python se presta bem a manipulações de dados e ainda estende a funcionalidade nativa com bibliotecas ricas como NumPy e Pandas para ajudar ainda mais no pré-processamento de dados alimentados em sistemas de IA específicos. As estruturas atuais são particulares quanto aos formatos de dados aceitos. Estruturas de dados tipadas estaticamente podem ajudar com isso. O processamento de GPU exige tipos de dados específicos, que dificilmente serão alterados. Assim, considerações sobre o tipo de dados devem ser feitas antecipadamente.

Sistemas de Inteligência Artificial no campo da IA estreita têm requisitos de dados específicos, e vale a pena dedicar tempo para considerar isso durante as fases de planejamento da criação de conjuntos de dados a serem usados em tais sistemas.

Capturando, Armazenando e Interpretando Resultados de Inteligência Artificial

Sistemas de Inteligência Artificial, tendo em conta as entradas, consequentemente produzirão saídas que precisarão ser armazenadas. Mais empolgantemente, os resultados podem ser realimentados nos data lakes/data warehouses e continuar o processo de fornecimento de insights, já que insights podem gerar mais insights. O gerenciamento de como as saídas são armazenadas precisará ser considerado cuidadosamente dentro de uma estrutura maior de governança de dados.

Dado que os sistemas de inteligência artificial processam vastas quantidades de informações, é provável que encontrem insights contraintuitivos que um humano normalmente não perceberia. Geralmente, são esses insights que produzem a vantagem competitiva mais significativa. Assim, as organizações não terão outra escolha a não ser se envolver com esses sistemas como um meio de permanecerem competitivas.

A interpretação dos resultados da inteligência artificial exigirá consideração cuidadosa. Assim como na pesquisa atual hoje, é possível que sejam interpretados erroneamente. Portanto, os analistas de dados devem rastrear todos os pontos de dados e retroceder para entender por que os sistemas de AI produziram descobertas específicas, ou correm o risco de agir incorretamente com base em insights. O uso de ferramentas de visualização de dados, conforme descrito acima, pode ser aplicado aos resultados gerados por AI.

Avançando para as próximas décadas, as organizações começarão a depender das informações produzidas pelos sistemas de AI, e como os dados que sustentam esses sistemas são governados e implementados será de extrema importância.

Entre em contato hoje para uma consulta gratuita sobre como a Telemus AI™ pode ser integrada à sua organização.