Soluções de Inteligência Artificial Exigem Dados de Alta Qualidade

Os dados organizacionais são capturados e armazenados em vários formatos, desde folhas de cálculo até documentos de texto, bases de dados relacionais e ficheiros de texto. A alavancagem de dados organizacionais envolve uma série de etapas de pré-processamento para torná-los adequados para uso em sistemas de inteligência de negócios para relatórios e análises. Os sistemas de AI requerem conjuntos de dados altamente especializados para treinamento, a fim de garantir um alto grau de especialização.

A preparação de dados organizacionais para uso em sistemas de inteligência artificial requer muitos processos complexos de Extracção-Transformação-Carga (ETL) para produzir um conjunto de dados de treino antes de ser inserido numa AI. A estrutura regulamentar de muitas organizações implica que as leis e regulamentos de privacidade precisam de ser cumpridos antes que a extracção possa ocorrer. Além disso, processos rigorosos de armazenamento precisam de cumprir as regras assim que a extracção esteja concluída para garantir que os dados sejam armazenados e usados de forma segura.

Existem vastas quantidades de dados no atual ambiente organizacional, alguns dos quais não estruturados num formato fácil de trabalhar. Existe também um desafio técnico no processamento desta informação. A complexidade da preparação de dados aumenta quando os dados não são estáticos e estão constantemente a mudar em tempo real, exigindo processos dinâmicos.

Exploraremos as principais considerações sobre dados nas secções seguintes.

Fontes Comuns de Dados Organizacionais

Os dados são armazenados em vários formatos e abrangem uma multiplicidade de dimensões, desde dados financeiros a informações espaciais. Os dados capturados em conjuntos de produtividade de escritório como o Microsoft Office e sistemas de origem internos adequados ao propósito não se prestam bem para utilização diretamente em sistemas de inteligência artificial.

Seguem-se fontes de dados familiares; esta lista não é de forma alguma exaustiva:

• Dados Financeiros para Sistemas de Contabilidade ERP (Oracle, SAP)
• Dados Espaciais de Sistemas GIS (ESRI ArcGIS)
• Folhas de cálculo de Ferramentas de Produtividade de Escritório (Microsoft Excel, Microsoft Access)
• Bases de dados SQL personalizadas utilizadas atrás dos sistemas de origem (Microsoft SQL, MySQL, Oracle, SAP)
• Bases de dados de ficheiros planos capturadas em sistemas legados (Mainframes IBM, ficheiros indexados)

Diferentes sistemas podem armazenar dados em vários formatos. Os conjuntos de dados requerem junção; isto apresenta desafios quando existem múltiplos sistemas. É comum que os analistas de dados introduzam informações manualmente usando folhas de cálculo. A tendência atual é inserir dados num data lake, para que os engenheiros de dados possam trabalhar com eles sem terem de interagir diretamente com sistemas críticos. Assim, foram necessárias transformações de dados para alcançar os objetivos.

Os sistemas de Inteligência Artificial podem fazer grande uso destes dados. No entanto, apenas quando são primeiro processados num formato adequado para alimentar tais sistemas é que os data lakes e os data warehouses se revelam cruciais na produção de conjuntos de dados de alta qualidade.

Inteligência Artificial e a sua relação com processos Extract-Transform-Load (ETL)

Os processos tradicionais de ETL provavelmente não mudarão à medida que a inteligência artificial se torna mais proeminente. É mais provável que tais técnicas sejam redirecionadas para produzir conjuntos de dados que sejam propícios à aprendizagem e que funcionem bem com sistemas de AI. Um exemplo é tirar fotografias de objetos e rotulá-los com uma associação para permitir que os sistemas de AI aprendam.

Existem grandes oportunidades disponíveis para cientistas de dados e engenheiros de dados para usarem os seus conjuntos de competências de preparação de dados para construir conjuntos de dados para sistemas de inteligência artificial. Será importante que os processos ETL sejam automatizados e não dependam de processos manuais para obter a máxima eficiência de sistemas de inteligência artificial em tempo real.

Data Lakes e Data Warehouses como uma Única Fonte de Verdade para utilização em Inteligência Artificial

Os dados não processados armazenados em diferentes sistemas resultam em fragmentação. Para superar isto, é desejável canalizar todos os dados para um único local, como uma base de dados relacional que permite consultas e manipulação de dados. Assim que todos os dados estiverem armazenados numa única área, podem ser acedidos e trabalhados mais facilmente para produzir conjuntos de dados que geram informações valiosas. É essencial definir uma única fonte de verdade.

Os Data Warehouses podem então ser definidos utilizando padrões como Kimball ou Inmon para criar dimensões que definem factos ou medidas. Um facto é tipicamente dados categóricos, enquanto uma medida é tipicamente dados numéricos na compreensão geral. O processamento de dados utilizando tais padrões oferece benefícios significativos na garantia de eficiência e precisão.

Talvez a vantagem mais significativa para as organizações que investiram em ter um bom armazém de dados seja que ele abre o conjunto de dados organizacional à organização mais ampla. Em grandes organizações, a maioria dos funcionários não tem acesso aos sistemas de origem críticos que gerem o negócio; no entanto, têm acesso ao armazém de dados, normalmente apenas para leitura. Os armazéns de dados permitem que os funcionários identifiquem informações que a estrutura de gestão da organização pode não conhecer comumente.

A criação de armazéns de dados garante que as considerações de privacidade e regulamentares são definidas. Os armazéns de dados ajudam a garantir que os dados são transferidos com segurança entre as partes interessadas. O acesso a lagos de dados e armazéns também pode melhorar a transparência e a responsabilização de como as funções organizacionais são realizadas, permitindo procedimentos operacionais mais estáveis.

A Visualização de Big Data Organizacional

Um desafio dos big data é como melhor visualizá-los e transmitir a história que contam. Abordagens anteriores incluíam serviços de relatórios que agregam os dados de níveis inferiores para níveis superiores para serem exibidos em gráficos padrão, como gráficos de barras, gráficos de linhas e gráficos de dispersão. Estas abordagens são adequadas para relatórios de gestão (ou seja, relatórios de vendas, relatórios de contas) que fazem parte das operações diárias habituais do negócio. O Microsoft SSRS é a ferramenta mais comum utilizada para relatórios em toda a empresa.

Programas avançados de visualização surgiram para colmatar esta lacuna, com Tableau e QlikView a dominarem o mercado. O Tableau focou-se fortemente em visualizações deslumbrantes, enquanto o QlikView conseguiu equilibrar serviços de relatórios tradicionais como o Microsoft SSRS e o Tableau. O Microsoft PowerBI tem dominado o mercado e é considerado mais complexo pela Gartner. Estes programas criam painéis que são incrivelmente úteis para monitorizar múltiplas métricas chave e integrar essa monitorização como parte de processos organizacionais abrangentes. Os decisores estratégicos criaram recentemente ótimos painéis para tomar decisões baseadas em dados, enquanto os gestores de operações podem responder mais rapidamente para alcançar os objetivos corporativos.

Com o advento da AI, a visualização desempenhará um papel vital. As informações que os sistemas de Inteligência Artificial podem produzir são complexas, e precisam de ser comunicadas numa representação visual que as pessoas possam entender facilmente. Um excelente exemplo disto é apresentar um mapa auto-organizável (SOM) para visualizar dados multivariados.

União de Dados para Alimentar Sistemas de Inteligência Artificial

Tendo acesso a conjuntos de dados, é então possível retirar dados de uma base de dados relacional e fornecer um conector a um sistema de inteligência artificial. A maioria dos sistemas de IA modernos são construídos usando Python e dependem de módulos tipicamente implementados em C/C++ para garantir eficiência.

Como o Python é atualmente a principal ferramenta para interagir com a AI, está disponível uma rica série de conectores de dados para muitos tipos diferentes de bases de dados para aceder aos dados. Além disso, o Python presta-se bem a manipulações de dados e ainda amplia a funcionalidade nativa com bibliotecas ricas como NumPy e Pandas para ajudar ainda mais no pré-processamento de dados alimentados em sistemas de AI específicos. As frameworks atuais são exigentes quanto aos formatos de dados aceites. Frameworks de dados estaticamente tipados podem ajudar com isto. O processamento de GPU exige tipos de dados específicos, que são improváveis de mudar. Assim, considerações sobre o tipo de dados devem ser feitas antecipadamente.

Os sistemas de Inteligência Artificial no campo da AI estreita têm requisitos de dados específicos, e vale a pena dedicar tempo a considerar isto durante as fases de planeamento da criação de conjuntos de dados a serem utilizados nos referidos sistemas.

Capturar, Armazenar e Interpretar Resultados de Inteligência Artificial

Os sistemas de Inteligência Artificial, dados os inputs, produzirão consequentemente outputs que terão de ser armazenados. Mais excitantemente, os resultados podem ser reintroduzidos nos data lakes/data warehouses e continuar o processo de fornecimento de insights, uma vez que insights podem gerar mais insights. A gestão de como os outputs são armazenados terá de ser cuidadosamente considerada dentro de uma estrutura de governação de dados mais ampla.

Dado que os sistemas de inteligência artificial processam vastas quantidades de informação, é provável que encontrem insights contraintuitivos que um humano normalmente não detetaria. São geralmente estes insights que produzem a vantagem competitiva mais significativa. Assim, as organizações não terão outra escolha senão envolver-se com estes sistemas como forma de se manterem competitivas.

A interpretação dos resultados da inteligência artificial exigirá uma consideração cuidadosa. Tal como na investigação atual de hoje, é possível que sejam interpretados incorretamente. Portanto, os analistas de dados devem rastrear todos os pontos de dados e retroceder para perceber por que razão os sistemas de AI produziram resultados específicos, sob o risco de agirem incorretamente com base nas informações. A utilização de ferramentas de visualização de dados, conforme descrito acima, pode ser aplicada aos resultados gerados por AI.

Avançando para as próximas décadas, as organizações começarão a depender da informação produzida por sistemas de AI e a forma como os dados subjacentes a estes sistemas são geridos e implementados será da máxima importância.

Contacte-nos hoje para uma consulta gratuita sobre como a Telemus AI™ pode ser integrada na sua organização.