Lösungen der Künstlichen Intelligenz erfordern qualitativ hochwertige Daten

Organisatorische Daten werden in verschiedenen Formaten erfasst und gespeichert, von Tabellenkalkulationen bis hin zu Textverarbeitungsdokumenten, relationalen Datenbanken und Textdateien. Die Nutzung organisatorischer Daten umfasst eine Reihe von Vorverarbeitungsschritten, um sie für die Verwendung in Business-Intelligence-Systemen für Berichte und Analysen geeignet zu machen. AI-Systeme erfordern hochspezialisierte Datensätze für das Training, um einen hohen Grad an Spezialisierung sicherzustellen.

Die Aufbereitung organisatorischer Daten für die Verwendung in Systemen künstlicher Intelligenz erfordert viele komplexe Extract-Transform-Load (ETL)-Prozesse, um einen Trainingsdatensatz zu erstellen, bevor dieser in eine AI eingegeben wird. Der regulatorische Rahmen vieler Organisationen impliziert, dass Datenschutzgesetze und -vorschriften vor der Extraktion eingehalten werden müssen. Darüber hinaus müssen strenge Speicherprozesse nach Abschluss der Extraktion den Regeln entsprechen, um sicherzustellen, dass Daten sicher gespeichert und verwendet werden.

In der aktuellen Unternehmensumgebung gibt es riesige Datenmengen, von denen einige in einem leicht zu verarbeitenden Format unstrukturiert sind. Bei der Verarbeitung dieser Informationen besteht auch eine technische Herausforderung. Die Komplexität der Datenaufbereitung steigt, wenn die Daten nicht statisch sind und sich in Echtzeit ständig ändern, und dynamische Prozesse erfordern.

Wir werden in den folgenden Abschnitten wichtige Überlegungen zu den Daten erörtern.

Gemeinsame organisatorische Datenquellen

Daten werden in verschiedenen Formaten gespeichert und decken eine Vielzahl von Dimensionen ab, von Finanzdaten bis hin zu räumlichen Informationen. Daten, die in Office-Produktivitätssuiten wie Microsoft Office und internen, zweckbestimmten Quellsystemen erfasst werden, eignen sich nicht gut für die direkte Verwendung in KI-Systemen.

Die folgenden Listen zeigen vertraute Datenquellen; diese Liste ist keineswegs erschöpfend:

• Finanzdaten für ERP-Buchhaltungssysteme (Oracle, SAP)
• Räumliche Daten aus GIS-Systemen (ESRI ArcGIS)
• Tabellenkalkulationen aus Office-Produktivitätstools (Microsoft Excel, Microsoft Access)
• Benutzerdefinierte SQL-Datenbanken, die hinter Quellsystemen verwendet werden (Microsoft SQL, MySQL, Oracle, SAP)
• Flat-File-Datenbanken, die in Legacy-Systemen erfasst sind (IBM-Mainframes, indizierte Dateien)

Verschiedene Systeme können Daten in unterschiedlichen Formaten speichern. Datensätze müssen zusammengeführt werden; dies stellt eine Herausforderung dar, wenn es mehrere Systeme gibt. Es ist üblich, dass Datenanalysten Informationen manuell mithilfe von Tabellenkalkulationen eingeben. Der aktuelle Trend besteht darin, Daten in einen Data Lake einzuspeisen, damit Dateningenieure damit arbeiten können, ohne direkt mit kritischen Systemen interagieren zu müssen. Daher waren Datentransformationen erforderlich, um die Ziele zu erreichen.

Systeme der Künstlichen Intelligenz können diese Daten hervorragend nutzen. Erst wenn sie jedoch in ein geeignetes Format verarbeitet wurden, um in solche Systeme eingespeist zu werden, werden Data Lakes und Data Warehouses bei der Erstellung qualitativ hochwertiger Datensätze entscheidend.

Künstliche Intelligenz und ihre Beziehung zu Extract-Transform-Load (ETL)-Prozessen

Traditionelle ETL-Prozesse werden sich wahrscheinlich nicht ändern, wenn Künstliche Intelligenz prominenter wird. Es ist wahrscheinlicher, dass solche Techniken neu ausgerichtet werden, um Datensätze zu erstellen, die für das Lernen förderlich sind und gut mit AI-Systemen funktionieren. Ein Beispiel ist das Fotografieren von Objekten und deren Kennzeichnung mit einer Assoziation, um AI-Systemen das Lernen zu ermöglichen.

Für Data Scientists und Data Engineers bestehen hervorragende Möglichkeiten, ihre Fähigkeiten in der Datenvorbereitung zu nutzen, um Datensätze für KI-Systeme zu erstellen. Es wird wichtig sein, dass ETL-Prozesse automatisiert sind und nicht auf manuellen Prozessen beruhen, um die höchste Effizienz aus Echtzeit-KI-Systemen zu erzielen.

Data Lakes und Data Warehouses als Single Source of Truth für die Verwendung in Künstlicher Intelligenz

Rohdaten, die über verschiedene Systeme verteilt gespeichert sind, führen zu Fragmentierung. Um dies zu überwinden, ist es wünschenswert, alle Daten an einen Ort zu leiten, wie etwa eine relationale Datenbank, die Abfragen und Datenmanipulation ermöglicht. Sobald alle Daten an einem Ort gespeichert sind, können sie leichter abgerufen und verarbeitet werden, um Datensätze zu erstellen, die wertvolle Informationen liefern. Es ist unerlässlich, eine einzige Quelle der Wahrheit zu definieren.

Data Warehouses können dann unter Verwendung von Standards wie Kimball oder Inmon definiert werden, um Dimensionen zur Definition von Fakten oder Kennzahlen zu erstellen. Ein Faktum ist typischerweise kategorische Daten, während eine Kennzahl im allgemeinen Verständnis typischerweise numerische Daten sind. Die Verarbeitung von Daten nach solchen Standards bietet erhebliche Vorteile bei der Gewährleistung von Effizienz und Genauigkeit.

Der vielleicht bedeutendste Vorteil für Organisationen, die in ein gutes Data Warehouse investiert haben, besteht darin, dass es den organisatorischen Datensatz für die breitere Organisation öffnet. Bei großen Organisationen haben die meisten Mitarbeiter keinen Zugriff auf die kritischen Quellsysteme, die das Unternehmen betreiben; jedoch haben sie Zugriff auf das Data Warehouse, typischerweise im Nur-Lese-Modus. Data Warehouses ermöglichen es Mitarbeitern, Erkenntnisse zu identifizieren, die der Managementstruktur der Organisation möglicherweise nicht allgemein bekannt sind.

Die Erstellung von Data-Warehouses stellt sicher, dass Datenschutz- und regulatorische Überlegungen definiert sind. Data-Warehouses tragen dazu bei, dass Daten sicher zwischen Stakeholdern übertragen werden. Der Zugriff auf Data-Lakes und -Warehouses kann auch die Transparenz und Rechenschaftspflicht darüber verbessern, wie organisatorische Funktionen ausgeführt werden, was stabilere Betriebsverfahren ermöglicht.

Die Visualisierung von organisatorischen Big Data

Eine Herausforderung bei Big Data ist es, diese bestmöglich zu visualisieren und die Geschichte zu vermitteln, die sie erzählt. Frühere Ansätze umfassten Berichtsdienste, die Daten von niedrigeren auf höhere Ebenen aggregieren, um sie in Standarddiagrammen wie Balkendiagrammen, Liniendiagrammen und Streudiagrammen anzuzeigen. Diese Ansätze eignen sich für Managementberichte (d. h. Verkaufsberichte, Kontoberichte), die Teil des täglichen Normalbetriebs sind. Microsoft SSRS ist das am häufigsten verwendete Tool für unternehmensweite Berichterstattung.

Erweiterte Visualisierungsprogramme entstanden, um diese Lücke zu schließen, wobei Tableau und QlikView den Markt dominierten. Tableau konzentrierte sich stark auf beeindruckende Visualisierungen, während QlikView eine Balance zwischen traditionellen Reporting-Services wie Microsoft SSRS und Tableau fand. Microsoft PowerBI hat den Markt dominiert und gilt laut Gartner als komplexer. Diese Programme erstellen Dashboards, die unglaublich nützlich für die Überwachung mehrerer Kennzahlen sind und diese Überwachung als Teil umfassender organisatorischer Prozesse integrieren. Strategische Entscheidungsträger haben kürzlich hervorragende Dashboards erstellt, um datengestützte Entscheidungen zu treffen, während Betriebsleiter schneller reagieren können, um Unternehmensziele zu erreichen.

Mit dem Aufkommen von AI wird die Visualisierung eine entscheidende Rolle spielen. Die Erkenntnisse, die Systeme der künstlichen Intelligenz liefern können, sind komplex und müssen in einer visuellen Darstellung vermittelt werden, die von Menschen leicht verstanden werden kann. Ein hervorragendes Beispiel hierfür ist die Darstellung einer selbstorganisierenden Karte (SOM) zur Ansicht multivariater Daten.

Zusammenführung von Daten zur Einspeisung in Systeme der Künstlichen Intelligenz

Mit Zugriff auf Datensätze ist es dann möglich, Daten aus einer relationalen Datenbank zu entnehmen und eine Verbindung zu einem Künstliche-Intelligenz-System bereitzustellen. Die meisten modernen KI-Systeme werden mit Python erstellt und nutzen Module, die typischerweise in C/C++ implementiert sind, um Effizienz zu gewährleisten.

Da Python derzeit das primäre Werkzeug zur Interaktion mit AI ist, steht eine umfangreiche Reihe von Datenkonnektoren für viele verschiedene Datenbanktypen zur Verfügung, um auf Daten zuzugreifen. Darüber hinaus eignet sich Python gut für Datenmanipulationen und erweitert die native Funktionalität durch umfangreiche Bibliotheken wie NumPy und Pandas, um die Vorbereitung von Daten für die Eingabe in spezifische AI-Systeme weiter zu unterstützen. Aktuelle Frameworks sind besonders hinsichtlich der akzeptierten Datenformate. Statisch typisierte Daten-Frameworks können hierbei hilfreich sein. Die GPU-Verarbeitung erfordert spezifische Datentypen, die sich wahrscheinlich nicht ändern werden. Daher müssen Datentypüberlegungen im Voraus getroffen werden.

Systeme der Künstlichen Intelligenz im Bereich der schwachen KI haben spezifische Datenanforderungen, und es lohnt sich, dies während der Planungsphase der Erstellung von Datensätzen für besagte Systeme zu berücksichtigen.

Erfassung, Speicherung und Interpretation von Ergebnissen der Künstlichen Intelligenz

Systeme der Künstlichen Intelligenz werden angesichts der Eingaben folglich Ausgaben erzeugen, die gespeichert werden müssen. Noch spannender ist, dass die Ergebnisse zurück in die Data Lakes/Data Warehouses eingespeist werden können und den Prozess der Gewinnung von Erkenntnissen fortsetzen, da Erkenntnisse weitere Erkenntnisse liefern können. Das Management der Speicherung von Ausgaben muss sorgfältig innerhalb eines größeren Data-Governance-Rahmens berücksichtigt werden.

Da Systeme der Künstlichen Intelligenz riesige Mengen an Informationen verarbeiten, ist es wahrscheinlich, dass sie kontraintuitive Erkenntnisse finden, die ein Mensch normalerweise übersehen würde. Es sind meist diese Erkenntnisse, die den größten Wettbewerbsvorteil bringen. Daher werden Organisationen keine andere Wahl haben, als sich mit diesen Systemen zu befassen, um wettbewerbsfähig zu bleiben.

Die Interpretation der Ergebnisse der künstlichen Intelligenz erfordert sorgfältige Überlegung. Wie bei der heutigen Forschung besteht die Möglichkeit, dass sie falsch interpretiert werden. Daher müssen Datenanalysten alle Datenpunkte nachverfolgen und zurückverfolgen, warum AI-Systeme bestimmte Ergebnisse geliefert haben, da andernfalls die Gefahr besteht, fälschlicherweise auf Erkenntnisse zu reagieren. Die Verwendung von Datenvisualisierungstools, wie oben beschrieben, kann auf von AI generierte Ergebnisse angewendet werden.

In den kommenden Jahrzehnten werden Organisationen zunehmend auf Informationen angewiesen sein, die von AI-Systemen erzeugt werden, und wie die Daten, die diesen Systemen zugrunde liegen, verwaltet und implementiert werden, wird von größter Bedeutung sein.

Kontaktieren Sie uns noch heute für eine kostenlose Beratung zur Integration von Telemus AI™ in Ihre Organisation.