人工知能ソリューションには高品質なデータが必要です

組織データは、スプレッドシートからWord文書、リレーショナルデータベース、テキストファイルまで、さまざまな形式でキャプチャおよび保存されます。組織データを活用するには、レポートおよび分析のためのビジネスインテリジェンスシステムで使用できるようにするための一連の前処理ステップが必要です。AIシステムは、高い専門性を確保するために、トレーニング用の高度に専門化されたデータセットを必要とします。

AIシステムで使用するための組織データの準備には、AIに入力する前にトレーニングデータセットを生成するための多くの複雑な抽出・変換・ロード（ETL）プロセスが必要です。多くの組織の規制フレームワークは、抽出が行われる前にプライバシー法と規制を遵守する必要があることを示しています。さらに、データが安全に保存および使用されることを確実にするため、抽出が完了した後は厳格な保存プロセスがルールに準拠する必要があります。

現在の組織環境には膨大な量のデータが存在し、その一部は扱いやすい形式で構造化されていません。また、この情報を処理することには技術的な課題もあります。データが静的ではなくリアルタイムで絶えず変化しており、動的プロセスを必要とする場合、データ準備の複雑さは増大します。

以下のセクションで、データに関する重要な考慮事項について説明します。

一般的な組織データソース

データはさまざまな形式で保存され、財務データから空間情報まで多数の次元をカバーしています。Microsoft Officeなどのオフィス生産性スイートでキャプチャされたデータや、目的に適合した内部ソースシステムは、人工知能システムで直接使用するには適していません。

以下に一般的なデータソースを示します。このリストは決して網羅的ではありません：

• ERP会計システム（Oracle、SAP）向けの財務データ
• GISシステムからの空間データ（ESRI ArcGIS）
• オフィス生産性ツールからのスプレッドシート（Microsoft Excel、Microsoft Access）
• ソースシステムの背後で使用されるカスタムSQLデータベース（Microsoft SQL、MySQL、Oracle、SAP）
• レガシーシステム（IBMメインフレーム、インデックス付きファイル）で取得されたフラットファイルデータベース

異なるシステムはデータをさまざまな形式で保存できる。データセットには結合が必要であり、複数のシステムが存在する場合、課題が生じる。データアナリストがスプレッドシートを使用して手動で情報を入力することは一般的である。現在のトレンドはデータレイクにデータを入力することであり、これによりデータエンジニアは重要なシステムと直接インターフェースすることなく作業できる。したがって、目標を達成するためにはデータ変換が必要であった。

人工知能システムはこのデータを大いに活用できます。ただし、そのようなシステムに投入するために適切な形式で最初に処理された場合にのみ活用可能であり、ここでデータレイクとデータウェアハウスが高品質なデータセットを生成する上で不可欠となります。

人工知能とExtract-Transform-Load（ETL）プロセスとの関係

人工知能がより顕著になるにつれて、従来のETLプロセスはおそらく変更されないでしょう。むしろ、そのような技術は、AIシステムで適切に機能する学習に適したデータセットを生成するために再ターゲットされる可能性が高いです。例として、オブジェクトの写真を撮影し、AIシステムが学習できるように関連付けでラベル付けすることが挙げられます。

データサイエンティストやデータエンジニアには、データ準備のスキルセットを活用して人工知能システム用のデータセットを構築する大きな機会があります。リアルタイムの人工知能システムから最大限の効率を引き出すためには、ETLプロセスが自動化され、手動プロセスに依存しないことが重要になります。

人工知能で使用するための単一の真実の情報源としてのデータレイクとデータウェアハウス

異なるシステムにまたがって保存された生データは、断片化をもたらします。これを克服するために、クエリとデータ操作を可能にするリレーショナルデータベースなど、すべてのデータを1つの場所にパイプすることが望ましいです。すべてのデータが1つの領域に保存されると、価値ある情報をもたらすデータセットを生成するために、より簡単にアクセスして作業できるようになります。信頼できる唯一の情報源を定義することが不可欠です。

データウェアハウスは、ファクトやメジャーを定義するための次元を作成するために、KimballやInmonなどの標準を使用して定義できます。一般的な理解では、ファクトは通常カテゴリデータであり、メジャーは通常数値データです。このような標準を使用してデータを処理することは、効率と正確性を確保する上で大きな利点をもたらします。

優れたデータウェアハウスへの投資を行った組織にとって、おそらく最も重要な利点は、組織のデータセットが組織全体に公開されることです。大規模な組織において、ほとんどの従業員はビジネスを運営する重要なソースシステムにアクセスできませんが、データウェアハウスには通常読み取り専用でアクセスできます。データウェアハウスにより、従業員は組織の管理構造では通常知り得ない洞察を特定することができます。

データウェアハウスの作成により、プライバシーと規制の考慮事項が定義されます。データウェアハウスは、データがステークホルダー間で安全に転送されることを保証するのに役立ちます。データレイクとウェアハウスへのアクセスは、組織の機能がどのように実行されるかの透明性と説明責任を向上させ、より安定した運用手順を可能にすることもできます。

組織のビッグデータの可視化

ビッグデータの課題は、それを最適に表示し、それが語るストーリーを伝える方法です。以前のアプローチには、棒グラフ、折れ線グラフ、散布図などの標準的なチャートで表示するために、下位レベルから上位レベルへデータを集計するレポートサービスが含まれていました。これらのアプローチは、日常的な通常業務運営の一部である管理レポート（すなわち、売上レポート、口座レポート）に適しています。Microsoft SSRSは、企業全体のレポート作成に使用される最も一般的なツールです。

このギャップを埋めるために高度な可視化プログラムが登場し、TableauとQlikViewが市場を支配しました。Tableauは見事な可視化に重点を置いていましたが、QlikViewはMicrosoft SSRSやTableauなどの従来のレポートサービスとバランスを取っていました。Microsoft PowerBIは市場を支配しており、Gartnerによってより複雑であると見なされています。これらのプログラムは、複数の主要な指標を監視し、そのような監視を包括的な組織プロセスの一部として統合するのに非常に役立つダッシュボードを作成します。戦略的な意思決定者は最近、データ主導の意思決定を行うために優れたダッシュボードを作成し、運用マネージャーは企業目標を達成するためにより迅速に対応できます。

AIの出現により、可視化は重要な役割を果たすことになります。AIシステムが生成できるインサイトは複雑であり、人々が簡単に理解できる視覚的表現で伝える必要があります。その優れた例として、多変量データを表示するための自己組織化マップ（SOM）の提示が挙げられます。

人工知能システムに入力するためのデータの統合

データセットへのアクセスが与えられた場合、リレーショナルデータベースからデータを取得し、人工知能システムへのコネクタを提供することが可能です。最新のAIシステムのほとんどはPythonを使用して構築されており、効率を確保するために通常C/C++で実装されたモジュールに依存しています。

Pythonは現在AIとインターフェースするための主要なツールであるため、データにアクセスするための豊富な一連のデータコネクタが多くの異なる種類のデータベースに対して利用可能です。さらに、Pythonはデータ操作に適しており、NumPyやPandasなどの豊富なライブラリを使用してネイティブ機能を拡張し、特定のAIシステムに供給されるデータの前処理をさらに支援します。現在のフレームワークは、受け入れられるデータ形式に厳格です。静的型付けのデータフレームワークがこれに役立ちます。GPU処理には特定のデータ型が必要であり、これは変更される可能性が低いです。したがって、データ型の考慮を事前に行う必要があります。

特化型AI分野の人工知能システムには特定のデータ要件があり、当該システムで使用されるデータセットを作成する計画段階でこれを考慮する時間を取る価値があります。

人工知能の結果のキャプチャ、保存、解釈

人工知能システムは、入力を与えられると、結果として保存する必要がある出力を生成します。さらに興味深いのは、結果をデータレイク/データウェアハウスに戻し、インサイトがさらなるインサイトをもたらす可能性があるため、インサイトを提供するプロセスを継続できることです。出力の保存方法の管理は、より大きなデータガバナンスの枠組みの中で慎重に検討する必要があります。

人工知能システムは膨大な量の情報を処理するため、人間が通常見逃すような直感に反する洞察を見つける可能性が高いです。最も大きな競争優位性をもたらすのは、通常これらの洞察です。したがって、組織は競争力を維持する手段として、これらのシステムと関わるしかありません。

人工知能の結果の解釈には慎重な検討が必要です。今日の現在の研究と同様に、誤って解釈される可能性があります。したがって、データアナリストはすべてのデータポイントを追跡し、AIシステムが特定の結果を導き出した理由を逆追跡しなければならず、そうしないと、誤った洞察に基づいて行動するリスクがあります。上記のデータ可視化ツールは、AIによって生成された結果にも適用できます。

今後数十年に向けて、組織はAIシステムが生成する情報に依存し始め、これらのシステムを支えるデータがどのようにガバナンスされ、実装されるかが極めて重要になります。

Telemus AI™ を貴社に統合する方法について、無料相談は今すぐお問い合わせください。