人工智慧解決方案需要高品質資料

組織資料以各種格式擷取和儲存，從試算表到文字文件、關聯式資料庫和文字檔案。利用組織資料涉及一系列預先處理步驟，以使其適合用於商業智慧系統中進行報告和分析。AI 系統需要高度專業化的資料集進行訓練，以確保高度的專業性。

準備組織資料以供人工智慧系統使用，需要許多複雜的擷取-轉換-載入（ETL）流程來產生訓練資料集，然後才能輸入至 AI。許多組織的法規框架意味著在進行擷取之前必須遵守隱私法律與法規。此外，一旦擷取完成，嚴格的儲存流程必須符合相關規則，以確保資料被安全地儲存與使用。

目前的組織環境中存在大量資料，其中一些是以易於處理的格式呈現的非結構化資料。處理這些資訊也存在技術上的挑戰。當資料不是靜態的且不斷即時變化，並需要動態流程時，資料準備的複雜度就會增加。

我們將在以下章節探討關鍵的資料考量事項。

常見的組織資料來源

資料以各種格式儲存，涵蓋從財務資料到空間資訊等多個維度。在 Microsoft Office 等辦公室生產力套件及內部適用特定目的的來源系統中擷取的資料，並不適合直接用於人工智慧系統。

以下列出常見的資料來源；此清單絕非詳盡無遺：

• ERP 會計系統（Oracle、SAP）的財務數據
• 來自 GIS 系統的空間資料 (ESRI ArcGIS)
• 來自辦公室生產力工具的試算表（Microsoft Excel、Microsoft Access）
• 來源系統背後使用的自訂 SQL 資料庫（Microsoft SQL、MySQL、Oracle、SAP）
• 舊有系統（IBM 大型主機、索引檔案）中擷取的平面檔案資料庫

不同的系統可以各種格式儲存資料。資料集需要進行連接；當存在多個系統時，這會帶來挑戰。資料分析師通常會使用試算表手動輸入資訊。目前的趨勢是將資料輸入資料湖，以便資料工程師無需直接與關鍵系統介接即可處理這些資料。因此，需要進行資料轉換才能實現目標。

人工智慧系統可以充分利用這些資料。然而，只有當它首先被處理成合適的格式以輸入此類系統時，資料湖和資料倉儲在產生高品質資料集方面才至關重要。

人工智慧及其與擷取-轉換-載入 (ETL) 流程的關係

傳統的 ETL 流程可能不會隨著人工智慧日益普及而改變。更有可能的是，此類技術將被重新調整，以產生有利於學習且能與 AI 系統良好配合的資料集。例如，拍攝物體的照片並為其標註關聯性，讓 AI 系統能夠學習。

資料科學家和資料工程師有很大的機會利用其資料準備技能來為人工智慧系統構建資料集。重要的是，ETL 流程必須自動化，且不能依賴手動流程，才能從即時人工智慧系統中獲得最大效率。

資料湖與資料倉儲作為用於人工智慧的單一真相來源

儲存在不同系統中的原始資料會導致碎片化。為了克服此問題，理想的做法是將所有資料傳輸至同一位置，例如允許查詢與資料操作的關聯式資料庫。一旦所有資料儲存在同一處，便能更輕鬆地存取與處理，以產生可提供有價值資訊的資料集。定義單一的事實來源是不可或缺的。

然後可以使用 Kimball 或 Inmon 等標準來定義資料倉儲，建立維度以定義事實或量度。一般理解上，事實通常是分類性資料，而量度通常是數值性資料。使用此類標準處理資料，在確保效率與準確性方面提供顯著效益。

對於投資建立良好資料倉儲的組織而言，或許最顯著的優勢是它向更廣泛的組織開放了組織資料集。在大型組織中，大多數員工無法存取運營業務的關鍵來源系統；然而，他們可以存取資料倉儲，通常是唯讀的。資料倉儲讓員工能夠識別出組織管理層可能通常不知道的洞察。

資料倉儲的建立確保了隱私與法規考量得到明確定義。資料倉儲有助於確保資料在利害關係人之間安全地傳輸。對資料湖與倉儲的存取也能提升組織職能執行方式的透明度與問責性，從而實現更穩定的作業程序。

組織大數據的視覺化

大數據的一個挑戰是如何最好地檢視它並傳達它所講述的故事。早期的方法包括報表服務，將資料從較低層級彙總到較高層級，以標準圖表的形式顯示，如長條圖、折線圖和散佈圖。這些方法適用於作為日常常規營運一部分的管理報表（即銷售報表、帳戶報表）。Microsoft SSRS 是企業級報表中最常用的工具。

進階視覺化程式應運而生以填補此一缺口，其中 Tableau 和 QlikView 主導了市場。Tableau 高度專注於令人驚豔的視覺化，而 QlikView 則成功平衡了 Microsoft SSRS 和 Tableau 等傳統報表服務。Microsoft PowerBI 已主導市場，且被 Gartner 認為更為複雜。這些程式建立的儀表板對於監控多項關鍵指標及將此類監控整合為全面組織流程的一部分極為實用。策略決策者近期已製作出優異的儀表板以進行資料驅動的決策，而營運主管則能更快速地回應以達成企業目標。

隨著 AI 的出現，視覺化將扮演至關重要的角色。人工智慧系統所能產生的洞察十分複雜，需要透過人們易於理解的視覺化呈現方式來傳達。一個絕佳的例子就是呈現自組織映射圖（SOM）來檢視多變量資料。

整合資料以輸入人工智慧系統

有了資料集的存取權限，就可以從關聯式資料庫中提取資料，並提供連接器至人工智慧系統。大多數現代 AI 系統使用 Python 建置，並依賴通常以 C/C++ 實作的模組以確保效率。

由於 Python 目前是與 AI 互動的主要工具，因此有豐富的資料連接器可用於許多不同類型的資料庫以存取資料。此外，Python 非常適合用於資料操作，並透過 NumPy 和 Pandas 等豐富的程式庫進一步擴展原生功能，以協助預處理輸入至特定 AI 系統的資料。目前的框架對所接受的資料格式有特定要求。靜態型別資料框架可協助處理此問題。GPU 處理需要特定的資料型別，且不太可能變更。因此，必須事先考量資料型別。

狹義 AI 領域中的人工智慧系統具有特定的資料需求，在規劃建立用於上述系統的資料集階段時，值得花時間考慮這一點。

擷取、儲存與解讀人工智慧結果

人工智能系統在給定輸入後，將相應產生需要儲存的輸出。更令人振奮的是，這些結果可以回饋到資料湖/資料倉儲中，並持續提供洞察的過程，因為洞察可以產生進一步的洞察。如何管理輸出的儲存，需要在更大的資料治理框架內仔細考量。

鑑於人工智慧系統處理大量資訊，很可能會發現人類通常會忽略的直覺以外的洞察。通常正是這些洞察產生最顯著的競爭優勢。因此，機構將別無選擇，只能採用這些系統作為保持競爭力的手段。

解讀人工智慧結果將需要審慎考量。就像目前的研究一樣，結果有可能會被誤解。因此，資料分析師必須追蹤所有資料點並回溯 AI 系統為何產生特定發現的原因，否則將面臨根據錯誤洞察採取行動的風險。上述的資料視覺化工具可應用於 AI 產生的結果。

邁入未來的數十年，各組織將開始依賴 AI 系統所產生的資訊，而這些系統底層資料的治理與實施方式將至關重要。

立即聯絡我們，免費諮詢 Telemus AI™ 如何整合到您的組織中。