人工智能解决方案需要高质量数据

组织数据以各种格式捕获和存储，从电子表格到Word文档、关系数据库和文本文件。利用组织数据涉及一系列预处理步骤，使其适用于商业智能系统中的报告和分析。AI系统需要高度专业化的数据集进行训练，以确保高度的专业化。

准备用于人工智能系统的组织数据需要许多复杂的提取-转换-加载（ETL）过程，以在输入到 AI 之前生成训练数据集。许多组织的监管框架意味着在提取之前必须遵守隐私法律法规。此外，一旦提取完成，严格的存储流程必须符合相关规定，以确保数据得到安全存储和使用。

当前的组织环境中存在海量数据，其中一些数据以易于处理的格式呈现非结构化状态。处理这些信息也存在技术挑战。当数据不是静态的且不断实时变化，并需要动态流程时，数据准备的复杂性就会增加。

我们将在以下章节中探讨关键的数据考量。

常见的组织数据源

数据以各种格式存储，涵盖从财务数据到空间信息的众多维度。在 Microsoft Office 等办公生产力套件和内部专用源系统中捕获的数据，并不适合直接用于人工智能系统。

以下列出了常见的数据源；此列表绝非详尽无遗：

• 用于 ERP 会计系统（Oracle、SAP）的财务数据
• 来自 GIS 系统（ESRI ArcGIS）的空间数据
• 来自办公生产力工具的电子表格（Microsoft Excel、Microsoft Access）
• 源系统后台使用的自定义 SQL 数据库（Microsoft SQL、MySQL、Oracle、SAP）
• 旧系统中捕获的平面文件数据库（IBM 大型机、索引文件）

不同的系统可以以各种格式存储数据。数据集需要进行连接；当存在多个系统时，这会带来挑战。数据分析师通常使用电子表格手动输入信息。当前的趋势是将数据输入到数据湖中，以便数据工程师可以直接处理数据，而无需直接与关键系统交互。因此，需要通过数据转换来实现目标。

人工智能系统可以充分利用这些数据。然而，只有当数据首先被处理成适合输入此类系统的格式时，数据湖和数据仓库在生成高质量数据集方面才至关重要。

人工智能及其与提取-转换-加载 (ETL) 流程的关系

随着人工智能日益普及，传统的ETL流程可能不会改变。更有可能的是，此类技术将被重新定向，以生成有利于学习且与AI系统良好配合的数据集。例如，拍摄物体照片并用关联关系对其进行标注，以使AI系统能够学习。

数据科学家和数据工程师有绝佳的机会利用其数据准备技能来为人工智能系统构建数据集。重要的是，ETL 流程必须自动化，且不能依赖手动流程，以便从实时人工智能系统中获得最高效率。

数据湖和数据仓库作为用于人工智能的唯一事实来源

存储在不同系统中的原始数据会导致数据碎片化。为了克服这一问题，理想的做法是将所有数据传输到一个位置，例如允许查询和数据操作的关系型数据库。一旦所有数据都存储在同一区域，就可以更轻松地对其进行访问和处理，从而生成可产生有价值信息的数据集。定义单一事实来源至关重要。

然后可以使用 Kimball 或 Inmon 等标准来定义数据仓库，以创建用于定义事实或度量的维度。在一般理解中，事实通常是分类数据，而度量通常是数值数据。使用此类标准处理数据在确保效率和准确性方面具有显著优势。

对于投资建设良好数据仓库的组织而言，或许最显著的优势在于它向更广泛的组织开放了组织数据集。在大型组织中，大多数员工无法访问运行业务的关键源系统；但是，他们可以访问数据仓库，通常为只读访问。数据仓库使员工能够发现组织管理层可能通常不了解的洞察。

数据仓库的创建确保了隐私和监管考量得到明确。数据仓库有助于确保数据在利益相关者之间安全传输。对数据湖和数据仓库的访问还可以提高组织职能执行方式的透明度和问责制，从而实现更稳定的运营程序。

组织大数据的可视化

大数据的一个挑战是如何最好地查看它并传达它所讲述的故事。早期的方法包括报告服务，该服务将数据从较低层级聚合到较高层级，以显示在标准图表中，如条形图、折线图和散点图。这些方法适用于作为日常常规业务运营一部分的管理报告（即销售报告、账户报告）。Microsoft SSRS 是企业范围内报告最常用的工具。

高级可视化程序的出现填补了这一空白，Tableau 和 QlikView 占据了市场主导地位。Tableau 专注于令人惊艳的可视化效果，而 QlikView 则在 Microsoft SSRS 和 Tableau 等传统报表服务之间取得了平衡。Microsoft PowerBI 占据了市场主导地位，并被 Gartner 认为更为复杂。这些程序创建的仪表板对于监控多个关键指标并将此类监控作为综合组织流程的一部分非常有用。战略决策者最近制作了出色的仪表板以做出数据驱动的决策，而运营经理则可以更快地做出响应以实现企业目标。

随着 AI 的出现，可视化将发挥至关重要的作用。人工智能系统能够产生的洞察非常复杂，需要通过人们易于理解的可视化方式来呈现。一个很好的例子就是使用自组织映射（SOM）来查看多变量数据。

合并数据以输入到人工智能系统

在获得数据集的访问权限后，便可以从关系数据库中提取数据，并提供与人工智能系统的连接器。大多数现代 AI 系统使用 Python 构建，并依赖通常用 C/C++ 实现的模块来确保效率。

由于 Python 目前是与 AI 交互的主要工具，因此有许多丰富的数据连接器可用于访问许多不同类型数据库中的数据。此外，Python 非常适合进行数据操作，并可通过 NumPy 和 Pandas 等丰富的库进一步扩展原生功能，以帮助预处理输入到特定 AI 系统的数据。目前的框架对所接受的数据格式有严格要求。静态类型的数据框架可以帮助解决这一问题。GPU 处理需要特定的数据类型，这些数据类型不太可能改变。因此，必须提前进行数据类型方面的考虑。

狭义AI领域的人工智能系统具有特定的数据要求，在规划创建用于上述系统的数据集阶段，值得花时间考虑这一点。

捕获、存储和解释人工智能结果

人工智能系统在给定输入后，相应地会产生需要存储的输出。更令人兴奋的是，这些结果可以反馈到数据湖/数据仓库中，并持续提供洞察的过程，因为洞察可以产生进一步的洞察。如何管理输出的存储，需要在更大的数据治理框架内进行仔细考量。

鉴于人工智能系统处理海量信息，它很可能会发现人类通常会忽略的、有悖直觉的洞察。通常正是这些洞察产生了最显著的竞争优势。因此，组织将别无选择，只能借助这些系统来保持竞争力。

对人工智能结果的解读需要审慎考虑。就像当今的现有研究一样，结果也有可能被误读。因此，数据分析师必须追踪所有数据点并回溯 AI 系统得出特定结论的原因，否则可能会错误地依据洞察采取行动。上述数据可视化工具也可应用于 AI 生成的结果。

迈入未来几十年，各组织将开始依赖 AI 系统生成的信息，而支撑这些系统的数据如何被治理和实施将变得至关重要。

立即联系我们，免费咨询 Telemus AI™ 如何集成到您的组织中。