인공지능 솔루션에는 고품질 데이터가 필요하다

조직 데이터는 스프레드시트부터 Word 문서, 관계형 데이터베이스 및 텍스트 파일에 이르기까지 다양한 형식으로 캡처되고 저장됩니다. 조직 데이터를 활용하는 것에는 보고 및 분석을 위한 비즈니스 인텔리전스 시스템에서 사용하기 적합하게 만드는 일련의 사전 처리 단계가 포함됩니다. AI 시스템은 높은 수준의 특수화를 보장하기 위해 학습용으로 고도로 전문화된 데이터셋이 필요합니다.

인공지능 시스템에서 사용하기 위한 조직 데이터 준비는 AI에 입력되기 전에 학습 데이터셋을 생성하기 위해 많은 복잡한 추출-변환-적재(ETL) 프로세스를 필요로 합니다. 많은 조직의 규제 프레임워크는 추출이 발생하기 전에 개인정보 보호법 및 규정을 준수해야 함을 의미합니다. 또한, 데이터가 안전하게 저장되고 사용되도록 보장하기 위해 추출이 완료된 후 엄격한 저장 프로세스가 규정을 준수해야 합니다.

현재 조직 환경에는 방대한 양의 데이터가 있으며, 그중 일부는 다루기 쉬운 형식으로 구조화되지 않은 상태입니다. 또한 이 정보를 처리하는 데 기술적 과제가 있습니다. 데이터가 정적이지 않고 실시간으로 지속적으로 변경되며 동적 프로세스가 필요한 경우 데이터 준비의 복잡성이 증가합니다.

당사는 다음 섹션에서 주요 데이터 고려 사항을 살펴볼 것입니다.

일반적인 조직 데이터 소스

데이터는 다양한 형식으로 저장되며 재무 데이터부터 공간 정보까지 다양한 차원을 포괄합니다. Microsoft Office와 같은 오피스 생산성 제품군 및 내부 목적 적합 소스 시스템에서 캡처된 데이터는 인공 지능 시스템에서 직접 사용하기에 적합하지 않습니다.

다음은 익숙한 데이터 소스를 나열합니다. 이 목록은 결코 포괄적인 것이 아닙니다:

• ERP 회계 시스템을 위한 재무 데이터(Oracle, SAP)
• GIS 시스템의 공간 데이터(ESRI ArcGIS)
• 오피스 생산성 도구의 스프레드시트(Microsoft Excel, Microsoft Access)
• 소스 시스템(Microsoft SQL, MySQL, Oracle, SAP) 뒤에서 사용되는 사용자 지정 SQL 데이터베이스
• 레거시 시스템(IBM 메인프레임, 인덱스된 파일)에 캡처된 플랫 파일 데이터베이스

서로 다른 시스템은 다양한 형식으로 데이터를 저장할 수 있습니다. 데이터셋은 조인이 필요하며, 여러 시스템이 있을 때 문제가 발생합니다. 데이터 분석가가 스프레드시트를 사용하여 정보를 수동으로 입력하는 것은 일반적인 일입니다. 현재의 추세는 데이터를 데이터 레이크에 입력하는 것이므로, 데이터 엔지니어가 중요 시스템과 직접 인터페이스할 필요 없이 작업할 수 있습니다. 따라서 목표를 달성하기 위해 데이터 변환이 필요했습니다.

인공지능 시스템은 이 데이터를 유용하게 활용할 수 있다. 그러나 이 시스템에 공급하기 위해 먼저 적절한 형식으로 처리되었을 때에만 데이터 레이크와 데이터 웨어하우스가 고품질 데이터셋을 생성하는 데 핵심적인 역할을 한다.

인공지능과 추출-변환-적재(ETL) 프로세스의 관계

전통적인 ETL 프로세스는 인공지능이 더욱 두드러짐에 따라 변경되지 않을 가능성이 높습니다. 오히려 이러한 기술이 AI 시스템과 잘 작동하는 학습에 적합한 데이터셋을 생성하도록 재조정될 가능성이 높습니다. 한 예로 사물의 사진을 찍고 AI 시스템이 학습할 수 있도록 연관성을 레이블로 지정하는 것을 들 수 있습니다.

데이터 과학자와 데이터 엔지니어가 자신의 데이터 준비 기술을 활용하여 인공지능 시스템용 데이터셋을 구축할 수 있는 훌륭한 기회가 있습니다. 실시간 인공지능 시스템에서 최대의 효율성을 얻기 위해서는 ETL 프로세스가 자동화되고 수동 프로세스에 의존하지 않는 것이 중요할 것입니다.

인공 지능에 사용하기 위한 단일 진실 공급원으로서의 데이터 레이크 및 데이터 웨어하우스

서로 다른 시스템에 저장된 원시 데이터는 파편화를 초래합니다. 이를 극복하기 위해 쿼리 및 데이터 조작을 허용하는 관계형 데이터베이스와 같은 한 위치로 모든 데이터를 파이프하는 것이 바람직합니다. 모든 데이터가 한 곳에 저장되면 가치 있는 정보를 산출하는 데이터 세트를 생성하기 위해 더 쉽게 액세스하고 작업할 수 있습니다. 단일 진실 공급원을 정의하는 것이 필수적입니다.

그런 다음 Kimball 또는 Inmon과 같은 표준을 사용하여 팩트나 측정값을 정의하는 차원을 생성하여 데이터 웨어하우스를 정의할 수 있습니다. 일반적으로 팩트는 범주형 데이터이고, 측정값은 수치형 데이터입니다. 이러한 표준을 사용하여 데이터를 처리하면 효율성과 정확성을 보장하는 데 있어 상당한 이점을 제공합니다.

우수한 데이터 웨어하우스 구축에 투자한 조직에게 아마도 가장 중요한 이점은 조직의 데이터셋을 더 광범위한 조직에 개방한다는 것입니다. 대규모 조직의 경우 대부분의 직원은 비즈니스를 운영하는 핵심 소스 시스템에 액세스할 수 없지만, 일반적으로 읽기 전용으로 데이터 웨어하우스에는 액세스할 수 있습니다. 데이터 웨어하우스를 통해 직원은 조직의 관리 구조가 일반적으로 알지 못하는 인사이트를 식별할 수 있습니다.

데이터 웨어하우스의 생성은 개인정보 보호 및 규제 고려 사항이 정의되도록 보장합니다. 데이터 웨어하우스는 데이터가 이해관계자 간에 안전하게 전송되도록 보장합니다. 데이터 레이크 및 웨어하우스에 대한 접근은 조직 기능이 수행되는 방식의 투명성과 책임성을 향상시켜 더 안정적인 운영 절차를 가능하게 할 수도 있습니다.

조직의 빅데이터 시각화

빅데이터의 과제 중 하나는 이를 가장 잘 시각화하고 전달하는 이야기를 구성하는 방법입니다. 초기 접근 방식에는 하위 수준에서 상위 수준으로 데이터를 집계하여 막대 차트, 꺾은선형 차트 및 산점도와 같은 표준 차트로 표시하는 보고 서비스가 포함되었습니다. 이러한 접근 방식은 일상적인 비즈니스 운영의 일부인 관리 보고서(예: 매출 보고서, 계정 보고서)에 적합합니다. Microsoft SSRS는 기업 전체 보고에 사용되는 가장 일반적인 도구입니다.

이러한 격차를 해소하기 위해 고급 시각화 프로그램이 등장했으며, Tableau와 QlikView가 시장을 주도했습니다. Tableau는 멋진 시각화에 중점을 두었고, QlikView는 Microsoft SSRS 및 Tableau와 같은 전통적인 보고 서비스의 균형을 맞추었습니다. Microsoft PowerBI는 시장을 장악했으며 Gartner에 의해 더 복잡한 것으로 간주됩니다. 이러한 프로그램은 여러 핵심 지표를 모니터링하고 이러한 모니터링을 포괄적인 조직 프로세스의 일부로 통합하는 데 매우 유용한 대시보드를 만듭니다. 최근 전략적 의사결정권자는 데이터 기반 의사결정을 내리기 위해 훌륭한 대시보드를 만들었으며, 운영 관리자는 기업 목표를 달성하기 위해 더 빠르게 대응할 수 있습니다.

AI의 등장으로 시각화는 중요한 역할을 할 것입니다. AI 시스템이 생성할 수 있는 인사이트는 복잡하며, 사람들이 쉽게 이해할 수 있는 시각적 표현으로 전달되어야 합니다. 이의 훌륭한 예로 다변량 데이터를 보기 위해 자기 조직화 지도(SOM)를 제시하는 것을 들 수 있습니다.

인공 지능 시스템에 공급하기 위한 데이터 통합

데이터세트에 대한 액세스가 주어지면, 관계형 데이터베이스에서 데이터를 가져와 인공 지능 시스템에 커넥터를 제공할 수 있습니다. 대부분의 최신 AI 시스템은 Python을 사용하여 구축되며 효율성을 보장하기 위해 일반적으로 C/C++로 구현된 모듈에 의존합니다.

Python이 현재 AI와 인터페이스하기 위한 주요 도구이므로, 데이터에 접근하기 위해 다양한 유형의 데이터베이스에 사용할 수 있는 풍부한 데이터 커넥터 시리즈가 제공된다. 또한 Python은 데이터 조작에 적합하며 NumPy 및 Pandas와 같은 풍부한 라이브러리로 기본 기능을 확장하여 특정 AI 시스템에 공급되는 데이터의 사전 처리를 추가로 지원한다. 현재 프레임워크는 허용되는 데이터 형식에 대해 매우 까다롭다. 정적 타입 데이터 프레임워크가 이에 도움이 될 수 있다. GPU 처리는 변경될 가능성이 낮은 특정 데이터 유형을 요구한다. 따라서 데이터 유형 고려 사항을 미리 결정해야 한다.

좁은 AI 분야의 인공지능 시스템은 특정 데이터 요구 사항을 가지고 있으며, 해당 시스템에서 사용할 데이터셋을 생성하는 계획 단계에서 이를 고려할 시간을 갖는 것이 가치 있다.

인공 지능 결과 캡처, 저장 및 해석

인공지능 시스템은 주어진 입력에 따라 결과물을 생성하며, 그 결과물은 저장될 필요가 있다. 더욱 흥미롭게도, 결과를 데이터 레이크/데이터 웨어하우스에 다시 공급하여 인사이트가 추가 인사이트를 도출할 수 있게 함으로써 인사이트를 제공하는 프로세스를 계속할 수 있다. 출력물이 어떻게 저장되는지에 대한 관리는 더 큰 데이터 거버넌스 프레임워크 내에서 신중하게 고려되어야 한다.

인공지능 시스템은 방대한 양의 정보를 처리하므로, 인간이 일반적으로 놓칠 수 있는 직관에 반하는 통찰을 발견할 가능성이 높습니다. 일반적으로 가장 큰 경쟁 우위를 창출하는 것은 바로 이러한 통찰입니다. 따라서 조직은 경쟁력을 유지하기 위한 수단으로 이러한 시스템을 도입하는 것 외에 다른 선택지가 없을 것입니다.

인공지능 결과의 해석에는 신중한 고려가 필요합니다. 오늘날의 현재 연구와 마찬가지로 잘못 해석될 가능성이 있습니다. 따라서 데이터 분석가는 모든 데이터 포인트를 추적하고 AI 시스템이 특정 결과를 도출한 이유를 역추적해야 하며, 그렇지 않으면 인사이트를 잘못 바탕으로 행동할 위험이 있습니다. 위에서 설명한 데이터 시각화 도구는 AI가 생성한 결과에 적용될 수 있습니다.

앞으로 몇십 년 동안 조직은 AI 시스템이 생성한 정보에 의존하기 시작할 것이며, 이러한 시스템을 뒷받침하는 데이터가 관리되고 구현되는 방식이 가장 중요해질 것입니다.

Telemus AI™를 귀하의 조직에 통합하는 방법에 대한 무료 상담을 위해 오늘 문의하십시오.