Rozwiązania sztucznej inteligencji wymagają wysokiej jakości danych

Dane organizacyjne są przechwytywane i przechowywane w różnych formatach, od arkuszy kalkulacyjnych po dokumenty tekstowe, relacyjne bazy danych i pliki tekstowe. Wykorzystanie danych organizacyjnych obejmuje serię kroków wstępnego przetwarzania, aby uczynić je odpowiednimi do użycia w systemach analityki biznesowej do raportowania i analiz. Systemy AI wymagają wysoce wyspecjalizowanych zestawów danych do trenowania, aby zapewnić wysoki stopień specjalizacji.

Przygotowanie danych organizacyjnych do użycia w systemach sztucznej inteligencji wymaga wielu złożonych procesów Extract-Transform-Load (ETL), aby wytworzyć zestaw danych treningowych przed wprowadzeniem ich do AI. Ramy regulacyjne wielu organizacji sugerują, że przed ekstrakcją należy przestrzegać przepisów i regulacji dotyczących prywatności. Ponadto rygorystyczne procesy przechowywania muszą być zgodne z zasadami po zakończeniu ekstrakcji, aby zapewnić bezpieczne przechowywanie i wykorzystanie danych.

W obecnym środowisku organizacyjnym istnieją ogromne ilości danych, z których niektóre są nieustrukturyzowane w formacie łatwym do obróbki. Istnieje również wyzwanie techniczne w przetwarzaniu tych informacji. Złożoność przygotowywania danych wzrasta, gdy dane nie są statyczne i stale zmieniają się w czasie rzeczywistym, co wymaga dynamicznych procesów.

W poniższych sekcjach omówimy kluczowe kwestie dotyczące danych.

Typowe Organizacyjne Źródła Danych

Dane są przechowywane w różnych formatach i obejmują wiele wymiarów, od danych finansowych po informacje przestrzenne. Dane przechwytywane w pakietach biurowych, takich jak Microsoft Office, oraz wewnętrznych, dedykowanych systemach źródłowych nie nadają się dobrze do bezpośredniego użycia w systemach sztucznej inteligencji.

Poniżej wymieniono znane źródła danych; lista ta w żadnym razie nie jest wyczerpująca:

• Dane finansowe dla systemów księgowych ERP (Oracle, SAP)
• Dane przestrzenne z systemów GIS (ESRI ArcGIS)
• Arkusze kalkulacyjne z narzędzi biurowych (Microsoft Excel, Microsoft Access)
• Niestandardowe bazy danych SQL używane za systemami źródłowymi (Microsoft SQL, MySQL, Oracle, SAP)
• Płaskie bazy danych zapisane w systemach starszej generacji (IBM Mainframes, pliki indeksowane)

Różne systemy mogą przechowywać dane w różnych formatach. Zbiory danych wymagają łączenia; stwarza to wyzwania, gdy istnieje wiele systemów. Powszechną praktyką analityków danych jest ręczne wprowadzanie informacji przy użyciu arkuszy kalkulacyjnych. Obecnym trendem jest wprowadzanie danych do jeziora danych, aby inżynierowie danych mogli z nimi pracować bez konieczności bezpośredniej integracji z systemami krytycznymi. Wymagało to zatem transformacji danych w celu osiągnięcia celów.

Systemy sztucznej inteligencji mogą świetnie wykorzystać te dane. Jednak dopiero gdy zostaną one najpierw przetworzone w odpowiednim formacie do wprowadzenia do takich systemów, jeziora danych i magazyny danych okazują się kluczowe w tworzeniu wysokiej jakości zestawów danych.

Sztuczna inteligencja i jej relacja z procesami Extract-Transform-Load (ETL)

Tradycyjne procesy ETL prawdopodobnie nie ulegną zmianie, gdy sztuczna inteligencja stanie się bardziej powszechna. Jest bardziej prawdopodobne, że takie techniki zostaną przekierowane na tworzenie zestawów danych, które sprzyjają uczeniu i dobrze współpracują z systemami AI. Przykładem jest robienie zdjęć obiektów i etykietowanie ich powiązaniami, aby umożliwić systemom AI naukę.

Istnieją doskonałe możliwości dostępne dla analityków danych i inżynierów danych, aby wykorzystać swoje umiejętności przygotowywania danych do budowania zestawów danych dla systemów sztucznej inteligencji. Będzie ważne, aby procesy ETL były zautomatyzowane i nie opierały się na procesach manualnych, aby uzyskać maksymalną wydajność z systemów sztucznej inteligencji w czasie rzeczywistym.

Jeziora danych i magazyny danych jako pojedyncze źródło prawdy do wykorzystania w sztucznej inteligencji

Przechowywanie surowych danych w różnych systemach prowadzi do fragmentacji. Aby temu zaradzić, pożądane jest przesyłanie wszystkich danych w jedno miejsce, takie jak relacyjna baza danych, która umożliwia zapytania i manipulację danymi. Gdy wszystkie dane są przechowywane w jednym miejscu, można do nich łatwiej uzyskać dostęp i pracować z nimi, aby tworzyć zbiory danych dostarczające cennych informacji. Kluczowe jest zdefiniowanie jednego źródła prawdy.

Magazyny danych można następnie zdefiniować przy użyciu standardów takich jak Kimball lub Inmon, aby tworzyć wymiary definiujące fakty lub miary. Fakt to zazwyczaj dane kategoryczne, podczas gdy miara to zazwyczaj dane liczbowe w ogólnym rozumieniu. Przetwarzanie danych przy użyciu takich standardów oferuje znaczące korzyści w zapewnieniu wydajności i dokładności.

Być może najważniejszą zaletą dla organizacji, które zainwestowały w dobre hurtownie danych, jest to, że otwiera ona zbiór danych organizacji dla szerszego grona w organizacji. Biorąc pod uwagę duże organizacje, większość pracowników nie ma dostępu do krytycznych systemów źródłowych, które obsługują działalność; mają jednak dostęp do hurtowni danych, zazwyczaj tylko do odczytu. Hurtownie danych pozwalają pracownikom identyfikować spostrzeżenia, których struktura zarządzania organizacji może powszechnie nie znać.

Tworzenie magazynów danych zapewnia zdefiniowanie kwestii dotyczących prywatności i regulacji. Magazyny danych pomagają zapewnić bezpieczne przesyłanie danych między interesariuszami. Dostęp do jezior danych i magazynów może również poprawić przejrzystość i odpowiedzialność w zakresie realizacji funkcji organizacyjnych, co pozwala na bardziej stabilne procedury operacyjne.

Wizualizacja organizacyjnych Big Data

Wyzwaniem związanym z big data jest to, jak najlepiej je przeglądać i przekazywać historię, którą opowiadają. Wcześniejsze podejścia obejmowały usługi raportowania, które agregują dane z niższych do wyższych poziomów, aby wyświetlać je na standardowych wykresach, takich jak wykresy słupkowe, wykresy liniowe i wykresy punktowe. Podejścia te są odpowiednie dla raportów zarządczych (tj. raportów sprzedaży, raportów księgowych), które są częścią codziennych, standardowych operacji biznesowych. Microsoft SSRS to najpopularniejsze narzędzie używane do raportowania w skali całego przedsiębiorstwa.

Zaawansowane programy wizualizacyjne pojawiły się, aby zniwelować tę lukę, przy czym Tableau i QlikView zdominowały rynek. Tableau skupiał się mocno na oszałamiających wizualizacjach, podczas gdy QlikView zdołał zrównoważyć tradycyjne usługi raportowania, takie jak Microsoft SSRS i Tableau. Microsoft PowerBI zdominował rynek i jest uważany za bardziej złożony przez Gartner. Programy te tworzą dashboardy, które są niezwykle przydatne do monitorowania wielu kluczowych metryk i integrowania takiego monitorowania jako części kompleksowych procesów organizacyjnych. Osoby podejmujące decyzje strategiczne stworzyły ostatnio świetne dashboardy do podejmowania decyzji opartych na danych, podczas gdy menedżerowie operacyjni mogą szybciej reagować, aby osiągnąć cele korporacyjne.

Wraz z pojawieniem się AI, wizualizacja będzie odgrywać kluczową rolę. Wnioski, które mogą generować systemy sztucznej inteligencji, są złożone i muszą być komunikowane w reprezentacji wizualnej, którą ludzie mogą łatwo zrozumieć. Doskonałym tego przykładem jest przedstawienie samoorganizującej się mapy (SOM) do przeglądania danych wielowymiarowych.

Scalanie Danych w Celu Przekazania ich do Systemów Sztucznej Inteligencji

Mając dostęp do zbiorów danych, możliwe jest pobranie danych z relacyjnej bazy danych i zapewnienie łącznika z systemem sztucznej inteligencji. Większość nowoczesnych systemów AI jest zbudowana przy użyciu języka Python i opiera się na modułach zazwyczaj implementowanych w C/C++ w celu zapewnienia wydajności.

Ponieważ Python jest obecnie głównym narzędziem do interfejsowania z AI, dostępna jest bogata seria łączników danych do wielu różnych typów baz danych w celu uzyskiwania dostępu do danych. Ponadto Python dobrze nadaje się do manipulacji danymi i dalej rozszerza natywną funkcjonalność za pomocą bogatych bibliotek, takich jak NumPy i Pandas, aby dodatkowo pomóc w wstępnym przetwarzaniu danych wprowadzanych do konkretnych systemów AI. Obecne frameworki są bardzo wybredne jeśli chodzi o akceptowane formaty danych. Statycznie typowane frameworki danych mogą w tym pomóc. Przetwarzanie GPU wymaga określonych typów danych, które prawdopodobnie nie ulegną zmianie. Zatem kwestie dotyczące typów danych muszą być rozważone z wyprzedzeniem.

Systemy sztucznej inteligencji w obszarze wąskiej AI mają specyficzne wymagania dotyczące danych i warto poświęcić czas na ich rozważenie na etapie planowania tworzenia zestawów danych, które mają być używane w tych systemach.

Przechwytywanie, Przechowywanie i Interpretacja Wyników Sztucznej Inteligencji

Systemy sztucznej inteligencji, biorąc pod uwagę dane wejściowe, w konsekwencji wygenerują wyniki, które będą musiały zostać zapisane. Co bardziej ekscytujące, wyniki mogą być wprowadzane z powrotem do jezior danych/magazynów danych i kontynuować proces dostarczania spostrzeżeń, ponieważ spostrzeżenia mogą rodzić dalsze spostrzeżenia. Zarządzanie sposobem przechowywania wyników będzie musiało być starannie rozważone w ramach szerszej struktury ładu danych.

Biorąc pod uwagę, że systemy sztucznej inteligencji przetwarzają ogromne ilości informacji, prawdopodobne jest znalezienie nieintuicyjnych spostrzeżeń, których człowiek zazwyczaj by nie zauważył. To zazwyczaj te spostrzeżenia dają najważniejszą przewagę konkurencyjną. W związku z tym organizacje nie będą miały innego wyboru, jak tylko korzystać z tych systemów jako środka do utrzymania konkurencyjności.

Interpretacja wyników sztucznej inteligencji będzie wymagać starannego rozważenia. Podobnie jak w przypadku obecnych badań, istnieje możliwość ich błędnej interpretacji. Dlatego analitycy danych muszą prześledzić wszystkie punkty danych i odtworzyć, dlaczego systemy AI wygenerowały konkretne ustalenia, lub ryzykować nieprawidłowe działanie na podstawie tych spostrzeżeń. Narzędzia do wizualizacji danych, takie jak opisane powyżej, mogą być stosowane do wyników generowanych przez AI.

Przechodząc w nadchodzące dekady, organizacje zaczną polegać na informacjach produkowanych przez systemy AI, a sposób, w jaki dane leżące u podstaw tych systemów są zarządzane i wdrażane, będzie miał najważniejsze znaczenie.

Skontaktuj się z nami już dziś, aby uzyskać bezpłatną konsultację na temat tego, jak Telemus AI™ może zostać zintegrowane z Twoją organizacją.