تتطلب حلول الذكاء الاصطناعي بيانات عالية الجودة

يتم التقاط بيانات المؤسسات وتخزينها بتنسيقات مختلفة، بدءاً من جداول البيانات إلى مستندات النصوص، وقواعد البيانات العلائقية والملفات النصية. يتضمن الاستفادة من البيانات التنظيمية سلسلة من خطوات المعالجة المسبقة لجعلها مناسبة للاستخدام في أنظمة ذكاء الأعمال لإعداد التقارير والتحليلات. تتطلب أنظمة AI مجموعات بيانات عالية التخصص للتدريب لضمان درجة عالية من التخصص.

يتطلب إعداد البيانات التنظيمية للاستخدام في أنظمة الذكاء الاصطناعي العديد من عمليات الاستخراج والتحويل والتحميل (ETL) المعقدة لإنتاج مجموعة بيانات تدريب قبل إدخالها في AI. كما ينطق الإطار التنظيمي للعديد من المؤسسات على ضرورة الالتزام بقوانين ولوائح الخصوصية قبل إجراء عملية الاستخراج. علاوة على ذلك، يجب أن تمتثل عمليات التخزين الصارمة للقواعد بمجرد اكتمال الاستخراج لضمان تخزين البيانات واستخدامها بشكل آمن.

هناك كميات هائلة من البيانات في بيئة المؤسسات الحالية، بعضها غير منظمة بتنسيق يسهل التعامل معه. هناك أيضًا تحدٍ تقني في معالجة هذه المعلومات. تزداد تعقيدية إعداد البيانات عندما لا تكون البيانات ثابتة وتتغير باستمرار في الوقت الفعلي، وتتطلب عمليات ديناميكية.

سنستكشف الاعتبارات الرئيسية للبيانات في الأقسام التالية.

مصادر البيانات التنظيمية الشائعة

تُخزَّن البيانات بتنسيقات مختلفة وتغطي أبعادًا متعددة، بدءًا من البيانات المالية وصولًا إلى المعلومات المكانية. لا تتلاءم البيانات التي يتم التقاطها في حزم الإنتاجية المكتبية مثل Microsoft Office وأنظمة المصادر الداخلية المخصصة لغرض معين بشكل جيد للاستخدام المباشر في أنظمة الذكاء الاصطناعي.

تسرد ما يلي مصادر بيانات مألوفة؛ هذه القائمة ليست شاملة بأي حال من الأحوال:

• البيانات المالية لأنظمة محاسبة تخطيط موارد المؤسسات (Oracle، SAP)
• البيانات المكانية من أنظمة GIS (ESRI ArcGIS)
• جداول البيانات من أدوات إنتاجية المكتب (Microsoft Excel، Microsoft Access)
• قواعد بيانات SQL المخصصة المستخدمة خلف الأنظمة المصدرية (Microsoft SQL، MySQL، Oracle، SAP)
• قواعد بيانات الملفات المسطحة التي تم التقاطها في الأنظمة القديمة (أجهزة IBM المركزية، الملفات المفهرسة)

يمكن للأنظمة المختلفة تخزين البيانات بتنسيقات متنوعة. وتتطلب مجموعات البيانات الانضمام؛ مما يفرض تحديات عند وجود أنظمة متعددة. من الشائع أن يقوم محللو البيانات بإدخال المعلومات يدويًا باستخدام جداول البيانات. الاتجاه الحالي هو إدخال البيانات في بحيرة بيانات، بحيث يمكن لمهندسي البيانات العمل معها دون الاضطرار للتفاعل مباشرة مع الأنظمة الحرجة. وبالتالي، تطلبت الأمر تحويلات بيانات لتحقيق الأهداف.

يمكن لأنظمة الذكاء الاصطناعي الاستفادة بشكل كبير من هذه البيانات. ومع ذلك، فقط عندما تتم معالجتها أولاً بتنسيق مناسب لإدخالها في مثل هذه الأنظمة، يكمن دور بحيرات البيانات ومستودعات البيانات في إنتاج مجموعات بيانات عالية الجودة.

الذكاء الاصطناعي وعلاقته بعمليات الاستخراج والتحويل والتحميل (ETL)

من المرجح أن عمليات ETL التقليدية لن تتغير مع ازدياد بروز الذكاء الاصطناعي. ومن المرجح أكثر أن يتم إعادة توجيه هذه التقنيات لإنتاج مجموعات بيانات ملائمة للتعلم وتعمل بشكل جيد مع أنظمة AI. ومن الأمثلة على ذلك التقاط صور للأشياء ووضع علامات عليها بترابط يسمح لأنظمة AI بالتعلم.

هناك فرص رائعة متاحة لعلماء البيانات ومهندسي البيانات لاستخدام مهاراتهم في إعداد البيانات لبناء مجموعات بيانات لأنظمة الذكاء الاصطناعي. سيكون من المهم أتمتة عمليات ETL وألا تعتمد على العمليات اليدوية لتحقيق أقصى كفاءة من أنظمة الذكاء الاصطناعي في الوقت الفعلي.

بحيرات البيانات ومستودعات البيانات كمصدر وحيد للحقيقة للاستخدام في الذكاء الاصطناعي

تؤدي تخزين البيانات الخام عبر أنظمة مختلفة إلى تجزئة البيانات. للتغلب على ذلك، من المرغوب فيه توجيه جميع البيانات إلى موقع واحد، مثل قاعدة بيانات علائقية تسمح بإجراء الاستعلامات ومعالجة البيانات. بمجرد تخزين جميع البيانات في منطقة واحدة، يمكن الوصول إليها والعمل معها بسهولة أكبر لإنتاج مجموعات بيانات تنتج معلومات قيمة. من الضروري تحديد مصدر وحيد للحقيقة.

يمكن بعد ذلك تعريف مستودعات البيانات باستخدام معايير مثل Kimball أو Inmon لإنشاء أبعاد لتعريف الحقائق أو المقاييس. الحقيقة عادةً ما تكون بيانات فئوية، بينما المقياس عادةً ما يكون بيانات رقمية في الفهم العام. تقدم معالجة البيانات باستخدام مثل هذه المعايير فوائد كبيرة في ضمان الكفاءة والدقة.

ربما تكون الميزة الأبرز للمؤسسات التي استثمرت في امتلاك مستودع بيانات جيد هي أنه يتيح مجموعة بيانات المؤسسة للمؤسسة بأكملها. بالنظر إلى المؤسسات الكبيرة، فإن معظم الموظفين لا يمكنهم الوصول إلى الأنظمة المصدرية الحرجة التي تدير العمل؛ ومع ذلك، يمكنهم الوصول إلى مستودع البيانات، عادةً للقراءة فقط. تتيح مستودعات البيانات للموظفين تحديد رؤى قد لا تكون معروفة عادةً لدى الهيكل الإداري للمؤسسة.

يضمن إنشاء مستودعات البيانات تحديد اعتبارات الخصوصية والتنظيمية. تساعد مستودعات البيانات في ضمان نقل البيانات بأمان بين أصحاب المصلحة. يمكن أن يؤدي الوصول إلى بحيرات البيانات والمستودعات أيضًا إلى تحسين الشفافية والمساءلة حول كيفية تنفيذ الوظائف التنظيمية، مما يسمح بإجراءات تشغيل أكثر استقرارًا.

تصور البيانات الضخمة للمؤسسات

أحد تحديات البيانات الضخمة هو كيفية عرضها بشكل أفضل ونقل القصة التي ترويها. شملت النهج السابقة خدمات إعداد التقارير التي تجمع البيانات من المستويات الأدنى إلى الأعلى ليتم عرضها في مخططات قياسية مثل المخططات الشريطية، والمخططات الخطية، ومخططات التشتت. هذه النهج مناسبة لتقارير الإدارة (أي تقارير المبيعات، تقارير الحسابات) التي تشكل جزءًا من عمليات الأعمال المعتادة اليومية. Microsoft SSRS هو الأداة الأكثر شيوعًا المستخدمة لإعداد التقارير على مستوى المؤسسة.

ظهرت برامج تصور متقدمة لمعالجة هذه الفجوة، مع هيمنة Tableau و QlikView على السوق. ركز Tableau بشكل كبير على التصورات المذهلة، بينما تمكن QlikView من تحقيق التوازن بين خدمات إعداد التقارير التقليدية مثل Microsoft SSRS و Tableau. هيمنت Microsoft PowerBI على السوق وتعتبر أكثر تعقيدًا من قبل Gartner. تنشئ هذه البرامج لوحات معلومات مفيدة بشكل لا يصدق لمراقبة مقاييس رئيسية متعددة ودمج مثل هذه المراقبة كجزء من العمليات التنظيمية الشاملة. اتخذ صناع القرار الاستراتيجي مؤخرًا لوحات معلومات رائعة لاتخاذ قرارات مبنية على البيانات، بينما يمكن لمديري العمليات الاستجابة بشكل أسرع لتحقيق أهداف الشركة.

مع ظهور الذكاء الاصطناعي، ستلعب التصورات دورًا حيويًا. الرؤى التي يمكن لأنظمة الذكاء الاصطناعي إنتاجها معقدة، ويجب توصيلها في تمثيل مرئي يمكن للأشخاص فهمه بسهولة. مثال ممتاز على ذلك هو تقديم خريطة ذاتية التنظيم (SOM) لعرض البيانات متعددة المتغيرات.

دمج البيانات لتغذيتها في أنظمة الذكاء الاصطناعي

بالنظر إلى الوصول إلى مجموعات البيانات، يصبح من الممكن بعد ذلك أخذ البيانات من قاعدة بيانات علائقية وتوفير موصل لنظام ذكاء اصطناعي. تم بناء معظم أنظمة AI الحديثة باستخدام Python وتعتمد على وحدات نمطية يتم تنفيذها عادةً في C/C++ لضمان الكفاءة.

نظراً لأن Python هي حالياً الأداة الأساسية للتفاعل مع AI، تتوفر سلسلة غنية من موصلات البيانات للعديد من أنواع قواعد البيانات المختلفة للوصول إلى البيانات. علاوة على ذلك، تناسب Python تماماً معالجة البيانات وتزيد من توسيع الوظائف الأصلية مع مكتبات غنية مثل NumPy و Pandas للمساعدة بشكل أكبر في المعالجة المسبقة للبيانات التي يتم تغذيتها في أنظمة AI محددة. الأطر الحالية صارمة بشأن تنسيقات البيانات المقبولة. يمكن أن تساعد أطر البيانات المكتوبة بشكل ثابت في ذلك. تتطلب معالجة GPU أنواع بيانات محددة، والتي من غير المرجح أن تتغير. وبالتالي، يجب إجراء اعتبارات نوع البيانات مسبقاً.

أنظمة الذكاء الاصطناعي في مجال الذكاء الاصطناعي الضيق لها متطلبات بيانات محددة، ومن الجدير قضاء الوقت في النظر في ذلك خلال مراحل التخطيط لإنشاء مجموعات البيانات التي سيتم استخدامها في الأنظمة المذكورة.

التقاط وتخزين وتفسير نتائج الذكاء الاصطناعي

أنظمة الذكاء الاصطناعي، بالنظر إلى المدخلات، ستنتج بالتالي مخرجات ستحتاج إلى تخزينها. والأكثر إثارة، يمكن إعادة تغذية النتائج في بحيرات البيانات/مستودعات البيانات ومواصلة عملية تقديم الرؤى حيث يمكن للرؤى أن تنتج رؤى أخرى. ستحتاج إدارة كيفية تخزين المخرجات إلى دراسة متأنية ضمن إطار حوكمة بيانات أوسع.

بالنظر إلى أن أنظمة الذكاء الاصطناعي تعالج كميات هائلة من المعلومات، فمن المحتمل أن تجد رؤى غير بديهية قد يفوتها الإنسان عادةً. وعادةً ما تكون هذه الرؤى هي ما ينتج أكبر ميزة تنافسية. وبالتالي، لن يكون أمام المؤسسات خيار سوى التعامل مع هذه الأنظمة كوسيلة للبقاء تنافسية.

سيتطلب تفسير نتائج الذكاء الاصطناعي دراسة متأنية. تمامًا كما هو الحال مع الأبحاث الحالية اليوم، من المحتمل أن يتم تفسيرها بشكل خاطئ. لذلك، يجب على محللي البيانات تتبع جميع نقاط البيانات وإعادة تتبع أسباب توصل أنظمة AI إلى نتائج محددة، وإلا فسيكون هناك خطر التصرف بناءً على رؤى بشكل غير صحيح. يمكن تطبيق استخدام أدوات تصور البيانات كما هو موضح أعلاه على النتائج التي تولدها AI.

بالانتقال إلى العقود القادمة، ستبدأ المؤسسات بالاعتماد على المعلومات التي تنتجها أنظمة AI، وستكون كيفية حوكمة البيانات التي تدعم هذه الأنظمة وتطبيقها في غاية الأهمية.

اتصل بنا اليوم للحصول على استشارة مجانية حول كيفية دمج Telemus AI™ في مؤسستك.