التعلم العميق في تحليل البيانات النقطية

يتيح لك ArcGIS Image Server استخدام طرق تصنيف تعلم إحصائية أو مرتبطة بالجهاز لتصنيف صور الاستشعار عن بعد. التعلم العميق هو نوع من تعلم الماكينة يعتمد على العديد من طبقات المعالجة غير الخطية لتعريف المعالم وإدراك النماذج الموصوفة في وحدة نمطية. يمكن دمج نماذج التعلم العميق مع ArcGIS Image Server لاكتشاف الكائن وتصنيف الصورة. يتم إنشاء نماذج تدريبية للمعالم أو الكائنات محل الاهتمام في ArcGIS Pro باستخدام أدوات مدير النموذج التدريبي الخاص بالتصنيف، وتسميتها باستخدام أداة تسمية الكائنات للتعلم الشامل، ثم تحويلها إلى تنسيق للاستخدام في إطار عمل التعلم الشامل. تُستخدم نماذج التدريب هذه لتدريب النموذج باستخدام أداة تحليل البيانات النقطية تدريب نموذج التعلم الشامل أو ArcGIS API for Python. تتم تعبئة النموذج المدرب مع ملف تعريف النموذج (واختياريًا ملف نص دالة البيانات النقطية Python) ومشاركتهما كعنصر حزمة تعلم شامل (.dlpk) يتم استخدامه حينئذ لتشغيل أدوات استدلال تحليل البيانات النقطية. إما أن تستخرج أدوات الاستنتاج معالم مخصوصة أو تصنف البكسلات في الصور. يمكن استخدام عنصر .dlpk مرات عديدة كمدخلات لأدوات تحليل البيانات النقطية، مما يتيح لك تقييم العديد من الصور في مواقع وفترات زمنية مختلفة، بعد تدريب النموذج.

	أنشئ نماذج تدريبية باستخدام أداة تسمية الكائنات للتعلم الشامل في ArcGIS Pro واستخدم أداة تحليل البيانات النقطية تصدير بيانات التدريب للتعلم الشامل في ArcGIS REST API أو ArcGIS API for Python لتجهيز البيانات لعالم البيانات.
	تدريب التعلم الشامل باستخدام نموذج تدريب التعلم الشامل أداة تحليل البيانات النقطية. ربما تريد أيضًا استخدام ArcGIS REST API لتدريب النموذج بإطار عمل التعلم الشامل. تتم مشاركة حزمة التعلم الشامل الناتجة (*.dlpk)، التي تتكون من ملف تعريف النموذج ونموذج التعلم الشامل المدرّب أو برنامج Python النصي مع البوابة الإلكترونية كعنصر .dlpk.
	يسلِّم عالم البيانات حزمة التعلم الشامل التي تتكون من ملف تعريف النموذج والنموذج المدرب أو برنامج Python النصي مرة أخرى إلى بيئة تحليل البيانات النقطية ArcGIS Image Server. باستخدام عنصر .dlpk في البوابة الإلكترونية، شغّل أداة اكتشاف الكائنات باستخدام التعلم الشامل أو أداة تصنيف وحدات البكسل باستخدام التعلم الشامل أو أداة تصنيف الكائنات باستخدام التعلم الشامل لإنشاء إخراج.

معالم وإمكانات

تمكنك أدوات تحليل البيانات النقطية للتعلم الشامل من استخدام أساليب تصنيف تعلم الآلة القياسية.

• استخدام شبكات محايدة التفافية لتصنيف الصورة أو اكتشاف الكائن.
• استخدم نموذج التعلم الشامل إما لتصنيف بكسلات الصورة أو اكتشاف كائنات أو تصنيفها مثل الطائرات والأشجار والمركبات والأجسام المائية والمباني ومنصات آبار النفط.
• ادمج إطارات عمل نموذج التعلم الشامل الخارجية بما في ذلك PyTorch وKeras وTensorFlow.
• عالج مجموعة من البيانات النقطية أثناء الاستدلال على النموذج لاكتشاف التغيير بمرور الوقت أو اكتشاف الكائنات في مجالات الاهتمام المختلفة.
• قم بتوليد فئة معالم المضلع بما يُظهر الكائنات المكتشفة وكيف أنه تم استخدامها لتحليل إضافي أو سير عمل.
• يمكن أن تستخدم أدوات استدلال التعلم الشامل وحدة المعالجة المركزية (CPU) للمعالجة الموزعة، أو تستخدم وحدات معالجة الرسومات (GPU) القوية على كل عقدة خادم إذا كان هذا متاحًا.
• يمكنك استخدام وحدات معالجة الرسومات (GPU) المتعددة لكل عقدة خادم لتشغيل مهمة استدلال التعلم الشامل مع تكوينات النموذج المحددة مسبقًا في ArcGIS، بما في ذلكTensorFlow Object Detection API وDeepLab وKeras MaskRCNN وPyTorch fastai Single Shot Detector.
• إذا كانت البيانات النقطية للإدخال تأتي مع مساحة خريطة مناسبة لتحويل مساحة الصورة، يمكن تصدير رقاقات الصور التدريبية في مساحة الصورة في أداة "تصدير بيانات التدريب للتعلم الشامل".

ابدأ مع التعلم العميق

يتم إنشاء عينات التدريب وتصديرها داخل ArcGIS بواسطة محلل صور خبير بمجاله لأنها تتطلب معرفة قوية بمهام سير عمل تصنيف الصور. يمكن تدريب نموذج التعلُّم الشامل في ArcGIS باستخدام أداة تحليل البيانات النقطية لنموذج تدريب نموذج التعلم الشامل أو ArcGIS API for Python arcgis.learn. بدلاً من ذلك، يمكن تدريب نموذج التعلم الشامل خارج ArcGIS باستخدام واجهة برمجة تطبيقات التعلم الشامل الخارجية. بمجرد تدريب النموذج، تتم إضافة عنصر .dlpk إلى بوابة ArcGIS Enterprise الإلكترونية ويكون جاهزًا لمهام استدلال النموذج. قم بتشغيل أدوات تحليل البيانات النقطية لاكتشاف الكائنات وتصنيفها أو تصنيف وحدات البكسل من Map Viewer Classic، أو ArcGIS API for Python أو ArcGIS REST API أو ArcGIS Pro. يمكن إكمال الخطوات الثلاث بمحلل واحد لديه خبرة بنماذج التعلم الشامل وتصنيف صورة ArcGIS.

يتم أيضًا توفير تطبيق تعلم شامل منفصل، والذي يثبت واجهات برمجة تطبيقات أطر عمل التعلم الشامل (TensorFlow وKeras وPyTorch وكل مكتبات Python الأخرى المطلوبة) في بيئة arcgispro-py3 الافتراضية ArcGIS Image Server. هذا هو الشرط الأساسي لتشغيل مهام التعلم الشامل في ArcGIS Image Server.

ارجع إلى وثائق التعليمات للمساعدة في تكوين ونشر ArcGIS Enterprise لتحليلات البيانات النقطية. راجع الخطوات الإضافية لتكوين خادم Raster Analysis لاستخدام وحدات معالجة الرسومات (GPU) المتعددة لكل عقدة خادم.

1. قم بإنشاء وتصدير العينات التدريبية.
   1. استخدم أداة تسمية الكائنات للتعلم الشامل في ArcGIS Pro لتحديد مخطط تصنيف أو إنشائه.
   2. قم بإنشاء عينات الموقع التدريبية لتصانيف الفئة أو المعالم محل الاهتمام. احفظ ملف العينة التدريبي.
   3. قم بتشغيل أداة تحليل البيانات النقطية تصدير بيانات التدريب للتعلُّم العميق لتحويل صور المصدر والعينات التدريبية إلى بيانات تدريبية للتعلم العميق. ربما تكون صور المصدر خدمة صورة. مخرجات هذه الأداة هي سلسلة تخزين البيانات حيث يتم تخزين صورة المخرجات والشرائح والتسميات وملفات البيانات التعريفية. المخرجات الإضافية للأداة هي ملف قالب .emd يملؤه عالم بيانات.
2. تدريب نموذج التعلم العميق.
   1. استخدم شرائح الصورة الصادرة في الخطوة 1 أعلاه لتدريب النموذج باستخدام تدريب نموذج التعلم الشامل أداة تحليل البيانات النقطية. بدلاً من ذلك، يمكن للمستخدمين تدريب نماذج التعلم الشامل باستخدام ArcGIS API for Python arcgis.learn، أو واجهات برمجة التطبيقات الخارجية لإطار التعلم الشامل.
   2. إذا تم تدريب نموذج التعلم الشامل باستخدام أداة تحليل البيانات النقطية "تدريب نموذج التعلم الشامل"، فسيكون الإخراج عنصر حزمة نموذج التعلم الشامل المنشور على البوابة. يمكن استهلاك حزمة نموذج التعلم الشامل (.dlpk) مباشرةً في الخطوة التالية.
   3. إذا تم استخدام واجهة برمجة تطبيقات إطار التعلم الشامل لجهة خارجية لتدريب النموذج، فسيحتاج المستخدمون إلى تحديث ملف .emd باسم إطار التعلم الشامل وتكوين النموذج والخصائص الاختيارية الأخرى، واختياريًا دالة بيانات Python النقطية المخصصة لاستدلال النموذج. لمعرفة معلومات عن المعلمات المطلوبة والاختيارية في ملف .emd، راجع قسم ملف تعريف نموذج Esri أدناه.
3. قم بتشغيل أدوات تحليل البيانات النقطية للاستدلال من Map Viewer Classic أو ArcGIS API for Python أو ArcGIS REST API أو ArcGIS Pro.
   1. استخدم أداة تحليل البيانات النقطية اكتشاف الكائنات باستخدام التعلم الشامل أو تصنيف وحدات البكسل باستخدام التعلم الشامل أو تصنيف الكائنات باستخدام التعلم الشامل لمعالجة صورك. إذا احتوى النموذج المدرب على دوال بيانات Python النقطية المخصصة مع متغيرات إضافية، مثل ترك مساحة أو تحديد حد الثقة للتوليف الدقيق للحساسية، فستظهر هذه المتغيرات على مربع حوار أداة تحليل البيانات النقطية ArcGIS Pro أو Map Viewer Classic لإدخال المستخدم. نوع البيانات مثل السلسلة أو الرقمية محدد في دالة بيانات Python النقطية.

      ملاحظة:‏

      يجب تثبيت إطار عمل نموذج التعلم الشامل على أجهزة خدمة Raster Analysis لتشغيل أدوات الاستدلال لأن منطق الاستدلال مُدمج في إطار عمل واجهة برمجة تطبيقات (API) Python وهو مطلوب للحوسبة.

ملف تعريف نموذج Esri

ملف .emd هو ملف JSON يصف نموذج التعلم العميق المدرب. فهو يحتوي على معلمات تعريف النموذج المطلوبة لتشغيل أدوات الاستنتاج، وينبغي تعديله بواسطة عالم بيانات قام هو بنفسه بتدريب النموذج. هناك معلمات ضرورية وأخرى اختيارية في الملف كما هو موصوف في الجدول أدناه.

معلمة ملف تعريف النموذج	التفسير
إطار العمل	اسم إطار عمل التعلم العميق المستخدم لتدريب نموذجك. تعد إطارات عمل التعلم العميق التالية مدعومة: TensorFlow Keras PyTorch Pythonدالة الاستدلالPython
تكوين النموذج	اسم تكوين النموذج. يعرِّف تكوين النموذج مدخلاته ومخرجاته، ويستنتج المنطق، و الافتراضات المفترضة عن مدخلات النموذج ومخرجاته. هناك سير عمل التعلم العميق للمصدر المفتوح الحالي الذي يعرِّف تكوين المدخلات والمخرجات والمنطق المستنتج. يدعم ArcGIS مجموعة من التكوينات سابقة التعريف: TensorFlow ObjectDetectionAPI DeepLab Keras MaskRCNN KerasClassifier إذا استخدمت واحدًا من التكوينات سابقة التعريف، فاكتب اسم التكوين في ملف .emd. إذا دربت نموذج التعلم الشامل الخاص بك باستخدام تكوين مخصص، فستحتاج إلى وصف المدخلات والمخرجات في ملف .emd أو في ملف Python المخصص، بالكامل.
ملف النموذج	المسار إلى ملف نموذج التعلم العميق المدرب. ترتكز الكثير من تنسيقات ملف إطار النموذج على نطاقات البروتوكول، وبالتالي فإن نموذج التعلم العميق المدرب هو ملف .pb، لكن تنسيقات الملف الأخرى مدعومة.
نمط النموذج	نمط النموذج. يمكن أن يكون النمط واحدًا مما يلي: تصنيف الصورة—لتصنيف وحدات البكسل اكتشاف الكائن—لاكتشاف الكائنات أو المعالم ObjectClassification—لتصنيف الكائنات والمعالم
وظيفة الاستنتاج (اختياري)	مسار وظيفة الاستنتاج. وظيفة الاستنتاج تفهم ملف بيانات النموذج المدرب وتوفر المنطق المستنتج. توجد ست وظائف استدلال مدعومة في أدوات تحليل البيانات النقطية للتعلم الشامل ArcGIS: اكتشاف الكائنات لإطار TensorFlow تصنيف وحدات البكسل لإطار Tensor Flow اكتشاف الكائنات لإطار Keras اكتشاف الكائنات لـ PyTorch تصنيف الكائنات لـ PyTorch إذا استخدمت واحدة من وظائف الاستدلال أعلاه، فلن تكون هناك حاجة إلى تخصيصها في ملف .emd. إذا كان نموذجك مدربا باستخدام تكوين نموذج التعلم الشامل غير المدعوم بعد، أو يتطلب منطق استدلال خاص فإن دالة الاستنتاج المخصصة (وحدة Python النمطية) تكون ضرورية مع هذا النموذج المدرب. في هذه الحالة، عيّن InferenceFunction إلى مسار وحدة Python النمطية.
ارتفاع الصورة (اختياري)	يتم تصنيف عدد الصفوف في الصورة أو معالجتها.
عرض الصورة (اختياري)	يتم تصنيف عدد الأعمدة في الصورة أو معالجتها.
تخطيط النطاقات (اختياري)	فهارس النطاق أو أسماء النطاق للاستخراج من صور المدخلات.
تصنيفات (اختياري)	معلومات عن فئات أو كائنات تصنيف المخرجات.

أدناه مثال على ملف تعريف النموذج (.emd) الذي يستخدم تكوين نموذج معياري:

{
    "Framework": "TensorFlow",
    "ModelConfiguration": "ObjectDetectionAPI",
    "ModelFile":"tree_detection.pb",
    "ModelType":"ObjectionDetection",
    "ImageHeight":850,
    "ImageWidth":850,
    "ExtractBands":[0,1,2],
    "Classes" : [
      {
        "Value": 0,
        "Name": "Tree",
        "Color": [0, 255, 0]
      }
    ]
}

عنصر حزمة التعلم العميق (.dlpk)

تتطلب أدوات تحليل البيانات النقطية للتعلم العميق حزمة نموذج التعلم العميق (.dlpk) كمدخلات. تتألف حزمة نموذج التعلم الشامل من ملف JSON لتعريف نموذج Esri (.emd) وملف النموذج الثنائي للتعلم الشامل، واختياريًا، استخدام دالة بيانات Python النقطية.

يمكنك أيضًا مشاركة حزمة تعلم شامل مباشرةً من ArcGIS Pro. بدلاً من ذلك، عندما تكون جميع المكونات جاهزة لديك، يمكنك ضغط جميع الملفات في ملف .zip وتحميل ملف .zip إلى بوابتك الإلكترونية بوصفه عنصر .dlpk. لمزيد من التفاصيل، يرجى الرجوع إلى إضافة الملفات كعناصر. يمكنك أيضًا تغيير ملحق ملف .zip إلى .dlpk لكي يتم اكتشاف نوع العنصر .dlpk تلقائيًا، عند إضافة عنصر.

ملاحظة:‏

يجب ضغط جميع الملفات الموجودة في حزمة نموذج التعلم العميق على مستوى المجلد الرئيسي.