ما هي مشاركة ملف البيانات الضخمة؟

نبذة عن عمليات مشاركة ملف البيانات الضخمة

مشاركة ملف البيانات الضخمة هو عنصر مُنشأ في البوابة الإلكترونية التي تُسند بيانات المعالم (النقاط أو الخطوط المتصلة أو المضلعات أو البيانات الجدولية) في موقع متاح لـ ArcGIS GeoAnalytics Server. يتيح لك عنصر مشاركة ملف البيانات الضخمة استعراض البيانات المُسجّلة من أدوات ArcGIS GeoAnalytics Server. يمكن لعمليات مشاركة ملف البيانات الضخمة إسناد مصادر البيانات التالية:

• مشاركة الملف - دليل مجموعات البيانات على قرص محلي أو مشاركة شبكة.
• HDFS - دليل نظام الملف الموزع Hadoop (HDFS) لمجموعات البيانات.
• Hive - مجموعات بيانات Metastore.
• مخزن السحابة - مستودع خدمة التخزين البسيطة (S3) لخدمات أمازون على الويب (AWS) أو حاوية Microsoft Azure Blob تحتوي على دليل مجموعات بيانات. تتوفر مخازن السحابة بدءًا من ArcGIS 10.5.1.

ملاحظة:‏

لا تتوفر مشاركة ملف بيانات ضخمة للاستخدام إلا إذا مكَّن مسئول البوابة الإلكترونية GeoAnalytics Server. لمعرفة المزيد عن تمكين GeoAnalytics Server، راجع موضوع إعداد ArcGIS GeoAnalytics Server.

توجد عدة مزايا من وراء استخدام مشاركة ملف بيانات ضخمة معروفة لكل مصادر البيانات. يمكنك الاحتفاظ بالبيانات في موقعك الذي يمكن الوصول إليه حتى تكون مستعدًا لتنفيذ التحليل. تصل مشاركة ملف البيانات الضخمة إلى البيانات عند تشغيل التحليل؛ لذا يمكنك الاستمرار في إضافة مزيد من البيانات إلى مجموعة البيانات الحالية في مشاركة ملف البيانات الضخمة دون الحاجة إلى إعادة تسجيل بياناتك أو نشرها. يمكنك أيضًا تعديل البيان لإزالة مجموعات البيانات أو إضافتها أو تحديثها في مشاركة ملف البيانات الضخمة. تتميز عمليات مشاركة ملف البيانات الضخمة بمرونة عالية في الوقت المستغرق وتعريف الشكل الهندسي، وتتيح تنسيقات وقت متعددة في مجموعة بيانات واحدة. تتيح عمليات مشاركة ملف البيانات الضخمة تقسيم مجموعات البيانات، مع الإبقاء على التعامل مع الأقسام المتعددة على أنها مجموعة بيانات مفردة.

ملاحظة:‏

لا يتم الوصول إلى مشاركات ملف البيانات الضخمة إلا عند تشغيل GeoAnalytics Tools. وهو ما يعني أنه لا يمكنك إلا استعراض وإضافة ملفات البيانات الضخمة إلى التحليل، ويتعذر عليك تصوّر البيانات على الخريطة.

تعد مشاركات ملف البيانات الضخمة إحدى الوسائل العديدة التي يمكن لـ GeoAnalytics Tools من خلالها الوصول إلى بياناتك. راجع موضوع استخدام GeoAnalytics Tools في عارض خرائط البوابة الإلكترونية لقائمة من مدخلات بيانات GeoAnalytics Tools المحتملة.

تحضير بياناتك لتسجيلها كمشاركة ملف بيانات ضخمة.

عمليات مشاركة الملف وHDFS

لتحضير البيانات لمشاركة ملف بيانات ضخمة، يجب عليك تنسيق مجموعات البيانات كمجلدات فرعية أدنى مجلد أصلي مفرد سيتم تسجيله. في هذا المجلد الأصلي الذي تسجله، تُمثّل أسماء المجلدات الفرعية أسماء مجموعة البيانات. إذا احتوت المجلدات الفرعية على مجلدات متعددة أو ملفات متعددة، يتم قراءة كل محتويات المجلدات الفرعية ذات أعلى مستوى كمجموعة بيانات مفردة. فيما يلي مثال على كيفية تسجيل المجلد FileShareFolder الذي يحتوي على ثلاث مجموعات بيانات، باسم EarthquakesوHurricanesوGlobalOceans. عند تسجيل مجلد أصلي، سيتم أيضًا تسجيل جميع الدلائل الفرعية الموجودة أدنى المجلد الذي تحدده مع GeoAnalytics Server. سجل المجلد الأصلي دائمًا (مثل، \\machinename\FileShareFolder) الذي يحتوي على مجلد واحد أو أكثر من مجلدات مجموعة بيانات فردية.

مثال على مشاركة ملف بيانات ضخمة يحتوي على ثلاث مجموعات بيانات: الزلازل والأعاصير والمحيطات العالمية.

|---FileShareFolder                 < -- The top-level folder is what is registered as a big data file share
   |---Earthquakes                  < -- A dataset is all files and folders within the top-level subfolder
      |---1960
         |---01_1960.csv
         |---02_1960.csv
      |---1961
         |---01_1961.csv
         |---02_1961.csv
   |---Hurricanes
      |---atlantic_hur.shp
      |---pacific_hur.shp
      |---otherhurricanes.shp
   |---GlobalOceans
      |---oceans.shp

وتُطبّق نفس هذه البنية على عمليات مشاركة الملف وHDFS على الرغم من اختلاف المصطلحات. في مشاركة الملف، يوجد مجلد أو دليل بمستوى علوي، ويتم تمثيل مجموعات البيانات بواسطة الدلائل الفرعية. في HDFS، موقع مشاركة الملف مسجل، ويحتوي على مجموعات بيانات. يوضح الجدول التالي الاختلافات:

	مشاركة ملف	HDFS
موقع مشاركة ملف البيانات الضخمة	مجلد أو دليل	مسار HDFS
مجموعات البيانات	مجلدات فرعية بمستوى علوي	مجموعات بيانات ضمن مسار HDFS

بمجرد تنظيم البيانات كمجلد بمجلدات فرعية لمجموعة بيانات، اجعل بياناتك قابلة للوصول إلى GeoAnalytics Server باتباع الخطوات في جعل بياناتك قابلة للوصول لـ ArcGIS Server وتسجيل مجلد مجموعة البيانات.

الخلية

في Hive، يتم التعرف على مجموعة البيانات كمجموعات بيانات في مشاركة ملف البيانات الضخمة. في المثال التالي، يوجد metastore بمجموعتي بيانات، default وCityData. عند تسجيل مشاركة ملف بيانات ضخمة لخلية عبر ArcGIS Server من خلال GeoAnalytics Server، لا يمكن تحديد إلا قاعدة بيانات واحدة. في هذا المثال، إذا تم تحديد قاعدة بيانات CityData ستوجد مجموعتي بيانات في مشاركة ملف البيانات الضخمة، FireData وLandParcels.

|---HiveMetastore                 < -- The top-level folder is what is registered as a big data file share   |---default                    < -- A database      |---Earthquakes      |---Hurricanes      |---GlobalOceans   |---CityData				               < -- A database that is registered (specified in Server Manager)      |---FireData      |---LandParcels

مخازن السحابة

توجد ثلاث خطوات لتسجيل مشاركة ملف بيانات ضخمة لنوع مخزن السحابة.

1. تحضير بياناتك في مخزن السحابة بالتنسيق الصحيح.
2. تسجيل مخزن السحابة في GeoAnalytics Server.
3. تسجيل مخزن السحابة كمشاركة ملف بيانات ضخمة في GeoAnalytics Server.

إعداد البيانات

لتحضير بياناتك لمشاركة ملف بيانات ضخمة في مخزن سحابة، قم بتنسيق مجموعات البيانات كمجلدات فرعية أدنى مجلد أصلي مفرد.

فيما يلي مثال على كيفية إنشاء بياناتك. يُسجل هذا المثال المجلد الأصلي، FileShareFolder، الذي يحتوي على ثلاث مجموعات بيانات Earthquakes، و Hurricanes، و GlobalOceans. عند تسجيل مجلد أصلي، سيتم أيضًا تسجيل جميع الدلائل الفرعية الموجودة أدنى المجلد الذي تحدده مع GeoAnalytics Server.

مثال على كيفية إنشاء البيانات في مخزن سحابة سيتم استخدامه كمشاركة ملف بيانات ضخمة. يحتوي ملف البيانات الضخمة على ثلاث مجموعات بيانات: الزلازل والأعاصير والمحيطات العالمية.

|---Cloud Store                          < -- The cloud store being registered
   |---Container or S3 Bucket Name       < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store
      |---FileShareFolder                < -- The parent folder that is registered as the 'folder' during cloud store registration
         |---Earthquakes                 < -- The dataset "Earthquakes" composed of 4 csvs
            |---1960
               |---01_1960.csv
               |---02_1960.csv
            |---1961
               |---01_1961.csv
               |---02_1961.csv
         |---Hurricanes                  < -- The dataset "Hurricanes" composed of 3 shapefiles
            |---atlantic_hur.shp
            |---pacific_hur.shp
            |---otherhurricanes.shp
         |---GlobalOceans                < -- The dataset "GlobalOceans" composed of 1 shapefile
            |---oceans.shp

تسجيل مخزن السحابة في GeoAnalytics Server.

اتصل بموقع GeoAnalytics Server من ArcGIS Server Manager لـ تسجيل مخزن سحابة. عندما تُسجّل مخزن سحابة، يجب عليك تضمين اسم حاوية Azure أو اسم مستودع AWS S3، فضلاً عن مجلد ضمن الحاوية أو المستودع. يتكون المجلد المحدد من مجلدات فرعية، ويمثل كل مجلد منها مجموعة بيانات مفردة. تتكون كل مجموعة بيانات من كل محتويات المحلد الفرعي.

تسجيل مخزن السحابة كمشاركة ملف بيانات ضخمة

تعتمد كيفية تسجيل مخزن السحابة كمشاركة ملف بيانات ضخمة على مخزن السحابة الذي تستخدمه.

اتبع هذه الخطوات لتسجيل مخزن سحابة AWS S3 الذي أنشأته في الجزء السابق كمشاركة ملف بيانات ضخمة:

1. سجل الدخول إلى موقع GeoAnalytics Server من ArcGIS Server Manager.

   يمكنك تسجيل الدخول كناشر أو مسؤول.

   ملاحظة:‏

   في الإصدار GeoAnalytics Server 10.5.1، لا يمكنك تسجيل مخزن سحابة AWS باستخدام بيانات اعتماد IAM.

2. انتقل إلى الموقع > مخازن البيانات واختر مشاركة ملف بيانات ضخمة من قائمة تسجيل المنسدلة.
3. أدخل المعلومات التالية في مربع حوار تسجيل مشاركة ملف البيانات الضخمة:
   1. اكتب اسم مشاركة ملف البيانات الضخمة.
   2. اختر مخزن سحابة من قائمة النوع المنسدلة.
   3. اختر اسم مخزن سحابة AWS من قائمة سحابة المخزن المنسدلة.
   4. انقر على إنشاء لتسجيل مخزن السحابة كمشاركة ملف بيانات ضخمة.

لديك الآن ملف بيانات ضخمة وبيان لمخزن سحابة AWS. يشير عنصر مشاركة ملف البيانات الضخمة في البوابة الإلكترونية إلى خدمة كتالوج البيانات الضخمة في GeoAnalytics Server.

اتبع هذه الخطوات لتسجيل مخزن سحابة Azure الذي أنشأته في الجزء الأخير كمشاركة ملف بيانات ضخمة:

1. سجل الدخول إلى موقع GeoAnalytics Server من دليل مسؤول ArcGIS Server.

   يتطلب منك دليل مسؤول ArcGIS Server تسجيل الدخول كمسؤول. للاتصال بموقع GeoAnalytics Server الموحد، يمكنك تسجيل الدخول باستخدام رمز مميز للبوابة الإلكترونية، وهوا ما يتطلب بيانات اعتماد مسؤول البوابة الإلكترونية، أو كمسئول الموقع الأساسي لموقع GeoAnalytics Server. إذا لم تكن مسؤول بوابة إلكترونية أو لا يمكنك الوصول إلى معلومات حساب مسئول الموقع الرئيسي، فاتصل بمسئول البوابة الإلكترونية لإكمال هذه الخطوات لك.

2. انتقل إلى البيانات > registerItem.
3. انسح النص التالي والصقه في مربع ألعنصر النصي. حدِّث <bigDataFileShareName> بالاسم المرغوب فيه لمشاركة ملف البيانات الضخمة، وقيمة <cloudStoreName> بالاسم الذي حددته لمخزن سحابة Azure عند تسجيله في موقع GeoAnalytics Server.

   {
      "path": "/bigDataFileShares/<bigDataFileShareName>",
      "type": "bigDataFileShare",
      "info": {
      "connectionString": "{\"path\" : \"/cloudStores/<cloudStoreName>\"}",
      "connectionType": "dataStore"
      }
      }
   

4. انقر على تسجيل العنصر.

   بمجرد تسجيل العنصر، تظهر مشاركة ملف البيانات الضخمة كمخزن بيانات في ArcGIS Server Manager.

5. سجل الدخول إلى موقع GeoAnalytics Server GeoAnalytics Server من ArcGIS Server Manager.

   يمكنك تسجيل الدخول كناشر أو مسؤول.

6. انتقل إلى الموقع > مخازن البيانات وانقر على زر إعادة إنشاء البيان بجانب مشاركة ملف البيانات الضخمة الجديد.

لديك الآن ملف بيانات ضخمة وبيان لمخزن سحابة Azure. يشير عنصر مشاركة ملف البيانات الضخمة في البوابة الإلكترونية إلى خدمة كتالوج البيانات الضخمة في GeoAnalytics Server.

تسجيل مشاركة ملف البيانات الضخمة

لتسجيل مشاركة ملف أو HDFS أو مخزن ملف Hive كمشاركة ملف بيانات ضحمة، تواصل مع موقع GeoAnalytics Server من خلال ArcGIS Server Manager. راجع موضوع تسجيل البيانات من خلال ArcGIS Server باستخدام المدير في تعليمات ArcGIS Server للحصول على تفاصيل الخطوات الضرورية.

تلميح:

تم عرض خطوات لتسجيل مخزن سحابة كمشاركة ملف بيانات ضخمة في الجزء السابق.

عند تسجيل مشاركة ملف بيانات ضخمة، يتم إنشاء بيان يوضح تنسيق مجموعات البيانات ضمن موقع المشاركة، بما في ذلك الحقول التي تمثل الشكل الهندسي والوقت. يتم إنشاء عنصر مشاركة ملف البيانات الضخمة في البوابة الإلكترونية التي تشير إلى خدمة كتالوج البيانات الضخمة في GeoAnalytics Server حيث سجّلت البيانات. لمعرفة المزيد عن خدمات كتالوج البيانات الضخمة، راجع وثائق خدمة كتالوج البيانات الضخمة في تعليمات ArcGIS Services REST API.

تعديل مشاركة ملف البيانات الضخمة

عند إنشاء عنصر كتالوج البيانات الضخمة، يتم إنشاء بيان تلقائيًا وتحميله إلى موقع GeoAnalytics Server حيث سجّلت البيانات. قد لا تُقدّر عملية إنشاء البيان الحقول التي تمثل الشكل الهندسي والوقت بشكل صحيح دائمًا، وقد يجب عليك تطبيق عمليات التحرير. لتحرير بيان، اتبع الخطوات في تحرير مشاركات ملف البيانات الضخمة في المدير. لمعرفة المزيد عن بيان مشاركة ملف البيانات الضخمة، راجع التعرُّف على بيان مشاركة ملف البيانات الضخمة في تعليمات ArcGIS Server.

تشغيل التحليل على مشاركة ملف البيانات الضخمة

يمكنك تشغيل التحليل في مجموعة البيانات في مشاركة ملف بيانات ضخمة خلال أي عميل يدعم GeoAnalytics Server، والذي يشمل ما يلي:

• ArcGIS Pro
• عارض خرائط Portal for ArcGIS
• ArcGIS REST API

لتشغيل التحليل على مشاركة ملف بيانات ضخمة خلال ArcGIS Pro أو عارض خرائط Portal for ArcGIS حدد GeoAnalytics Tools ما تريد استخدامه. في مدخلات الأداة، استعرض حيث تقع البيانات أدنى البوابة الإلكترونية في ArcGIS Pro أو في مربع حوار استعراض الطبقات في عارض خرائط Portal for ArcGIS. سيتكون البيانات في المحتوى إذا سجلت البيانات بنفسك. وبخلاف ذلك، انظر إلى المجموعات أو كل البوابة الإلكترونية. لاحظ أنه لن يتم عرض طبقة مشاركة ملف بيانات ضخمة محددة للتحليل في الخريطة.

ملاحظة:‏

تأكد من تسجيل الدخول بحساب البوابة الإلكترونية يتمتع بالوصول إلى مشاركة ملف البيانات الضخمة المسجلة. يمكنك البحث في البوابة الإلكترونية بالمصطلح bigDataFileShare* للعثور بسرعة على كل عمليات مشاركة البيانات الضخمة التي يمكنك الوصول إليها.

لتشغيل التحليل على مشاركة ملف بيانات ضخمة خلال ArcGIS REST API، استخدم عنوان URL لخدمة كتالوج البيانات الضخمة كمُدخل. سيكون ذلك بتنسيق {"url":" https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset"}. على سبيل المثال، بجهاز باسم example، ونطاق يحمل اسم esri، وWeb Adaptor باسم server، ومشاركة ملف بيانات ضخمة باسم MyData، ومجموعة بيانات باسم Earthquakes، سيكون عنوان URL هو: {"url":" https://example.esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/BigDataCatalogServer/Earthquakes"}. لمعرفة المزيد عن مدخلات تحليل البيانات الضخمة خلال REST، راجع موضوع مدخلات المعلم في وثائق ArcGIS Services REST API.