ビッグデータファイル共有とは—Portal for ArcGIS | ArcGIS Enterprise のドキュメント

ビッグデータファイル共有について

ビッグデータファイル共有は、ポータルに作成されるアイテムであり、ArcGIS GeoAnalytics Server が利用可能な場所にあるフィーチャデータ (ポイント、ポリライン、ポリゴン、またはテーブルデータ) を参照します。ポータルにあるビッグデータファイル共有アイテムを使用して、ArcGIS GeoAnalytics Server ツールから登録済みのデータを参照できます。ビッグデータファイル共有は、次のデータソースを参照できます。

ファイル共有 - ローカルディスクまたはネットワーク共有上のデータセットのディレクトリ。
HDFS - データセットの HDFS (Hadoop Distributed File System) ディレクトリ。
Hive - メタストアデータベース。
クラウドストア - データセットのディレクトリを含んでいるアマゾンウェブサービス (AWS) S3 (Simple Storage Service) バケットまたは Microsoft Azure BLOB コンテナー。クラウドストアは、ArcGIS 10.5.1 以降で使用できます。

注意:

ビッグデータファイル共有は、ポータル管理者が GeoAnalytics Server を有効化している場合にのみ使用できます。GeoAnalytics Server の有効化に関する詳細については、「ArcGIS GeoAnalytics Server の設定」をご参照ください。

すべてのデータソースに共通しているビッグデータファイル共有を使用することには、いくつかの利点があります。解析を実行する準備ができるまで、アクセス可能な場所にデータを保存しておくことができます。ビッグデータファイル共有では、解析が実行されたときにデータにアクセスします。このため、データを再登録または公開する必要なく、データをビッグデータファイル共有内の既存のデータセットに継続して追加できます。マニフェストを変更して、ビッグデータファイル共有内のデータセットを削除、追加、または更新することもできます。ビッグデータファイル共有は、時間とジオメトリの定義方法に関して極めて柔軟であり、1 つのデータセットを対象とする複数の時間形式に対応できます。また、ビッグデータファイル共有では、データセットのパーティション化が可能であると同時に、複数のパーティションを 1 つのデータセットとして処理できます。

注意:

ビッグデータファイル共有は、GeoAnalytics Tools を実行した場合にのみアクセスできます。つまり、ビッグデータファイルを参照して解析に追加することだけが可能であり、そのデータをマップ上で視覚化することはできません。

ビッグデータファイル共有は、GeoAnalytics Tools からデータにアクセスできる方法の 1 つです。可能な GeoAnalytics Tools データ入力のリストについては、「ポータルのマップビューアーでの GeoAnalytics Tools の使用」をご参照ください。

ビッグデータファイル共有として登録するデータの準備

ファイル共有と HDFS

ビッグデータファイル共有としてデータを準備するには、登録される 1 つの親フォルダー以下のサブフォルダーとしてデータセットを配置する必要があります。登録するこの親フォルダー内で、サブフォルダーの名前はデータセット名を表します。サブフォルダーに複数のフォルダーまたはファイルが含まれている場合、最上位のサブフォルダーのすべてのコンテンツが 1 つのデータセットとして読み込まれます。次の例は、FileShareFolder、Earthquakes、Hurricanes という名前の 3 つのデータセットを含む GlobalOceans フォルダーの登録方法を示しています。親フォルダーを登録すると、指定したフォルダーの下にあるすべてのサブディレクトリも GeoAnalytics Server に登録されます。必ず、個別のデータセットフォルダーを 1 つ以上含む親フォルダー (例: \\machinename\FileShareFolder) を登録してください。

Earthquakes、Hurricanes、GlobalOceans という 3 つのデータセットが含まれているビッグデータファイル共有の例を以下に示します。

|---FileShareFolder                 < -- The top-level folder is what is registered as a big data file share
   |---Earthquakes                  < -- A dataset is all files and folders within the top-level subfolder
      |---1960
         |---01_1960.csv
         |---02_1960.csv
      |---1961
         |---01_1961.csv
         |---02_1961.csv
   |---Hurricanes
      |---atlantic_hur.shp
      |---pacific_hur.shp
      |---otherhurricanes.shp
   |---GlobalOceans
      |---oceans.shp

用語が異なっていても、同じ構造がファイル共有と HDFS に適用されます。ファイル共有では、最上位のフォルダーまたはディレクトリが存在し、データセットはサブディレクトリによって表現されます。HDFS では、ファイル共有の場所が登録され、データセットを含んでいます。次の表に、これらの違いの概要を示します。

	ファイル共有	HDFS
ビッグデータファイル共有の場所	フォルダーまたはディレクトリ	HDFS パス
データセット	最上位のサブフォルダー	HDFS パス内のデータセット

データが、データセットのサブフォルダーを含むフォルダーとして編成されたら、「データを GeoAnalytics Server でアクセス可能にする」の手順に従って、ArcGIS Server がデータにアクセスできるようにし、データセットフォルダーを登録します。

Hive

Hive では、データセット内のすべてのテーブルが、ビッグデータファイル共有のデータセットとして認識されます。次の例では、default と CityData という 2 つのデータベースを含むメタストアが存在します。ArcGIS Server を使用して Hive ビッグデータファイル共有を GeoAnalytics Server に登録するときは、1 つしかデータベースを選択できません。この例では、CityData データベースが選択された場合、ビッグデータファイル共有に FireData と LandParcels という 2 つのデータセットが含まれることになります。

|---HiveMetastore                 < -- The top-level folder is what is registered as a big data file share   |---default                    < -- A database      |---Earthquakes      |---Hurricanes      |---GlobalOceans   |---CityData				               < -- A database that is registered (specified in Server Manager)      |---FireData      |---LandParcels

クラウドストア

クラウドストアタイプのビッグデータファイル共有を登録する手順は 3 つあります。

データの準備

クラウドストア内のビッグデータファイル共有としてデータを準備するには、1 つの親フォルダー以下のサブフォルダーとしてデータセットを配置します。

データを構築する方法は次のようになります。この例では、3 つのデータセット (Earthquakes、Hurricanes、および GlobalOceans) が含まれている親フォルダー (FileShareFolder) を登録します。親フォルダーを登録すると、指定したフォルダーの下にあるすべてのサブディレクトリも GeoAnalytics Server に登録されます。

ビッグデータファイル共有として使用されるクラウドストアにデータを構築する方法の例。このビッグデータファイルには、Earthquakes、Hurricanes、および GlobalOceans という 3 つのデータセットが含まれています。

|---Cloud Store                          < -- The cloud store being registered
   |---Container or S3 Bucket Name       < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store
      |---FileShareFolder                < -- The parent folder that is registered as the 'folder' during cloud store registration
         |---Earthquakes                 < -- The dataset "Earthquakes" composed of 4 csvs
            |---1960
               |---01_1960.csv
               |---02_1960.csv
            |---1961
               |---01_1961.csv
               |---02_1961.csv
         |---Hurricanes                  < -- The dataset "Hurricanes" composed of 3 shapefiles
            |---atlantic_hur.shp
            |---pacific_hur.shp
            |---otherhurricanes.shp
         |---GlobalOceans                < -- The dataset "GlobalOceans" composed of 1 shapefile
            |---oceans.shp

クラウドストアを GeoAnalytics Server に登録する

ArcGIS Server Manager から GeoAnalytics Server サイトに接続して、クラウドストアを登録します。クラウドストアを登録する場合、Azure コンテナー名または AWS S3 バケット名、およびそのコンテナーまたはバケット内のフォルダーを含める必要があります。指定したフォルダーはサブフォルダーで構成され、それぞれ個別のデータセットを表します。各データセットは、サブフォルダーのすべてのコンテンツで構成されます。

クラウドストアをビッグデータファイル共有として登録する

クラウドストアをビッグデータファイル共有として登録する方法は、使用するクラウド格納によって異なります。

以下の手順に従って、前のセクションで作成した AWS S3 クラウドストアをビッグデータファイル共有として登録します。

ArcGIS Server Manager から GeoAnalytics Server サイトにサインインします。
公開者または管理者としてサインインできます。
注意:
GeoAnalytics Server 10.5.1 では、IAM 認証情報を使用して AWS クラウドストアを登録できません。
[サイト] > [データストア] に移動し、[登録] ドロップダウンリストから [ビッグデータファイル共有] を選択します。
[ビッグデータファイル共有の登録] ダイアログボックスで、次の情報を入力します。
1. ビッグデータファイル共有の名前を入力します。
2. [タイプ] ドロップダウンリストから [クラウドストア] を選択します。
3. [クラウドストア] ドロップダウンリストから AWS クラウドストアの名前を選択します。
4. [作成] をクリックして、クラウドストアをビッグデータファイル共有として登録します。

これで、AWS クラウドストア用のビッグデータファイル共有およびマニフェストが作成されました。ポータルのビッグデータファイル共有アイテムは、GeoAnalytics Server のビッグデータカタログサービスをポイントします。

以下の手順に従って、前のセクションで作成した Azure Cloud Store をビッグデータファイル共有として登録します。

ArcGIS Server Administrator Directory から GeoAnalytics Server サイトにサインインします。
ArcGIS Server Administrator Directory では、管理者としてサインインする必要があります。フェデレートされた GeoAnalytics Server サイトに接続するには、ポータルトークン (ポータル管理者の認証情報が必要) を使用してサインインするか、GeoAnalytics Server サイトのプライマリサイト管理としてサインインする必要があります。ポータル管理者ではなく、プライマリサイト管理者のアカウント情報にもアクセスできない場合は、ポータル管理者に連絡して、これらの手順を実行してもらってください。
[data] > [registerItem] に移動します。
次のテキストをコピーして、[Item] テクストボックスに貼り付けます。ビッグデータファイル共有に使用する名前で <bigDataFileShareName> の値を更新し、Azure Cloud Store を GeoAnalytics Server サイトに登録したときに指定した名前で <cloudStoreName> の値を更新します。
```
{
   "path": "/bigDataFileShares/<bigDataFileShareName>",
   "type": "bigDataFileShare",
   "info": {
   "connectionString": "{\"path\" : \"/cloudStores/<cloudStoreName>\"}",
   "connectionType": "dataStore"
   }
   }
```
[Register Item] をクリックします。
アイテムが登録されると、ビッグデータファイル共有がデータストアとして ArcGIS Server Manager に表示されます。
ArcGIS Server Manager から GeoAnalytics Server サイトGeoAnalytics Serverにサインインします。
公開者または管理者としてサインインできます。
[サイト] > [データストア] に移動して、新しいビッグデータファイル共有の横の [マニフェストの再生成] ボタンをクリックします。

これで、Azure Cloud Store 用のビッグデータファイル共有およびマニフェストが作成されました。ポータルのビッグデータファイル共有アイテムは、GeoAnalytics Server のビッグデータカタログサービスをポイントします。

ビッグデータファイル共有の登録

ファイル共有、HDFS、または Hive クラウドストアをビッグデータファイル共有として登録するには、ArcGIS Server Manager を使用して GeoAnalytics Server サイトに接続します。必要な手順の詳細については、ArcGIS Server ヘルプの「ArcGIS Server Manager を使用したデータの ArcGIS Server への登録」をご参照ください。

ヒント:

クラウドストアをビッグデータファイル共有として登録する手順は、前のセクションで説明されています。

ビッグデータファイル共有が登録されると、ジオメトリと時間を表すフィールドを含め、共有場所にあるデータセットの形式について概略を示すマニフェストが生成されます。ビッグデータファイル共有アイテムはポータルに作成され、データを登録した GeoAnalytics Server のビッグデータカタログサービスをポイントします。ビッグデータカタログサービスの詳細については、ArcGIS Services REST API ヘルプの「ビッグデータカタログサービス」のドキュメントをご参照ください。

ビッグデータファイル共有の変更

ビッグデータカタログサービスが作成されると、マニフェストが自動的に生成され、データを登録した GeoAnalytics Server サイトにアップロードされます。マニフェストを生成するプロセスでは、ジオメトリおよび時間を表すフィールドを常に正しく推定できるとは限らないため、編集の適用が必要になる場合があります。マニフェストを編集するには、「ArcGIS Server Manager でのビッグデータファイル共有の編集」の手順に従います。ビッグデータファイル共有のマニフェストの詳細については、ArcGIS Server ヘルプの「ビッグデータファイル共有のマニフェストについて」をご参照ください。

ビッグデータファイル共有に対する解析の実行

ビッグデータファイル共有内のデータセットに対して解析を実行するには、GeoAnalytics Server をサポートし、次のいずれかのコンポーネントを備えた任意のクライアントを使用します。

ArcGIS Pro
Portal for ArcGIS マップビューアー
ArcGIS REST API

ArcGIS Pro または Portal for ArcGIS マップビューアーを使用してビッグデータファイル共有に対する解析を実行するには、使用する GeoAnalytics Toolsを選択します。ツールに対する入力として、ArcGIS Pro の [ポータル] または Portal for ArcGIS マップビューアーの [レイヤーの参照] ダイアログボックスで、データが存在する場所を参照して選択します。データを自分自身で登録した場合、データは [マイコンテンツ] にあります。それ以外の場合は、[グループ] または [すべてのポータル] を調べてみます。解析用に選択されたビッグデータファイル共有レイヤーはマップに表示されない点に注意してください。

注意:

必ず、登録されたビッグデータファイル共有へのアクセス権を持つポータルアカウントを使用してサインインするようにしてください。検索語に「bigDataFileShare*」を使用してポータルを検索すると、アクセス可能なビッグデータファイル共有をすばやく見つけることができます。

ArcGIS REST API を使用してビッグデータファイル共有に対する解析を実行するには、入力としてビッグデータカタログサービスの URL を使用します。この URL の形式は {"url":" https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset"} になります。たとえば、コンピューター名が example、ドメイン名が esri、ArcGIS Web Adaptor 名が server、ビッグデータファイル共有名が MyData、データセット名が Earthquakes の場合、URL は {"url":" https://example.esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/BigDataCatalogServer/Earthquakes"} になります。REST を介したビッグデータ解析への入力の詳細については、ArcGIS Services REST API のドキュメントにある「フィーチャ入力」のトピックをご参照ください。

このトピックへのフィードバック

ビッグ データ ファイル共有について

注意:

注意:

ビッグ データ ファイル共有として登録するデータの準備

ファイル共有と HDFS

Hive

クラウド ストア

データの準備

クラウド ストアを GeoAnalytics Server に登録する

クラウド ストアをビッグ データ ファイル共有として登録する

注意:

ビッグ データ ファイル共有の登録