Skip To Content

ビッグ データ ファイル共有とは

ビッグ データ ファイル共有について

ビッグ データ ファイル共有は、ポータルに作成されるアイテムであり、ArcGIS GeoAnalytics Server が利用可能な場所にあるフィーチャ データ (ポイント、ポリライン、ポリゴン、またはテーブル データ) を参照します。ポータルにあるビッグ データ ファイル共有アイテムを使用して、ArcGIS GeoAnalytics Server ツールから登録済みのデータを参照できます。ビッグ データ ファイル共有は、次のデータ ソースを参照できます。

  • ファイル共有 - ローカル ディスクまたはネットワーク共有上のデータセットのディレクトリ。
  • HDFS - データセットの HDFS (Hadoop Distributed File System) ディレクトリ。
  • Hive - メタストア データベース。
  • クラウド ストア - データセットのディレクトリを含んでいるアマゾン ウェブ サービス (AWS) S3 (Simple Storage Service) バケットまたは Microsoft Azure BLOB コンテナー。クラウド ストアは、ArcGIS 10.5.1 以降で使用できます。

注意:

ビッグ データ ファイル共有は、ポータル管理者が GeoAnalytics Server を有効化している場合にのみ使用できます。GeoAnalytics Server の有効化に関する詳細については、「ArcGIS GeoAnalytics Server の設定」をご参照ください。

すべてのデータ ソースに共通しているビッグ データ ファイル共有を使用することには、いくつかの利点があります。解析を実行する準備ができるまで、アクセス可能な場所にデータを保存しておくことができます。ビッグ データ ファイル共有では、解析が実行されたときにデータにアクセスします。このため、データを再登録または公開する必要なく、データをビッグ データ ファイル共有内の既存のデータセットに継続して追加できます。マニフェストを変更して、ビッグ データ ファイル共有内のデータセットを削除、追加、または更新することもできます。ビッグ データ ファイル共有は、時間とジオメトリの定義方法に関して極めて柔軟であり、1 つのデータセットを対象とする複数の時間形式に対応できます。また、ビッグ データ ファイル共有では、データセットのパーティション化が可能であると同時に、複数のパーティションを 1 つのデータセットとして処理できます。

注意:

ビッグ データ ファイル共有は、GeoAnalytics Tools を実行した場合にのみアクセスできます。つまり、ビッグ データ ファイルを参照して解析に追加することだけが可能であり、そのデータをマップ上で視覚化することはできません。

ビッグ データ ファイル共有は、GeoAnalytics Tools からデータにアクセスできる方法の 1 つです。可能な GeoAnalytics Tools データ入力のリストについては、「ポータルのマップ ビューアーでの GeoAnalytics Tools の使用」をご参照ください。

ビッグ データ ファイル共有として登録するデータの準備

ファイル共有と HDFS

ビッグ データ ファイル共有としてデータを準備するには、登録される 1 つの親フォルダー以下のサブフォルダーとしてデータセットを配置する必要があります。登録するこの親フォルダー内で、サブフォルダーの名前はデータセット名を表します。サブフォルダーに複数のフォルダーまたはファイルが含まれている場合、最上位のサブフォルダーのすべてのコンテンツが 1 つのデータセットとして読み込まれます。次の例は、FileShareFolderEarthquakesHurricanes という名前の 3 つのデータセットを含む GlobalOceans フォルダーの登録方法を示しています。親フォルダーを登録すると、指定したフォルダーの下にあるすべてのサブディレクトリも GeoAnalytics Server に登録されます。必ず、個別のデータセット フォルダーを 1 つ以上含む親フォルダー (例: \\machinename\FileShareFolder) を登録してください。

Earthquakes、Hurricanes、GlobalOceans という 3 つのデータセットが含まれているビッグ データ ファイル共有の例を以下に示します 。

|---FileShareFolder                 < -- The top-level folder is what is registered as a big data file share
   |---Earthquakes                  < -- A dataset is all files and folders within the top-level subfolder
      |---1960
         |---01_1960.csv
         |---02_1960.csv
      |---1961
         |---01_1961.csv
         |---02_1961.csv
   |---Hurricanes
      |---atlantic_hur.shp
      |---pacific_hur.shp
      |---otherhurricanes.shp
   |---GlobalOceans
      |---oceans.shp

用語が異なっていても、同じ構造がファイル共有と HDFS に適用されます。ファイル共有では、最上位のフォルダーまたはディレクトリが存在し、データセットはサブディレクトリによって表現されます。HDFS では、ファイル共有の場所が登録され、データセットを含んでいます。次の表に、これらの違いの概要を示します。

ファイル共有HDFS

ビッグ データ ファイル共有の場所

フォルダーまたはディレクトリ

HDFS パス

データセット

最上位のサブフォルダー

HDFS パス内のデータセット

データが、データセットのサブフォルダーを含むフォルダーとして編成されたら、「データを GeoAnalytics Server でアクセス可能にする」の手順に従って、ArcGIS Server がデータにアクセスできるようにし、データセット フォルダーを登録します。

Hive

Hive では、データセット内のすべてのテーブルが、ビッグ データ ファイル共有のデータセットとして認識されます。次の例では、defaultCityData という 2 つのデータベースを含むメタストアが存在します。ArcGIS Server を使用して Hive ビッグ データ ファイル共有を GeoAnalytics Server に登録するときは、1 つしかデータベースを選択できません。この例では、CityData データベースが選択された場合、ビッグ データ ファイル共有に FireDataLandParcels という 2 つのデータセットが含まれることになります。

|---HiveMetastore                 < -- The top-level folder is what is registered as a big data file share   |---default                    < -- A database      |---Earthquakes      |---Hurricanes      |---GlobalOceans   |---CityData				               < -- A database that is registered (specified in Server Manager)      |---FireData      |---LandParcels

クラウド ストア

クラウド ストア タイプのビッグ データ ファイル共有を登録する手順は 3 つあります。

データの準備

クラウド ストア内のビッグ データ ファイル共有としてデータを準備するには、1 つの親フォルダー以下のサブフォルダーとしてデータセットを配置します。

データを構築する方法は次のようになります。この例では、3 つのデータセット (EarthquakesHurricanes、および GlobalOceans) が含まれている親フォルダー (FileShareFolder) を登録します。親フォルダーを登録すると、指定したフォルダーの下にあるすべてのサブディレクトリも GeoAnalytics Server に登録されます。

ビッグ データ ファイル共有として使用されるクラウド ストアにデータを構築する方法の例。このビッグ データ ファイルには、Earthquakes、Hurricanes、および GlobalOceans という 3 つのデータセットが含まれています 。

|---Cloud Store                          < -- The cloud store being registered
   |---Container or S3 Bucket Name       < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store
      |---FileShareFolder                < -- The parent folder that is registered as the 'folder' during cloud store registration
         |---Earthquakes                 < -- The dataset "Earthquakes" composed of 4 csvs
            |---1960
               |---01_1960.csv
               |---02_1960.csv
            |---1961
               |---01_1961.csv
               |---02_1961.csv
         |---Hurricanes                  < -- The dataset "Hurricanes" composed of 3 shapefiles
            |---atlantic_hur.shp
            |---pacific_hur.shp
            |---otherhurricanes.shp
         |---GlobalOceans                < -- The dataset "GlobalOceans" composed of 1 shapefile
            |---oceans.shp

クラウド ストアを GeoAnalytics Server に登録する

ArcGIS Server Manager から GeoAnalytics Server サイトに接続して、クラウド ストアを登録します。クラウド ストアを登録する場合、Azure コンテナー名または AWS S3 バケット名、およびそのコンテナーまたはバケット内のフォルダーを含める必要があります。指定したフォルダーはサブフォルダーで構成され、それぞれ個別のデータセットを表します。各データセットは、サブフォルダーのすべてのコンテンツで構成されます。

クラウド ストアをビッグ データ ファイル共有として登録する

クラウド ストアをビッグ データ ファイル共有として登録する方法は、使用するクラウド格納によって異なります。

以下の手順に従って、前のセクションで作成した AWS S3 クラウド ストアをビッグ データ ファイル共有として登録します。

  1. ArcGIS Server Manager から GeoAnalytics Server サイトにサイン インします。

    公開者または管理者としてサイン インできます。

    注意:

    GeoAnalytics Server 10.5.1 では、IAM 認証情報を使用して AWS クラウド ストアを登録できません。

  2. [サイト] > [データ ストア] に移動し、[登録] ドロップダウン リストから [ビッグ データ ファイル共有] を選択します。
  3. [ビッグ データ ファイル共有の登録] ダイアログ ボックスで、次の情報を入力します。
    1. ビッグ データ ファイル共有の名前を入力します。
    2. [タイプ] ドロップダウン リストから [クラウド ストア] を選択します。
    3. [クラウド ストア] ドロップダウン リストから AWS クラウド ストアの名前を選択します。
    4. [作成] をクリックして、クラウド ストアをビッグ データ ファイル共有として登録します。

これで、AWS クラウド ストア用のビッグ データ ファイル共有およびマニフェストが作成されました。ポータルのビッグ データ ファイル共有アイテムは、GeoAnalytics Server のビッグ データ カタログ サービスをポイントします。

以下の手順に従って、前のセクションで作成した Azure Cloud Store をビッグ データ ファイル共有として登録します。

  1. ArcGIS Server Administrator Directory から GeoAnalytics Server サイトにサイン インします。

    ArcGIS Server Administrator Directory では、管理者としてサイン インする必要があります。フェデレートされた GeoAnalytics Server サイトに接続するには、ポータル トークン (ポータル管理者の認証情報が必要) を使用してサイン インするか、GeoAnalytics Server サイトのプライマリ サイト管理としてサイン インする必要があります。ポータル管理者ではなく、プライマリ サイト管理者のアカウント情報にもアクセスできない場合は、ポータル管理者に連絡して、これらの手順を実行してもらってください。

  2. [data] > [registerItem] に移動します。
  3. 次のテキストをコピーして、[Item] テクスト ボックスに貼り付けます。ビッグ データ ファイル共有に使用する名前で <bigDataFileShareName> の値を更新し、Azure Cloud Store を GeoAnalytics Server サイトに登録したときに指定した名前で <cloudStoreName> の値を更新します。

    {
       "path": "/bigDataFileShares/<bigDataFileShareName>",
       "type": "bigDataFileShare",
       "info": {
       "connectionString": "{\"path\" : \"/cloudStores/<cloudStoreName>\"}",
       "connectionType": "dataStore"
       }
       }
    

  4. [Register Item] をクリックします。

    アイテムが登録されると、ビッグ データ ファイル共有がデータ ストアとして ArcGIS Server Manager に表示されます。

  5. ArcGIS Server Manager から GeoAnalytics Server サイトGeoAnalytics Serverにサイン インします。

    公開者または管理者としてサイン インできます。

  6. [サイト] > [データ ストア] に移動して、新しいビッグ データ ファイル共有の横の [マニフェストの再生成] ボタンをクリックします。

これで、Azure Cloud Store 用のビッグ データ ファイル共有およびマニフェストが作成されました。ポータルのビッグ データ ファイル共有アイテムは、GeoAnalytics Server のビッグ データ カタログ サービスをポイントします。

ビッグ データ ファイル共有の登録

ファイル共有、HDFS、または Hive クラウド ストアをビッグ データ ファイル共有として登録するには、ArcGIS Server Manager を使用して GeoAnalytics Server サイトに接続します。必要な手順の詳細については、ArcGIS Server ヘルプの「ArcGIS Server Manager を使用したデータの ArcGIS Server への登録」をご参照ください。

ヒント:

クラウド ストアをビッグ データ ファイル共有として登録する手順は、前のセクションで説明されています。

ビッグ データ ファイル共有が登録されると、ジオメトリと時間を表すフィールドを含め、共有場所にあるデータセットの形式について概略を示すマニフェストが生成されます。ビッグ データ ファイル共有アイテムはポータルに作成され、データを登録した GeoAnalytics Server のビッグ データ カタログ サービスをポイントします。ビッグ データ カタログ サービスの詳細については、ArcGIS Services REST API ヘルプの「ビッグ データ カタログ サービス」のドキュメントをご参照ください。

ビッグ データ ファイル共有の変更

ビッグ データ カタログ サービスが作成されると、マニフェストが自動的に生成され、データを登録した GeoAnalytics Server サイトにアップロードされます。マニフェストを生成するプロセスでは、ジオメトリおよび時間を表すフィールドを常に正しく推定できるとは限らないため、編集の適用が必要になる場合があります。マニフェストを編集するには、「ArcGIS Server Manager でのビッグ データ ファイル共有の編集」の手順に従います。ビッグ データ ファイル共有のマニフェストの詳細については、ArcGIS Server ヘルプの「ビッグ データ ファイル共有のマニフェストについて」をご参照ください。

ビッグ データ ファイル共有に対する解析の実行

ビッグ データ ファイル共有内のデータセットに対して解析を実行するには、GeoAnalytics Server をサポートし、次のいずれかのコンポーネントを備えた任意のクライアントを使用します。

  • ArcGIS Pro
  • Portal for ArcGIS マップ ビューアー
  • ArcGIS REST API

ArcGIS Pro または Portal for ArcGIS マップ ビューアーを使用してビッグ データ ファイル共有に対する解析を実行するには、使用する GeoAnalytics Toolsを選択します。ツールに対する入力として、ArcGIS Pro[ポータル] または Portal for ArcGIS マップ ビューアーの [レイヤーの参照] ダイアログ ボックスで、データが存在する場所を参照して選択します。データを自分自身で登録した場合、データは [マイ コンテンツ] にあります。それ以外の場合は、[グループ] または [すべてのポータル] を調べてみます。解析用に選択されたビッグ データ ファイル共有レイヤーはマップに表示されない点に注意してください。

注意:

必ず、登録されたビッグ データ ファイル共有へのアクセス権を持つポータル アカウントを使用してサイン インするようにしてください。検索語に「bigDataFileShare*」を使用してポータルを検索すると、アクセス可能なビッグ データ ファイル共有をすばやく見つけることができます。

ArcGIS REST API を使用してビッグ データ ファイル共有に対する解析を実行するには、入力としてビッグ データ カタログ サービスの URL を使用します。この URL の形式は {"url":" https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset"} になります。たとえば、コンピューター名が example、ドメイン名が esri、ArcGIS Web Adaptor 名が server、ビッグ データ ファイル共有名が MyData、データセット名が Earthquakes の場合、URL は {"url":" https://example.esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/BigDataCatalogServer/Earthquakes"} になります。REST を介したビッグ データ解析への入力の詳細については、ArcGIS Services REST API のドキュメントにある「フィーチャ入力」のトピックをご参照ください。