ビッグ データ ファイル共有は、ポータルのコンテンツ ページを介して登録されます。 ポータルにビッグ データ ファイル共有を追加すると、関連するデータ ストア アイテムも作成されます。 クラウド ストアのビッグ データ ファイル共有を追加すると、ビッグ データ ファイル共有アイテム、ビッグ データ ファイル共有タイプのデータ ストア アイテム、およびクラウド ストア タイプのデータ ストア アイテムが作成されます。 ビッグ データ ファイル共有のポータル アイテムには、次のタブが用意されています。
- [概要] - ビッグ データ ファイル共有および関連するデータ ストア アイテムに関する一般情報を提供します。 関連するデータ ストア アイテムは、ビッグ データ ファイル共有とともに共有および削除できます。
- [データセット] - データセットを一覧表示し、入力データのスキーマの概要を示します。 データセット情報には、ジオメトリと時間を表すフィールドとフォーマットが含まれます。
- [出力] - 結果をビッグ データ ファイル共有に書き込むことを可能にするオプションの出力テンプレートの概要を示します。 出力テンプレートはオプションで、ビッグ データ ファイル共有の登録後に作成されます。 出力テンプレートを作成または編集する方法については、「出力テンプレートの作成、編集、表示」をご参照ください。
- [設定] - コンテンツのステータス、範囲、および削除の防止について説明します。
ビッグ データ ファイル共有アイテムを介して、データセット、スキーマ、出力テンプレートを表示および編集できます。
注意:
[ビッグ データ ファイル共有] アイテムを共有するには、ルート データ ストア アイテムを共有する必要があります。 [クラウド] タイプのビッグ データ ファイル共有のルート データ ストアは、同じ名前の [データ ストア (クラウド)] アイテムです。 その他すべてのタイプのビッグ データ ファイル共有 ([ファイル共有]、[HDFS]、および [Hive]) では、ルート データ ストアは、同じ名前の [データ ストア (ビッグ データ ファイル共有)] アイテムです。ビッグ データ ファイル共有の編集
ポータルを介してビッグ データ ファイル共有を作成した後、ビッグ データ ファイル共有アイテムを使用して、データセットを表示したり、データセットのフォーマットを編集したり、ビッグ データ ファイル共有を同期してデータセットをさらに追加したりできます。
ビッグ データ ファイル共有は、1 つ以上のデータセットで構成されています。 データセットの数は、ビッグ データ ファイル共有場所に含まれるフォルダーの数によって決まります。 ビッグ データ ファイル共有に正常に登録されているデータセットを表示できます。
ビッグ データ ファイル共有内にさらに多くのデータセットがあることを期待している場合、またはデータセットがない場合は、以下を実行します。
- 最上位フォルダーを正常に登録していることを確認します。 詳細については、「データの準備」をご参照ください。
- 入力データが、区切り文字で区切られたファイル、シェープファイル、パーケット、ORC のコレクションなどの許容できるフォーマットであることを確認します。
- 対象の入力データセットのスキーマが、ファイルのコレクションで一貫していることを確認します (1 つのデータセット内のすべてのファイルは、同じフィールドを持つ必要があります)。
データセットを使用して、ビッグ データ ファイル共有内のデータセットの数を確認したり、登録済みデータセットのデータセット スキーマを確認したりできます。 選択したデータセットのスキーマは、以下の手順を使用して、ジオメトリ、時間定義、およびフィールド名を更新することで、変更することができます。
ビッグ データ ファイル共有の入力データセットの編集
ビッグ データ ファイル共有アイテムの編集では、データの登録方法と、解析でのデータの使用方法を変更できます。 また、編集オプションを使用して、データが現在どのように登録されているかを表示することもできます。 このダイアログ ボックスにある各オプションの詳細については、「ビッグ データ ファイル共有のパラメーターの編集」をご参照ください。 データセット パラメーターを編集するには、次の操作を実行します。
- ポータル コンテンツ内のビッグ データ ファイル共有アイテムを開きます。
- [データセット] タブをクリックします。
- 編集するデータセットの横にある [編集] ボタンをクリックします。
- [フィールド]、[ジオメトリ]、[時間]、および [ファイル] オプションを使用して、データセットを変更します。
- データセット プロパティの編集が完了したら [保存] をクリックします。
ビッグ データ ファイル共有のマニフェストまたはヒント ファイルの編集
ビッグ データ ファイル共有の [データセット] タブの [高度な設定を表示] オプションで、マニフェストまたはヒント ファイルを表示、ダウンロード、およびアップロードできます。 マニフェストをアップロードした場合、ビッグ データ ファイル共有のデータセットに加えた変更は上書きされ、既存のデータセットとスキーマは置き換えられます。 ビッグ データ ファイル共有のマニフェストの詳細については、「ビッグ データ ファイル共有のマニフェスト」をご参照ください。 ヒント ファイルの使用に関する詳細については、「ヒント ファイル」をご参照ください。 ビッグ データ ファイル共有のマニフェストまたはヒント ファイルを編集するには、次の操作を実行します。
- ポータル コンテンツ内のビッグ データ ファイル共有アイテムを開きます。
- [データセット] タブをクリックします。
- [高度な設定を表示] 切り替えボタンをクリックして、オンにします。
- マニフェスト ファイルをダウンロードするには、マニフェスト セクションで [ダウンロード] をクリックします。
- ヒント ファイルをダウンロードするには、ヒント セクションで [ダウンロード] をクリックします。
- テキスト エディターを使用してダウンロードした *.json のマニフェスト ファイルまたは *.dat のヒント ファイルを変更し、変更内容をローカルに保存します。
ヒント:
ヒント ファイルのデフォルトのファイルフォーマットは、*.dat です。 ファイルをダウンロードしたら、拡張子を *.txt に変更してファイルを編集できます。 - 編集したファイルをアップロードするには、ビッグ データ ファイル共有で、[データセット] タブに移動し、[高度な設定を表示] をオンにします。
- マニフェストをアップロードするには、マニフェストの下の [アップロード] をクリックし、更新した *.json ファイルを参照します。
- ヒント ファイルをアップロードするには、ヒントの下の [アップロード] をクリックし、更新した *.txt ファイルを参照します。
- [アップロード] をクリックします。
ヒント ファイルをアップロードした場合は、ビッグ データ ファイル共有を同期します。 同期すると、ヒントを持つデータセットまたは新しいデータセットのみが更新され、ヒント ファイルに含まれていない他のデータセットに対する変更は反映されません。
ビッグ データ ファイル共有の同期
新しいデータセットをデータ ソースに追加する場合、またはヒント ファイルをアップロードした場合は、ビッグ データ接続で同期化を実行できます。 ヒント ファイルは、ビッグ データ ファイル共有を再生成するときに使用される仕様を提供します。
注意:
ビッグ データ ファイル共有が同期される場合、ヒント ファイルを持つ既存のデータセットまたは新しいデータセットについてのみビッグ データ ファイル共有が更新されます。 ヒント ファイルに含まれているデータセットに加えた編集は、ヒント ファイルに定義されているルールで上書きされます。- ポータル コンテンツ内のビッグ データ ファイル共有アイテムを開きます。
- [データセット] タブをクリックします。
- [同期] ボタンをクリックしてオンにします。
出力テンプレートの作成、編集、表示
出力テンプレートを作成、表示、または編集できます。 出力テンプレートの属性と設定を編集することもできます。出力テンプレートは、出力結果がビッグ データ ファイル共有に書き込まれる方法の概要を示しています。
出力テンプレートを作成するには、次の手順に従います。
- ポータル コンテンツ内のビッグ データ ファイル共有アイテムを開きます。
- [出力] タブをクリックします。
- [出力テンプレートの追加] ボタンをクリックします。
- 出力テンプレートの名前を作成し、出力テンプレートが書き込むファイル タイプを選択します。
- [ジオメトリ] タブをクリックして、このテンプレートのジオメトリ フォーマットを設定します。 それらを 1 つ、2 つ、またはすべてのジオメトリ タイプに設定することができます。 フォーマット オプションは、入力ビッグ データ ファイル共有と同じです。
- [時間] タブをクリックして、このテンプレートの時間フォーマットを設定します。 時間を空白のままにするか、即時または期間のいずれかに設定するか、その両方に設定することができます。 時間フォーマット オプションは、入力ビッグ データ ファイル共有の時間フォーマットと同じです。
- 完了したら、[保存] をクリックします。
同じ手順を使用して、テンプレートを表示または編集できます。
ビッグ データ ファイル共有の編集パラメーター
ビッグ データ ファイル共有エディターは、次の 4 つのセクションで構成されています。
- フィールド
- ジオメトリ
- 時間
- ファイル
マニフェスト生成によって、区切り文字で区切られたファイルのフィールド名、エンコーディング、フィールド区切り文字、または引用文字が正しく決定されていない場合は、データを編集する前に、ヒント ファイルを使用することをお勧めします。
フィールド
フィールド セクションには、データセット内のフィールドがすべてリスト表示されます。 データセットを選択すると、各フィールドについて以下を確認できます。
- フィールドの名前
- フィールド タイプ
区切り文字で区切られたファイルのフィールド名とタイプのみを変更できます。 多くのフィールド名を変更する場合は、ヒント ファイルを使用することをお勧めします。
ジオメトリ
ジオメトリ セクションには、ジオメトリのタイプ、その表記方法、および空間参照が表示されます。 以下の表で、入力データセット タイプに応じて行うことができる変更に関する注釈を含めて、使用可能なオプションの概要を説明します。
ジオメトリ パラメーター
| パラメーター | 説明 | 区切り文字で区切られたファイル | シェープファイル | ORC ファイル | パーケット ファイル |
|---|---|---|---|---|---|
ジオメトリ | ジオメトリ タイプ。 オプションには、[ポイント]、[ポリライン]、[ポリゴン]、[なし] があります。 ジオメトリが存在しない場合 ([なし])、データセットはテーブルになります。 | 編集可能 | 変更不可 | 編集可能 | 編集可能 |
空間参照 (WKID/WKT) | データセットの空間参照。 このオプションは、ジオメトリが [なし] 以外の場合のみ表示されます。 | 編集可能。 デフォルトでは、「4326, WGS 1984」に設定されます。 | 変更不可 | 編集可能 | 編集可能 |
ジオメトリ形式タイプ | 各フィーチャにおけるジオメトリのフォーマット。 オプションは、[XYZ] (X、Y、Z (オプション) 値を表すフィールド。XYZ はポイントのみに適用されます)、[WKT] (Well Known Text)、[WKB] (Well Known Binary)、[GeoJson]、[EsriJson]、および [EsriShape] です。 このオプションは、ジオメトリが [なし] 以外の場合のみ表示されます。 | 編集可能 | 該当なし。オプションは表示されません。 | 編集可能 | 編集可能 |
ジオメトリ フィールド | これは、ジオメトリを表すフィールドを指定するために使用されます。 場合によっては、フィールドが特定のフィールド タイプでなければなりません。 WKB および EsriShape フォーマットにはバイナリ フィールドを指定する必要があり、GeoJSON および EsriJSON には文字列フィールドを指定する必要があります。 XYZ フィールドの値は数値でなければなりません。 このオプションは、ジオメトリが [なし] 以外の場合のみ表示されます。 | 編集可能 | 該当なし。オプションは表示されません。 | 編集可能 | 編集可能 |
時間
時間セクションでは、時間の表記方法を設定します。 以下の表で、入力データセット タイプに応じて行うことができる変更に関する注釈を含めて、使用可能なオプションの概要を説明します。 時間オプションは、指定されている場合を除き、すべてのデータ タイプで同じです。
時間パラメーター
| パラメーター | 説明 | 例 |
|---|---|---|
時間タイプ | 入力時間のタイプ。 オプションには、[即時] (ある 1 点の時間)、[期間](開始時間と終了時間を持つ一定の時間)、および [なし] があります。 | インスタント |
[時間フィールド]、[開始時間フィールド]、および [終了時間フィールド] | [即時] を選択すると、[時間フィールド] が表示されます。 [期間] を選択すると、[開始時間フィールド] と [終了時間フィールド] が表示されます。 これらのオプションは、入力データの時間の定義に使用されるフィールドとフォーマットを指定します。 時間では、1 つ以上のフィールドを使用して時間を定義したり、単一フィールドに 1 つ以上のフォーマットを使用したりすることができます。 デフォルトでは、time という名前が付いた最初のフィールドが時間フィールドとして、想定される時間フォーマットがとともに使用されます。 シェープファイルが存在する場合、date タイプの最初のフィールドが使用されます。 これらのテーブルには、少なくとも 1 つの行が設定される必要があります。 フォーマットの詳細については、「時間フォーマット」をご参照ください。 時間フォーマット テーブルは、[時間タイプ] が [なし] 以外の場合のみ有効になります。 | 単一フィールドに 2 つの異なるフォーマットで時間を表記する例:
2 つのフィールドで時間を表記する例:
|
タイム ゾーン | 入力時間のタイム ゾーン。 このオプションは、[時間タイプ] が [なし] 以外の場合のみ有効になります。 デフォルトは [UTC] です。 | UTC |
時間フォーマット
以下の表では、時間フォーマットを表す方法の概要を説明します。 すべての例が、2016 年 1 月 2 日 9:45:02.05 PM の時間を表す方法を示しています。
ビッグ データ ファイル共有の時間フォーマット
| フォーマット | 意味 | 例 |
|---|---|---|
yy | 2 桁で表された年。 | 16 |
yyyy | 4 桁で表された年。 | 2016 |
MM | 数値で表された月。 | 01 または 1 |
MMM | 3 文字で表された月。 | Jan |
MMMM | 完全なつづりで表された月。 | January |
dd | 日。 | 02 または 2 |
HH | 24 時間表記の場合の時。値の範囲は 0 ~ 23 です。 | 21 |
hh | 12 時間表記の場合の時。値の範囲は 1 ～ 12 です。 | 9 |
mm | 分 (値の範囲は 0 ～ 59)。 | 45 |
ss | 秒 (値の範囲は 0 ～ 59)。 | 02 |
SSS | ミリ秒 (値の範囲は 0 ～ 999)。 | 50 |
a | AM/PM マーカー。 | PM |
epoch_millis | エポックからの時間 (ミリ秒)。 | 1509581781000 |
epoch_seconds | エポックからの時間 (秒)。 | 1509747601 |
Z | タイムゾーンのオフセット (時)。 | -0100 または -01:00 |
ZZZ | タイムゾーンのオフセット (ID)。 | America/Los_Angeles |
'' | この表に説明されている値を表していないテキストを追加するには、一重引用符を使用します。 | 'T' |
以下の表では、同じ日付 (2016 年 1 月 2 日 9:45:02.05 PM) の異なるフォーマットの例を示します。
時間フォーマットの例
| 入力データ | フォーマット |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Jan02-16 21:45:02 | MMMdd-yy HH:mm:ss |
January 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
ファイル
ファイル セクションでは、データのフォーマットを設定します。 データは、次のいずれかのフォーマットになります。
- シェープファイル (*.shp)
- 区切りファイル (例: *.csv)
- Parquet ファイル
- ORC ファイル
使用できるパラメーターは、データセットによって異なります。 シェープファイル、ORC、およびパーケット ファイルの場合、パラメーターはファイル タイプのみで、変更することはできません。 入力データセットが区切り文字で区切られたファイルである場合、変更できる複数のパラメーターがあります。 区切り文字で区切られたファイルの値を変更するには、ヒント ファイルを使用してマニフェストを再生成します。 次の表で、これらの概要を説明を示します。
データセット フォーマット
| パラメーター | 説明 |
|---|---|
ファイル拡張子 | 入力データセット上のファイル タイプ拡張子をリスト表示します。 一般的なフォーマットは、*.csv および *.txt です。 |
フィールド区切り文字 | フィールドごとの区切り文字を決定します。 一般的なフォーマットは、*, および *; です。 |
レコード ターミネーター | データの行ごとのターミネーターを決定します。 一般的なフォーマットは、*\n および *\t です。 |
引用符 | 引用符として使用される文字を決定します。 |
ヘッダー行を含む | 入力テーブルにヘッダー行が含まれているかどうかを決定するブール値。 ヘッダー行が含まれている場合、そのヘッダーがフィールド名に使用されます。 フィールド名情報から、ジオメトリ フィールドおよび時間フィールドを予測することができます。 |
エンコード | ファイルで使用されるエンコードのタイプ。 デフォルトは UTF-8 です。 |
ビッグ データ ファイル共有の出力テンプレートの編集パラメーター
ビッグ データ ファイル共有の出力テンプレート エディターは、次の 3 つのセクションで構成されています。
- 名前とファイル タイプ
- ジオメトリ フォーマット
- 時間フォーマット
注意:
入力ビッグ データ ファイル共有には、フィールド セクションがあります。 結果のフィールドは結果を作成する GeoAnalytics Tools ツールによって決定されるため、出力テンプレートにはフィールド セクションはありません。 ORC では、基本的なラテン アルファベット文字と数字を含むフィールド名のみがサポートされます。 フィールド名にその他の文字があると、アンダースコアに置き換えられます。
出力ジオメトリ フォーマット
ジオメトリ セクションには、各ジオメトリ タイプ (ポイント、ライン、ポリゴン) の出力ジオメトリのフォーマット方法が表示されます。 出力ジオメトリを決定する手順は、2 つのパートから構成されます。
- 空間参照 - 空のままにすると、ツールの結果が使用されます (デフォルト)。 必要に応じて WKID または WKT 文字列を指定すると、すべての結果がその空間参照に投影されます。 この値はすべての出力ジオメトリで共有されます。
- ジオメトリ フォーマット タイプおよびフィールド - 内容については以下で詳しく説明します。
出力ジオメトリ フォーマット
| ジオメトリ タイプ | 出力フィールド | 区切り文字で区切られたファイル | シェープファイル | ORC ファイル | パーケット ファイル |
|---|---|---|---|---|---|
XYZ - X、Y、および Z フィールド (オプション)。 このオプションは、ポイントにのみ利用できます。 | デフォルトでは、X、Y、および Z という名前の 3 つの新しいフィールドが作成されます。 必要に応じて、これらのフィールド名を変更できます。 |  | | | |
WKT | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。 必要に応じて、出力フィールド名を変更できます。 | | | | |
GeoJSON | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。 必要に応じて、出力フィールド名を変更できます。 | | | | |
EsriJSON | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。 必要に応じて、出力フィールド名を変更できます。 | | | | |
WKB | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。 必要に応じて、出力フィールド名を変更できます。 | | | ||
EsriShape | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。 必要に応じて、出力フィールド名を変更できます。 | | |
出力時間フォーマット
時間セクションでは、出力時間の表記方法を設定します。 時間フォーマットには、以下の情報が必要です。
- インスタントおよび間隔の両方のフォーマット。
- 時間が書き込まれるフィールド名。
- 時間が書き込まれる際のフォーマット (文字列または日付)。 区切り文字で区切られたファイルは、文字列でのみフォーマットできます。
- 間隔の場合、フィールドは開始時間と終了時間を表します。
時間フォーマットは、入力ビッグ データ ファイルと同じです。 「ビッグ データ ファイル共有の時間フォーマット」をご参照ください。
出力データセット フォーマット
データセット フォーマット セクションは、データが書き込まれる出力フォーマットの概要を示します。 データは、次のいずれかのフォーマットになります。
- シェープファイル (*.shp)
- 区切りファイル (例: *.csv)
- Parquet ファイル
- ORC ファイル
使用できるパラメーターは、データセットによって異なります。 シェープファイル、ORC、およびパーケット ファイルの場合、パラメーターはファイル タイプのみで、変更することはできません。 データセットが区切り文字で区切られたファイルである場合、ArcGIS Server Manager で変更できる複数のパラメーターがあります。 次の表で、これらの概要を説明を示します。
データセット フォーマット
| パラメーター | 説明 |
|---|---|
ファイル拡張子 | 拡張子は出力データセットには適用されません。 |
フィールド区切り文字 | フィールドごとの区切り文字を決定します。 一般的なフォーマットは、*, および *; です。 |
レコード ターミネーター | データの各行のターミネーターは設定できません。 Windows の場合、ターミネーターは \r\n です。 Linux の場合、\n です。 |
引用符 | 引用符として使用される文字を決定します。 |
ヘッダー行を含む | 出力テーブルにフィールド名を表すヘッダー行が含まれているかどうかを決定するブール値。 デフォルトでは、この値は true です。 |
エンコード | 常に UTF-8 になります。 |