ビッグ データ ファイル共有は、ArcGIS GeoAnalytics Server の ArcGIS Server Manager を介して、データ ストアとして登録されます。ビッグ データ ファイル共有には、入力データのスキーマと、データセット内のジオメトリと時間を表すフィールドおよび形式の概要を示すマニフェストが必要です。マニフェストは、ビッグ データ ファイル共有を登録したときに自動的に生成されます。データに対して変更が行われた場合や必要なすべての情報をマニフェストの生成時に決定できなかった場合 (自動生成されたマニフェストでジオメトリまたは時間に対応する正確なフィールドが選択されなかった場合など) は修正が必要とされることもあります。必要に応じて、ビッグ データ ファイル共有に出力テンプレートを含めることができます。このテンプレートは、ビッグ データ ファイル共有に書き込まれる結果の形式の概要を示すために使用されます。出力テンプレートは、ビッグ データ ファイル共有を登録し、ビッグ データ ファイル共有を出力先として使用することを選択した場合に生成されます。時間フィールドやジオメトリ フィールドの形式など、1 つ以上のテンプレートを変更する必要がある場合や、テンプレートを追加または削除する必要がある場合があります。
ArcGIS GeoAnalytics Server の ArcGIS Server Manager を介して、データセット、マニフェスト情報、および出力テンプレートを表示および編集できます。
ビッグ データ ファイル共有の編集
ビッグ データ ファイル共有を登録したら、ビッグ データ ファイル共有のマニフェスト エディターを開いて、そのアイテムの登録済みデータセットの属性や設定を表示および編集できます。オプションの出力テンプレートの属性と設定を編集することもできます。出力テンプレートは、出力結果がビッグ データ ファイル共有に書き込まれる方法の概要を示しています。
たとえば、入力データに対して、登録したファイル共有内にあるデータセットの数を確認できます。確認した結果、登録したファイル共有に必要な数のデータセットがなかった場合は、登録済みの場所に有効なデータセットがあるかどうかを確認する必要があります。
出力テンプレートの場合、区切り文字で区切られたファイル出力を書式設定してタブ区切りファイルを書き込み、WKT を使用してジオメトリを格納することができます。
また、登録したビッグ データ ファイル共有のデータセット スキーマを確認することもできます。選択したデータセットのスキーマは、ジオメトリ、時間定義、および関連するマニフェスト リソースのフィールド名を更新することで、変更することができます。
ビッグ データ ファイル共有のマニフェスト エディターの [高度な設定] タブでは、ヘッダー行の有無、エンコード、フィールド区切り文字、レコード ターミネーターなど、データセットに関する情報を提供するヒント ファイルをアップロードできます。ヒント ファイルのアップロード後にマニフェストを再生成すると、指定した情報を使用してマニフェストが生成されます。
必要に応じて、マニフェストをダウンロードしたり、編集したり、編集したファイルをアップロードしたりできます。
ビッグ データ ファイル共有の入力データセットの編集
ビッグ データ ファイル共有のマニフェスト エディターでは、選択したビッグ データ ファイル共有と、その中に正常に登録されたデータセットを表示できます。エディターのドロップダウン メニューからデータセットを選択すると、対応するパラメーターが表示されます。このダイアログ ボックスにある各オプションの詳細については、「ビッグ データ ファイル共有のパラメーターの編集」をご参照ください。データセット パラメーターを編集するには、次の操作を実行します。
- [登録済みデータ ストア] ダイアログ ボックスで、編集するビッグ データ ファイル共有を選択します。
- 鉛筆型の編集アイコンをクリックして、対応するデータセットの詳細とオプションを表示します。
- [データセット] タブをクリックして、登録済みデータセットと対応するパラメーターを表示します。
- ドロップダウン メニューからデータセットを選択して、そのマニフェスト内にある情報を表示します。必要に応じて、データセット プロパティを更新します。
- データセット プロパティの編集が完了したら [保存] をクリックします。
ビッグ データ ファイル共有のマニフェストまたはヒント ファイルの編集
ビッグ データ ファイル共有エディターの [高度な設定] タブでは、関連するマニフェストまたはヒント ファイルをそれぞれのタブから編集することができます。マニフェストをアップロードした場合、エディターでビッグ データ ファイル共有のマニフェストに加えた変更は上書きされ、現在のマニフェストは置き換えられます。ビッグ データ ファイル共有のマニフェストの詳細については、「ビッグ データ ファイル共有のマニフェストについて」をご参照ください。ヒント ファイルの使用に関する詳細については、「ヒント ファイルについて」をご参照ください。ビッグ データ ファイル共有のマニフェストまたはヒント ファイルを編集するには、次の操作を実行します。
- [登録済みデータ ストア] ダイアログ ボックスで、変更するビッグ データ ファイル共有を選択します。
- 鉛筆型の編集アイコンをクリックして、マニフェスト リソースを変更するためのオプションを表示します。
- [高度な設定] タブをクリックします。
- [高度な設定] タブから、変更する内容に応じて [マニフェスト] タブまたは [ヒント] タブを選択します。
- マニフェスト ファイルをダウンロードするには、[マニフェスト] → [ダウンロード] の順にクリックします。
- ヒント ファイルをダウンロードするには、[ヒント] → [ダウンロード] の順にクリックします。
- テキスト エディターを使用してダウンロードした *.json のマニフェスト ファイルまたは *.dat のヒント ファイルを変更し、変更内容をローカルに保存します。
ヒント:
ヒント ファイルのデフォルトのファイル形式は、.dat です。ファイルをダウンロードしたら、拡張子を .txt に変更してファイルを編集できます。 - 編集したファイルをアップロードするには、変更するビッグ データ ファイル共有の鉛筆型の編集アイコンをクリックします。
- マニフェストを編集するには、[高度な設定] → [マニフェスト] → [アップロード] の順にクリックして、更新した *.json ファイルを参照します。
- ヒント ファイルを編集するには、[高度な設定] → [ヒント] → [アップロード] の順にクリックして、更新した *.txt ファイルを参照します。
- [更新] をクリックします。
ヒント ファイルをアップロードする場合は、必ずマニフェストを再生成してください。マニフェストを再生成すると、ヒントを含むデータセットまたは新しいデータセットのみが更新され、ヒント ファイルに含まれていない他のデータセットに対する変更は反映されません。
ビッグ データ ファイル共有のマニフェストの再生成
ビッグ データ ファイル共有を作成し、マニフェストを生成すると、[登録済みデータ ストア] ダイアログ ボックスの各エントリにマニフェストの再生成ボタンが表示されます。
新しいデータを追加した場合や、リソースの編集を使用してヒント ファイルをアップロードした場合は、マニフェストを再生成できます。ヒント ファイルは、マニフェストを再生成するときに使用される仕様を提供します。
注意:
マニフェストを再生成すると、ヒント ファイルを持つ既存のデータセットまたは新しいデータセットのマニフェストが更新されます。マニフェストに加えた編集は、ヒント ファイルに定義されているルールで上書きされます。ビッグ データ ファイル共有の編集パラメーター
ビッグ データ ファイル共有エディターは、次の 5 つのセクションで構成されています。
- データセット選択
- フィールド
- Geometry
- Time
- データセット形式
マニフェスト生成によってフィールド名、エンコーディング、フィールド区切り文字、または引用文字が正しく決定されていない場合は、データを編集する前に、ヒント ファイルを使用することをお勧めします。
データセット選択
マニフェストは 1 つ以上のデータセットで構成されます。データセットの数は、ビッグ データ ファイル共有場所に含まれるフォルダーの数によって決まります。マニフェスト マネージャーを開くと、ビッグ データ ファイル共有に正常に登録されているデータセットを表示できます。データセットをドロップダウン メニューから選択したときに、データセット パラメーターにデータセット情報が入力されます。
マニフェスト内にさらに多くのデータセットがあることを期待している場合、またはデータセットがない場合は、以下を実行します。
- 最上位フォルダーを正常に登録していることを確認します。詳細については、「データの ArcGIS Server Manager への登録」をご参照ください。
- 入力データが、区切り文字で区切られたファイル、シェープファイル、パーケット、ORC のコレクションなどの許容できる形式であることを確認します。
- 対象の入力データセットのスキーマが、ファイルのコレクションで一貫していることを確認します (1 つのデータセット内のすべてのファイルは、同じフィールドを持つ必要があります)。
フィールド
フィールド セクションには、データセット内のフィールドがすべてリスト表示されます。データセットを選択すると、各フィールドについて以下を確認できます。
- フィールドの名前
- フィールド タイプ
区切り文字で区切られたファイルのフィールド名とタイプを変更できます。複数のフィールド名を変更する場合は、ヒント ファイルを使用することをお勧めします。
入力データセットが区切り文字で区切られたファイルである場合、マニフェストには、ArcGIS Server Manager で変更できる複数のパラメーターがあります。
Geometry
ジオメトリ セクションには、ジオメトリのタイプとその表記方法が表示されます。以下の表で、入力データセット タイプに応じて行うことができる変更に関する注釈を含めて、使用可能なオプションの概要を説明します。
ジオメトリ パラメーター
| パラメーター | 説明 | 区切り文字で区切られたファイル | シェープファイル | ORC ファイル | パーケット ファイル |
|---|---|---|---|---|---|
ジオメトリ | ジオメトリ タイプ。オプションには、[ポイント]、[ポリライン]、[ポリゴン]、[なし] があります。ジオメトリが存在しない場合、入力はテーブルになります。 | 編集可能 | 変更不可 | 編集可能 | 編集可能 |
空間参照 (WKID/WKT) | データセットの空間参照。このオプションは、データセットがテーブルでない場合にのみ表示されます。 | このオプションは変更可能です。デフォルトでは、「4326, WGS 1984」に設定されます。 | 変更不可 | 編集可能 | 編集可能 |
ジオメトリ書式設定タイプ | 各フィーチャにおけるジオメトリの書式設定。オプションには、[XYZ] (X、Y、Z (オプション) 値を表すフィールド。XYZ はポイントのみに適用されます)、[WKT] (Well Known Text)、[GeoJson]、[EsriJson]、および [シェイプ] です。このオプションは、データセットがテーブルでもシェープファイルでもない場合にのみ使用できます。 | 編集可能 | 利用できません | 編集可能 | 編集可能 |
時間
時間セクションでは、時間の表記方法を設定します。以下の表で、入力データセット タイプに応じて行うことができる変更に関する注釈を含めて、使用可能なオプションの概要を説明します。時間オプションは、指定されている場合を除き、すべてのデータ タイプで同じです。
時間パラメーター
| パラメーター | 説明 | 例 |
|---|---|---|
時間タイプ | 入力時間のタイプ。オプションには、[即時] (ある 1 点の時間)、[期間](開始時間と終了時間を持つ一定の時間)、および [なし] があります。 | 即時 |
タイム ゾーン | 入力時間のタイム ゾーン。このオプションは、[時間タイプ] が [なし] 以外の場合のみ有効になります。 | UTC |
時間の名前および書式設定テーブル | このテーブルでは、時間フィールドを選択し、時間の定義方法を設定します。[時間] では、1 つ以上のフィールドを使用して時間を定義したり、単一フィールドに 1 つ以上の形式を使用したりすることができます。デフォルトでは、「time」という名前が付いた最初のフィールドが時間フィールドとして、想定される時間形式がとともに使用されます。シェープファイルが存在する場合、「date」タイプの最初のフィールドが使用されます。時間のタイプが [期間] の場合は、開始時刻と終了時刻が指定されている必要があります。時間の書式設定テーブルは、[時間タイプ] が [なし] 以外の場合のみ有効になります。 | 単一フィールドに 2 つの異なる形式で時間を表記する例:
2 つのフィールドで時間を表記する例:
|
時間の形式
以下の表では、ArcGIS Server Manager を使用して、または直接マニフェストで、ビッグ データ ファイル共有を編集する場合に時間を表す方法の概要を説明します。例では、2016 年 1 月 2 日 9:45:02.05 PM の時間を表す方法を示します。
ビッグ データ ファイル共有の時間形式
| シンボル | 意味 | 例 |
|---|---|---|
yy | 2 桁で表された年。 | 16 |
yyyy | 4 桁で表された年。 | 2016 |
MM | 数値で表された月。 | 01 もしくは 1 |
MMM | 3 文字で表された月。 | Jan |
MMMM | 完全なつづりで表された月。 | January |
dd | 日。 | 02 もしくは 2 |
HH | 24 時間表記の場合の時。値の範囲は 0 ~ 23 です。 | 21 |
hh | 12 時間表記の場合の時。値の範囲は 1 ～ 12 です。 | 9 |
mm | 分 (値の範囲は 0 ～ 59)。 | 45 |
ss | 秒 (値の範囲は 0 ～ 59)。 | 02 |
SSS | ミリ秒 (値の範囲は 0 ～ 999)。 | 50 |
a | AM/PM マーカー。 | PM |
epoch_millis | エポックからの時間 (ミリ秒)。 | 1509581781000 |
epoch_seconds | エポックからの時間 (秒)。 | 1509747601 |
Z | タイムゾーンのオフセット (時)。 | -0100 もしくは -01:00 |
ZZZ | タイムゾーンのオフセット (ID)。 | America/Los_Angeles |
'' | この表に説明されている値を表していないテキストを追加するには、一重引用符を使用します。 | 'T' |
以下の表では、同じ日付 (2016 年 1 月 2 日 9:45:02.05 PM) の異なる形式の例を示します。
時間形式の例
| 入力データ | 日付形式 |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Jan02-16 21:45:02 | MMMdd-yy HH:mm:ss |
January 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
データセット形式
データセット形式セクションでは、データの形式を設定します。データは、次のいずれかの形式になります。
- シェープファイル (*.shp)
- 区切りファイル (例: *.csv)
- Parquet ファイル
- ORC ファイル
使用できるパラメーターは、データセットによって異なります。シェープファイル、ORC、およびパーケット ファイルの場合、パラメーターはファイル タイプのみで、変更することはできません。入力データセットが区切り文字で区切られたファイルである場合、変更できる複数のパラメーターがあります。区切り文字で区切られたファイルの値を変更するには、ヒント ファイルを使用してマニフェストを再生成します。次の表で、これらの概要を説明を示します。
データセット形式
| パラメーター | 説明 |
|---|---|
ファイル拡張子 | 入力データセット上のファイル タイプ拡張子をリスト表示します。一般的な形式は、.csv および .txt です。ヒント ファイルを使用して、区切り文字で区切られたファイルのこの情報を変更します。 |
フィールド区切り文字 | フィールドごとの区切り文字を決定します。一般的な形式は、, および ; です。ヒント ファイルを使用して、区切り文字で区切られたファイルのこの情報を変更します。 |
レコード ターミネーター | データの行ごとのターミネーターを決定します。一般的な形式は、\n および \t です。ヒント ファイルを使用して、区切り文字で区切られたファイルのこの情報を変更します。 |
引用符 | 引用符として使用される文字を決定します。ヒント ファイルを使用して、区切り文字で区切られたファイルのこの情報を変更します。 |
ヘッダー行を含む | 入力テーブルにヘッダー行が含まれているかどうかを決定するブール値。ヘッダー行が含まれている場合、そのヘッダーがフィールド名に使用されます。フィールド名情報から、ジオメトリ フィールドおよび時間フィールドを予測することができます。ヒント ファイルを使用してヘッダー行を設定します。 |
エンコード | ファイルで使用されるエンコードのタイプ。デフォルトは UTF-8 です。これはヒント ファイルで設定されます。 |
ビッグ データ ファイル共有の出力テンプレートの編集パラメーター
ビッグ データ ファイル共有の出力テンプレート エディターは、次の 4 つのセクションで構成されています。
- 出力テンプレート選択
- ジオメトリ書式設定
- 時間形式
- データセット形式
データセット選択
ビッグ データ ファイル共有は、オプションで 1 つ以上のテンプレートで構成されています。テンプレートの数は、結果を書き込む形式によって異なります。出力テンプレート マネージャーを開くと、ビッグ データ ファイル共有に正常に登録されているテンプレートを表示できます。テンプレートをドロップダウン メニューから選択したときに、テンプレート パラメーターに出力の書式設定情報が入力されます。新しいテンプレートを追加する場合は、[テンプレートの追加] オプションを選択して、新しいテンプレートのタイプと名前を選択します。テンプレートを削除する場合は、該当するテンプレートをテンプレート選択から選択して [テンプレートの削除] を選択します。既存のテンプレートを選択し、必要に応じて以下のセクションのいずれかを変更することで、テンプレートを変更できます。
注意:
入力ビッグ データ ファイル共有には、フィールド セクションがあります。結果のフィールドは結果を作成する GeoAnalytics Tools ツールによって決定されるため、出力テンプレートにはフィールド セクションはありません。ORC では、基本的なラテン アルファベット文字と数字を含むフィールド名のみがサポートされます。フィールド名にその他の文字があると、アンダースコアに置き換えられます。
Geometry
ジオメトリ セクションには、各ジオメトリタイプ (ポイント、ライン、ポリゴン) の出力ジオメトリの書式設定方法が表示されます。出力ジオメトリを決定する手順は、2 つのパートから構成されます。
- 空間参照 - 空のままにすると、ツールの結果が使用されます (デフォルト)。必要に応じて WKID または WKT 文字列を指定すると、すべての結果がその空間参照に投影されます。この値はすべての出力ジオメトリで共有されます。
- ジオメトリ書式設定タイプおよびフィールド。内容については以下で詳しく説明します。
出力ジオメトリ形式
| ジオメトリ タイプ | 出力フィールド | 区切り文字で区切られたファイル | シェープファイル | ORC ファイル | パーケット ファイル |
|---|---|---|---|---|---|
XYZ - X、Y、および Z フィールド (オプション)。このオプションは、ポイントにのみ利用できます。 | デフォルトでは、X、Y、および Z という名前の 3 つの新しいフィールドが作成されます。必要に応じて、これらのフィールド名を変更できます。 |  | | | |
WKT | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。必要に応じて、出力フィールド名を変更できます。 | | | | |
GeoJSON | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。必要に応じて、出力フィールド名を変更できます。 | | | | |
EsriJSON | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。必要に応じて、出力フィールド名を変更できます。 | | | | |
SHP | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。必要に応じて、出力フィールド名を変更できます。 | | |||
WKB | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。必要に応じて、出力フィールド名を変更できます。 | | | ||
シェープ バッファー | デフォルトでは、Geometry という名前の新しいフィールドが 1 つ作成されます。必要に応じて、出力フィールド名を変更できます。 | | |
Time
時間セクションでは、出力時間の表記方法を設定します。時間形式には、以下の情報が必要です。
- 即時および間隔の両方の形式。
- 時間が書き込まれるフィールド名。
- 時間が書き込まれる際の形式 (文字列または日付)。区切り文字で区切られたファイルは、文字列でのみ書式設定できます。
- 間隔の場合、フィールドは開始時間と終了時間を表します。
時間形式は、入力ビッグ データ ファイルと同じです。「ビッグ データ ファイル共有の時間形式」をご参照ください。
データセット形式
データセット形式セクションは、データが書き込まれる出力形式の概要を示します。データは、次のいずれかの形式になります。
- シェープファイル (*.shp)
- 区切りファイル (例: *.csv)
- Parquet ファイル
- ORC ファイル
使用できるパラメーターは、データセットによって異なります。シェープファイル、ORC、およびパーケット ファイルの場合、パラメーターはファイル タイプのみで、変更することはできません。入力データセットが区切り文字で区切られたファイルである場合、ArcGIS Server Manager で変更できる複数のパラメーターがあります。次の表で、これらの概要を説明を示します。
データセット形式
| パラメーター | 説明 |
|---|---|
ファイル拡張子 | 拡張子は出力データセットには適用されません。 |
フィールド区切り文字 | フィールドごとの区切り文字を決定します。一般的な形式は、, および ; です。 |
レコード ターミネーター | データの各行のターミネーターは設定できません。Windows の場合、ターミネーターは \r\n です。Linux の場合、\n です。 |
引用符 | 引用符として使用される文字を決定します。 |
ヘッダー行を含む | 出力テーブルにフィールド名を表すヘッダー行が含まれているかどうかを決定するブール値。デフォルトでは、この値は true です。 |
エンコード | 常に UTF-8 になります。 |