ビッグ データ ファイル共有は、ArcGIS GeoAnalytics Server の ArcGIS Server Manager を介して、データ ストアとして登録されます。ビッグ データ ファイル共有には、データのスキーマと、データセット内のジオメトリと時間を表すフィールドおよび形式の概要を示すマニフェストが必要です。マニフェストは、ビッグ データ ファイル共有を登録したときに自動的に生成されます。データに対して変更が行われた場合や必要なすべての情報をマニフェストの生成時に決定できなかった場合 (自動生成されたマニフェストでジオメトリまたは時間に対応する正確なフィールドが選択されなかった場合など) は修正が必要とされることもあります。
データセットおよびマニフェスト情報を ArcGIS GeoAnalytics Server の ArcGIS Server Manager で表示し、編集することができます。
ビッグ データ ファイル共有の編集
ビッグ データ ファイル共有を登録したら、ビッグ データ ファイル共有のマニフェスト エディターを開いて、そのアイテムの登録済みデータセットの属性や設定を表示および編集できます。
たとえば、登録したファイル共有内にあるデータセットの数を確認できます。確認した結果、登録したファイル共有に必要な数のデータセットがなかった場合は、登録済みの場所に有効なデータセットがあるかどうかを確認する必要があります。
また、登録したビッグ データ ファイル共有のデータセット スキーマを確認することもできます。選択したデータセットのスキーマは、ジオメトリ、時間定義、および関連するマニフェスト リソースのフィールド名を更新することで、変更することができます。
ビッグ データ ファイル共有のマニフェスト エディターの [高度な設定] タブでは、ヘッダー行の有無、エンコード、フィールド区切り文字、レコード ターミネーターなど、データセットに関する情報を提供するヒント ファイルをアップロードできます。ヒント ファイルのアップロード後にマニフェストを再生成すると、指定した情報を使用してマニフェストが生成されます。
必要に応じて、マニフェストをダウンロードしたり、編集したり、編集したマニフェスト ファイルをアップロードしたりできます。
ビッグ データ ファイル共有のデータセットの編集
ビッグ データ ファイル共有のマニフェスト エディターでは、選択したビッグ データ ファイル共有と、その中に正常に登録されたデータセットを表示できます。エディターのドロップダウン メニューからデータセットを選択すると、対応するパラメーターが表示されます。このダイアログ ボックスにある各オプションの詳細については、「ビッグ データ ファイル共有のパラメーターの編集」をご参照ください。データセット パラメーターを編集するには、次の操作を実行します。
- [登録済みデータ ストア] ダイアログ ボックスで、編集するビッグ データ ファイル共有を選択します。
- 鉛筆型の編集アイコンをクリックして、対応するデータセットの詳細とオプションを表示します。
- [データセット] タブをクリックして、登録済みデータセットと対応するパラメーターを表示します。
- ドロップダウン メニューからデータセットを選択して、そのマニフェスト内にある情報を表示します。必要に応じて、データセット プロパティを更新します。
- データセット プロパティの編集が完了したら [保存] をクリックします。
ビッグ データ ファイル共有のマニフェストまたはヒント ファイルの編集
ビッグ データ ファイル共有エディターの [高度な設定] タブでは、関連するマニフェストまたはヒント ファイルをそれぞれのタブから編集することができます。マニフェストをアップロードした場合、エディターでビッグ データ ファイル共有のマニフェストに加えた変更は上書きされ、現在のマニフェストは置き換えられます。ビッグ データ ファイル共有のマニフェストの詳細については、「ビッグ データ ファイル共有のマニフェストについて」をご参照ください。ヒント ファイルの使用に関する詳細については、「ヒント ファイルについて」をご参照ください。ビッグ データ ファイル共有のマニフェストまたはヒント ファイルを編集するには、次の操作を実行します。
- [登録済みデータ ストア] ダイアログ ボックスで、変更するビッグ データ ファイル共有を選択します。
- 鉛筆型の編集アイコンをクリックして、マニフェスト リソースを変更するためのオプションを表示します。
- [高度な設定] タブをクリックします。
- [高度な設定] タブから、変更する内容に応じて [マニフェスト] タブまたは [ヒント] タブを選択します。
- マニフェスト ファイルをダウンロードするには、[マニフェスト] → [ダウンロード] の順にクリックします。
- ヒント ファイルをダウンロードするには、[ヒント] → [ダウンロード] の順にクリックします。
- テキスト エディターを使用してダウンロードした *.json のマニフェスト ファイルまたは *.dat のヒント ファイルを変更し、変更内容をローカルに保存します。
ヒント:
ヒント ファイルのデフォルトのファイル形式は、.dat です。ファイルをダウンロードしたら、拡張子を .txt に変更してファイルを編集できます。 - 編集したファイルをアップロードするには、変更するビッグ データ ファイル共有の鉛筆型の編集アイコンをクリックします。
- マニフェストを編集するには、[高度な設定] → [マニフェスト] → [アップロード] の順にクリックして、更新した *.json ファイルを参照します。
- ヒント ファイルを編集するには、[高度な設定] → [ヒント] → [アップロード] の順にクリックして、更新した *.txt ファイルを参照します。
- [Upload] をクリックします。
ヒント ファイルをアップロードする場合は、必ずマニフェストを再生成してください。マニフェストを再生成すると、ヒントを含むデータセットまたは新しいデータセットのみが更新され、ヒント ファイルに含まれていない他のデータセットに対する変更は反映されません。
ビッグ データ ファイル共有のマニフェストの再生成
ビッグ データ ファイル共有を作成し、マニフェストを生成すると、[登録済みデータ ストア] ダイアログ ボックスの各エントリにマニフェストの再生成ボタンが表示されます。
新しいデータを追加した場合や、リソースの編集を使用してヒント ファイルをアップロードした場合は、マニフェストを再生成できます。ヒント ファイルは、マニフェストを再生成するときに使用される仕様を提供します。
注意:
マニフェストを再生成すると、ヒント ファイルを持つ既存のデータセットまたは新しいデータセットのマニフェストが更新されます。マニフェストに加えた編集は、ヒント ファイルに定義されているルールで上書きされます。ビッグ データ ファイル共有の編集パラメーター
ビッグ データ ファイル共有エディターは、次の 5 つのセクションで構成されています。
- データセット選択
- フィールド
- Geometry
- time (時間)
- データセット形式
マニフェスト生成によってフィールド名、エンコーディング、フィールド区切り文字、または引用文字が正しく決定されていない場合は、データを編集する前に、ヒント ファイルを使用することをお勧めします。
データセット選択
マニフェストは 1 つ以上のデータセットで構成されます。データセットの数は、ビッグ データ ファイル共有場所に含まれるフォルダーの数によって決まります。マニフェスト マネージャーを開くと、ビッグ データ ファイル共有に正常に登録されているデータセットを表示できます。データセットをドロップダウン メニューから選択したときに、データセット パラメーターにデータセット情報が入力されます。
マニフェスト内にさらに多くのデータセットがあることを期待している場合、またはデータセットがない場合は、以下を実行します。
- 最上位フォルダーを正常に登録していることを確認します。詳細については、「ArcGIS Server Manager を使用したデータ ストアの登録」をご参照ください。
- 入力データが、区切り文字で区切られたファイル、シェープファイル、パーケット、ORC のコレクションなどの許容できる形式であることを確認します。
- 対象の入力データセットのスキーマが、ファイルのコレクションで一貫していることを確認します (1 つのデータセット内のすべてのファイルは、同じフィールドを持つ必要があります)。
フィールド
フィールド セクションには、データセット内のフィールドがすべてリスト表示されます。データセットを選択すると、各フィールドについて以下を確認できます。
- フィールドの名前
- フィールド タイプ。
区切り文字で区切られたファイルのフィールド名とタイプを変更できます。複数のフィールド名を変更する場合は、ヒント ファイルを使用することをお勧めします。
入力データセットが区切り文字で区切られたファイルである場合、マニフェストには、ArcGIS Server Manager で変更できる複数のパラメーターがあります。
Geometry
ジオメトリ セクションには、ジオメトリのタイプとその表記方法が表示されます。以下の表で、入力データセット タイプに応じて行うことができる変更に関する注釈を含めて、使用可能なオプションの概要を説明します。
ジオメトリ パラメーター
| パラメーター | 説明 | 区切り文字で区切られたファイル | シェープファイル | ORC ファイル | パーケット ファイル |
|---|---|---|---|---|---|
Geometry | ジオメトリ タイプ。オプションには、[ポイント]、[ポリライン]、[ポリゴン]、[なし] があります。ジオメトリが存在しない場合、入力はテーブルになります。 | 編集可能 | 変更不可 | 編集可能 | 編集可能 |
空間参照 (WKID/WKT) | データセットの空間参照。このオプションは、データセットがテーブルでない場合にのみ表示されます。 | このオプションは変更可能です。デフォルトでは、「4326, WGS 1984」に設定されます。 | 変更不可 | 編集可能 | 編集可能 |
ジオメトリ書式設定タイプ | 各フィーチャにおけるジオメトリの書式設定。オプションには、[XYZ] (X、Y、Z (オプション) 値を表すフィールド。XYZ はポイントのみに適用されます)、[WKT] (Well Known Text)、[GeoJson]、[EsriJson]、および [形状] です。このオプションは、データセットがテーブルでもシェープファイルでもない場合にのみ使用できます。 | 編集可能 | 利用できません | 編集可能 | 編集可能 |
time (時間)
時間セクションでは、時間の表記方法を設定します。以下の表で、入力データセット タイプに応じて行うことができる変更に関する注釈を含めて、使用可能なオプションの概要を説明します。時間オプションは、指定されている場合を除き、すべてのデータ タイプで同じです。
時間パラメーター
| パラメーター | 説明 | 例 |
|---|---|---|
時間タイプ | 入力時間のタイプ。オプションには、[即時] (ある 1 点の時間)、[期間](開始時間と終了時間を持つ一定の時間)、および [なし] があります。 | 即時 |
タイム ゾーン | 入力時間のタイム ゾーン。このオプションは、[時間タイプ] が [なし] 以外の場合のみ有効になります。 | UTC |
時間の名前および書式設定テーブル | このテーブルでは、時間フィールドを選択し、時間の定義方法を設定します。[時間] では、1 つ以上のフィールドを使用して時間を定義したり、単一フィールドに 1 つ以上の形式を使用したりすることができます。デフォルトでは、「time」という名前が付いた最初のフィールドが時間フィールドとして、想定される時間形式がとともに使用されます。シェープファイルが存在する場合、「date」タイプの最初のフィールドが使用されます。時間のタイプが [期間] の場合は、開始時刻と終了時刻が指定されている必要があります。時間の書式設定テーブルは、[時間タイプ] が [なし] 以外の場合のみ有効になります。 | 単一フィールドに 2 つの異なる形式で時間を表記する例:
2 つのフィールドで時間を表記する例:
|
時間の形式
以下の表では、ArcGIS Server Manager を使用して、または直接マニフェストで、ビッグ データ ファイル共有を編集する場合に時間を表す方法の概要を説明します。例では、2016 年 1 月 2 日 9:45:02.05 PM の時間を表す方法を示します。
ビッグ データ ファイル共有の時間形式
| シンボル | 意味 | 例 |
|---|---|---|
yy | 2 桁で表された年。 | 16 |
yyyy | 4 桁で表された年。 | 2016 |
MM | 数値で表された月。 | 01 もしくは 1 |
MMM | 3 文字で表された月。 | Jan |
MMMM | 完全なつづりで表された月。 | January |
dd | 日。 | 02 もしくは 2 |
HH | 24 時間表記の場合の時。値の範囲は 0 ~ 23 です。 | 21 |
hh | 12 時間表記の場合の時。値の範囲は 1 ~ 12 です。 | 9 |
mm | 分 (値の範囲は 0 ～ 59)。 | 45 |
ss | 秒 (値の範囲は 0 ～ 59)。 | 02 |
SSS | ミリ秒 (値の範囲は 0 ～ 999)。 | 50 |
a | AM/PM マーカー。 | PM |
epoch_millis | エポックからの時間 (ミリ秒)。 | 1509581781000 |
epoch_seconds | エポックからの時間 (秒)。 | 1509747601 |
Z | タイムゾーンのオフセット (時)。 | -0100 もしくは -01:00 |
ZZZ | タイムゾーンのオフセット (ID)。 | America/Los_Angeles |
以下の表では、同じ日付 (2016 年 1 月 2 日 9:45:02.05 PM) の異なる形式の例を示します。
時間形式の例
| 入力データ | 日付形式 |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Jan02-16 21:45:02 | MMMdd-yy HH:mm:ss |
January 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
データセット形式
データセット形式セクションでは、データの形式を設定します。データは、次のいずれかの形式になります。
- シェープファイル (*.shp)
- 区切りファイル (例: *.csv)
- Parquet ファイル
- ORC ファイル
使用できるパラメーターは、データセットによって異なります。シェープファイル、ORC、およびパーケット ファイルの場合、パラメーターはファイル タイプのみで、変更することはできません。入力データセットが区切り文字で区切られたファイルである場合、マニフェストには、ArcGIS Server Manager で変更できる複数のパラメーターがあります。次の表で、これらの概要を説明を示します。
データセット形式
| パラメーター | 説明 |
|---|---|
ファイル拡張子 | 入力データセット上のファイル タイプ拡張子をリスト表示します。一般的な形式は、.csv および .txt です。この情報を、ヒント ファイルに含めることができます。 |
フィールド区切り文字 | フィールドごとの区切り文字を決定します。一般的な形式は、, および ; です。この情報を、ヒント ファイルに含めることができます。 |
レコード ターミネーター | データの行ごとのターミネーターを決定します。一般的な形式は、\n および \t です。この情報を、ヒント ファイルに含めることができます。 |
引用符 | 引用符として使用される文字を決定します。この情報を、ヒント ファイルに含めることができます。 |
ヘッダー行を含む | 入力テーブルにヘッダー行が含まれているかどうかを決定するブール型。ヘッダー行が含まれている場合、そのヘッダーがフィールド名に使用されます。フィールド名情報から、ジオメトリ フィールドおよび時間フィールドを予測することができます。ヒント ファイルを使用してヘッダーを設定できます。 |
エンコード | ファイルで使用されるエンコードのタイプ。デフォルトは UTF-8 です。このパラメーターは、ヒント ファイルで設定できます。 |