フォルダーを監視 (新規 CSV ファイル)

フォルダーを監視 (新規 CSV ファイル) 入力コネクタを使用すると、区切りテキストとして書式設定したイベント データをシステム ファイルから読み取って適合させることができます。 テキスト区切り記号は、一般的にはカンマであるため、このタイプの入力ファイルはカンマ区切り値データ ファイルと呼ばれることもあります。ただし、ArcGIS GeoEvent Server では、印刷可能な ASCII 文字を区切り記号として使用し、データ属性値を区切ることができます。

ほとんどの場合、データ値はシンプルです。 カンマは個々の属性値を分離する (区切る) ために使用され、文字列リテラル値は以下に示すように二重引用符で囲まれます。

ジオメトリ値を示す JSON 文字列表現がデータ ファイルに含まれている場合など、二重引用符やカンマが属性値に埋め込まれている場合は、曖昧さをなくすためにカンマ以外の区切り文字を使用した方がわかりやすくなることがあります。 セミコロンを区切り記号として使用する例を次に示します。

使用上の注意

フォルダーを監視 (新規 CSV ファイル) 入力コネクタを使用する際には、次の点に注意してください。

• この入力コネクタを使用し、区切りテキストとして書式設定されたデータをシステム ファイルから読み込み、それを適合してイベント データ レコードを作成して処理します。
• この入力コネクタは、テキスト インバウンド アダプターとファイル インバウンド トランスポートを組み合わせます。
• 入力コネクタは、特定のシステム フォルダーを監視して、ファイルがフォルダーに出現すると同時にファイル全体を読み取ります。
• ファイルに対して変更が加えられ、保存されると、ファイル全体のコンテンツが再読み込みされます。
• 次のような場合には、監視対象のフォルダーに含まれるすべてのファイルが、ファイルの最初から再読み込みされます。
  • 入力コネクタのパラメーターが更新されて保存された。
  • 入力コネクタが停止し、再起動された (または ArcGIS GeoEvent Server サービスが再起動された)。
• 区切りテキストには、ジオメトリを表すデータを含める必要はありません。
• アダプターでは、X、Y、Z 属性値からポイント ジオメトリを構築することができます。
• [入力フォルダのデータ ストア] パラメーターで指定された登録済みのサーバー フォルダーは、絶対パスまたたは UNC パスを使用して定義できます。 UNC パスを使用する場合、GeoEvent Server を実行する Windows サービス アカウントにはフォルダーへの読み取り/書き込み権限が必要です。
• [入力フォルダーのデータ ストア] パラメーターには、C:\GeoEvent\input のような絶対パスを使用することをお勧めします。
• [入力ディレクトリ] パラメーターでは、登録済みのサーバー フォルダーの相対的なサブフォルダーを指定できます。
• [サブフォルダーを含める] パラメーターでは、[入力フォルダーのデータ ストア] パラメーターに指定されたフォルダーの下にあるフォルダーを再帰的に検索するかどうかを指定できます。 多くの場合、異なるスキーマを持つデータを異なるフォルダーに分けて整理し、[サブフォルダーを含める] をデフォルト設定から変更して再帰的検索を無効にすると、この入力コネクタの構成をより直接的かつシンプルにすることができます。
• データ ファイルに、データ値ではないヘッダーが 1 つ以上含まれている場合 (フィールド名や属性データ タイプなど)、[ファイルの先頭からスキップする行の数] に値を指定します。 データ ファイルが特に大きい場合は、[バッチあたりの最大行数] の値を小さくして、ファイルのコンテンツとともに取得される行数を制限することでデータの取得を管理します。 また、[バッチのフラッシュ間隔] に値を設定して、ファイルから次の行のバッチを取得するまでの間隔 (ミリ秒単位) を指定します。
• 区切りテキストを解析するには、[メッセージの区切り記号] と [属性の区切り記号] に値を指定する必要があります。 [メッセージの区切り記号] の値として、データ レコードの末尾を表す文字を指定します。 デフォルト値は [\n] (改行) です。 [属性の区切り記号] の値として、1 行のテキストで属性値を区切るための文字を指定します。 上の図では、属性の区切り記号として異なる文字を使用するデータを示します。 ただし、これらの図では、改行を自然のメッセージ区切り記号として想定しています。

• 1 つのデータ ファイルには、Light Truck と Tractor Trailer など、異なるデータ タイプが含まれていることがあります。 テキストの各行が、異なるタイプのセンサーやアセットのイベント データを表す場合、各テキスト行の最初の属性値がイベント レコードのタイプを識別する必要があります。 [受信データにジオイベント定義が含まれる] パラメーターは、コネクタが最初の属性値をジオイベント定義の名前として使用して、後続の属性値のデータ タイプや数を指定するかどうかを決定します。 これは混乱のもとになることが少なくありません。このパラメーターが [はい] (デフォルト) に設定されていて、従属パラメーターと結合している場合は、[不明なイベント定義の作成] が [いいえ] (デフォルト) に設定され、上記のようなイベント データになります。 処理対象のイベント レコードは作成されません。 この理由は、図に示すイベント データの最初の属性がジオイベント定義の名前ではなく、アセットに一意の名前/識別子であるためです。 そのため、監視対象となるすべてのアセットに一意の識別子と一致する名前を持つジオイベント定義が存在する可能性はほとんどありません。

• 入力で [受信データにジオイベント定義が含まれる] パラメーターがデフォルトの [はい] のままで、[不明なイベント定義の作成] パラメーターを [はい] に変更した場合の動作はどうなるでしょうか。 指定されたすべてのアセットやセンサーに対し、新しいジオイベント定義が作成されます。 データに含まれる一意のアセット名が数百件、数千件に及ぶ場合には、このような結果は望ましくありません。 これを回避するために、データを確認します。各行の冒頭がジオイベント定義の名前ではない場合は、[受信データにジオイベント定義が含まれる] パラメーターの値を [いいえ] に変更します。

• ネットワーク遅延が発生すると、大量のイベント データを取得する GeoEvent Server の機能に悪影響が及びます。

パラメーター

フォルダーを監視 (新規 CSV ファイル) 入力コネクタのパラメーターを次に示します。

パラメーター	説明
名前	GeoEvent Manager で参照用として使用される入力コネクタの記述名。
入力フォルダー データ ストア	ファイルが配置される、登録済みシステム フォルダー。
入力ディレクトリ	登録済みシステム フォルダーの直下のサブフォルダー。 登録済みシステム フォルダーの下にサブフォルダーが存在しない場合は、[入力ディレクトリ] を空のままにしておく必要があります。
入力ファイル フィルター	この入力に適したファイルを識別するための正規表現のパターン。入力は、このファイルを取り込んで適合し、処理を行うイベント データ レコードを作成します。 デフォルトは [.*\.csv] です。これは、リテラル接尾辞 (.csv) で終わるファイル名 ([.*]) と一致します。 このパラメーターは必須ではないので空にしておくことができますが、この入力で使用するよう構成されたジオイベント定義と一致するスキーマを持つファイル名と一致するパターンを指定し、入力で取り込まないファイルを (名前を指定して) 除外することをお勧めします。
ファイルをテキスト行として読み取る	ファイルの内容を読み取って解析する方法を指定します。 デフォルトは [はい] です。 [はい] - ファイルの内容がテキストの個別の行として読み取られ、解析されます。 [いいえ] - ファイル全体が完全なドキュメントとして読み取られ、解析されます。 区切りテキストを操作する場合は、ファイルのコンテンツをまとめて読み取るのではなく、テキストの行を個別に読み取ることをお勧めします。 テキストの各行は完全なデータ レコードを表すものと想定されます。 テキストの各行は、メッセージの区切り記号で終了する必要があります。
バッチあたりの最大行数 (条件)	各バッチまたは間隔ごとに、ファイルから読み取る最大行数。 デフォルトは [1000] 行です。 各イベント レコードに多くの属性が含まれている場合、テキスト アダプターにバッチとして送信されるデータの量を制限するには、この値を減らします。 このパラメーターは、[ファイルをテキスト行として読み取る] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
バッチ フラッシュ間隔 (ミリ秒) (条件)	ファイルから別のバッチの行を読み取るまでの待機時間 (ミリ秒) を指定します。 デフォルトは [500] です。 ファイル サイズが非常に大きくなることが予期される場合や、ファイルから取得されるバッチの行を処理するために長時間を要する場合には、この値を減らします。 このパラメーターは、[ファイルをテキスト行として読み取る] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
ファイルの先頭からスキップする行の数 (条件)	ファイルの先頭からスキップする行の数。 デフォルトは [0] です。 属性フィールド名やデータ タイプを指定するヘッダー行に、処理に使用される実際のデータが含まれない場合などに、一定の行数をスキップする場合には、この値を増やします。 このパラメーターは、[ファイルをテキスト行として読み取る] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
デフォルト空間参照	座標値が、想定されている WGS84 地理座標系システムの緯度と経度の値ではない属性フィールド値をもとにジオメトリを作成するか、受信したジオメトリ文字列に空間参照が含まれない場合に使用される空間参照の Well-Known ID (WKID)。 WKID または Well-Known Text (WKT) を含む属性フィールドの WKT 値または名前が指定されることもあります。
メッセージの区切り記号	イベント データ レコードの末尾を表す文字リテラル。 区切り文字を指定するには、Unicode 値が使用されることがあります。 文字は引用符で囲んではなりません。 一般的なレコード末尾区切り文字は、改行 (\n) です。
属性の区切り記号	メッセージ内で属性値を区切るために使われるリテラル記号。 区切り文字を指定するには、Unicode 値が使用されることがあります。 文字は引用符で囲んではなりません。 一般的な属性区切り記号はカンマです。
受信データにジオイベント定義が含まれる	区切られたテキスト行の最初の属性値を、ジオイベント定義の名前として使用するかどうかを指定します。 詳細については、上の「使用上の注意」をご参照ください。 [はい] – 各イベント レコードの属性フィールドが、ジオイベント定義 (既存または新規) の名前になります。 [いいえ] – すべてのイベント レコードは共通のスキーマを持つため、1 つのジオイベント定義を共有します。 各イベント レコードの最初の属性フィールドは、ジオイベント定義の名前ではなく、センサー データです。
認識されていないイベント定義の作成 (条件)	指定した名前のジオイベント定義が存在しない場合に、新しいジオイベント定義を作成する必要があるかどうかを指定します。 区切りテキスト ファイルに異なるタイプのセンサーからのイベント レコードが含まれる場合、最初の属性値を使用してイベントのタイプを指定します。この属性値がジオイベント定義名として使用されます。 [はい] – 指定した名前のイベント定義が存在しない場合に、新しいジオイベント定義が作成されます。 [いいえ] – 新しいジオイベント定義は作成されません。 対応するジオイベント定義のないインバウンド イベント データは適合されず、処理されません。 このパラメーターは、[受信データにジオイベント定義が含まれる] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
ジオイベント定義の作成 (条件)	インバウンド イベント データに新しいジオイベント定義を使用するか、既存のジオイベント定義を使用するかを指定します。 GeoEvent Server がインバウンド データ属性フィールドおよびデータ タイプを理解するには、ジオイベント定義が必要です。 [はい] – 最初に受信したイベント レコードのスキーマに基づき、新しいジオイベント定義が作成されます。 [いいえ] – 新しいジオイベント定義は作成されません。 インバウンド イベント データのスキーマに一致する、既存のジオイベント定義が選択されます。 このパラメーターは、[受信データにジオイベント定義が含まれる] が [いいえ] に設定されている場合に表示され、[はい] に設定されている場合は非表示になります。
ジオイベント定義名 (新規) (条件)	新しいジオイベント定義に与えられる名前。 指定した名前を持つジオイベント定義がすでに存在する場合、既存のジオイベント定義が使用されます。 最初に受信したデータ レコードを使用し、後続のデータ レコードで予期されるスキーマを決定します。新しいジオイベント定義は、最初のデータ レコードのスキーマに基づいて作成されます。 このパラメーターは、[ジオイベント定義の作成] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
ジオイベント定義名 (既存) (条件)	受信したデータを適合して、GeoEvent Service によって処理されるイベント データを作成する際に使用する、既存のジオイベント定義の名前。 このパラメーターは、[ジオイベント定義の作成] が [いいえ] に設定されている場合に表示され、[はい] に設定されている場合は非表示になります。
フィールドからジオメトリを作成	入力コネクタが、属性として受信した座標値を使用してポイント ジオメトリを作成するかどうかを指定します。 デフォルトは [いいえ] です。 [はい] – 指定したイベント属性の値を使用し、ポイント ジオメトリを作成します。 [いいえ] – ポイント ジオメトリは作成されません。 属性フィールドには、ジオメトリとして解釈される値が含まれているか、イベント レコードが非空間である (ジオメトリがない) と想定されます。
X ジオメトリ フィールド (条件)	ポイント位置の X 座標部 (水平や経度など) を含むインバウンド イベント データの属性フィールド。 このパラメーターは、[フィールドからジオメトリを作成] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
Y ジオメトリ フィールド (条件)	ポイント位置の Y 座標部 (垂直や緯度など) を含むインバウンド イベント データの属性フィールド。 このパラメーターは、[フィールドからジオメトリを作成] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
Z ジオメトリ フィールド (条件)	ポイント位置の Z 座標部 (深さや高度など) を含むインバウンド イベント データのフィールド名。 空白のままにすると、Z 値が省略されて、2D ポイント ジオメトリが作成されます。 このパラメーターは、[フィールドからジオメトリを作成] が [はい] に設定されている場合に表示され、[いいえ] に設定されている場合は非表示になります。
推定される日付形式	日付時間値として予期される文字列表現を一致させ、それを Java Date 値に変換するために使用されるパターン。 パターンの形式は、Java SimpleDateFormat クラス変換に従います。 GeoEvent Server では、日付/時間値を ISO 8601 標準で表すことを推奨していますが、日付値として一般的に認識されている日付/時間値の文字列表現のいくつかは、[推定される日付形式] パターンを指定しなくても Java Date 値に変換することができます。 これらには以下のものが含まれます。 "2019-12-31T23:59:59" – ISO 8601 標準形式 1577836799000 – Java Date (紀元からの時間を示す Long 型整数、UTC) "Tue Dec 31 23:59:59 -0000 2019" – 一般的な Web サービス文字列形式 "12/31/2019 11:59:59 PM" – 米国で使用される一般的な形式 (12 時間形式) "12/31/2019 23:59:59" – 米国で使用される一般的な形式 (24 時間形式) 受信した日付/時間の値が、上記の 5 つ以外の形式で表される場合は、GeoEvent Server が日付/時間値を適合する方法を把握できるよう、推定される日付形式パターンを指定する必要があります。
数値形式の言語	データ値から数値を書式設定する際、ロケール依存型の動作に使用されるロケール識別子 (ID)。 デフォルトは、GeoEvent Server がインストールされているコンピューターのロケールです。 詳細については、「Java Supported Locales」をご参照ください。
サブフォルダーを含める	[入力フォルダーのデータ ストア] と [入力ディレクトリ] (任意) のサブフォルダーも、ファイル検索の対象にするかどうかを指定します。 デフォルトは [はい] です。ただし、スキーマの異なるデータを異なるフォルダーに分け、そのパラメーターを [いいえ] に変更して再帰的検索を無効にすることで、シンプルな構成が可能になります。 [はい] – ファイルに対して再帰的検索を行います。これらのファイルのコンテンツは、イベント データ レコードを作成するために読み込まれ、適合されます。 [いいえ] – [入力フォルダーのデータ ストア] と [入力ディレクトリ] (任意) サブフォルダーのみが、ファイル検索の対象となります。
処理後にファイルを削除	登録済みシステム フォルダーのファイルのコンテンツを処理後、これらのファイルを削除するかどうかを指定します。 ファイルのコンテンツを適合できない場合でもイベント レコードは作成されず、リアルタイムのイベント処理は行われず、コンテンツが正常に読み込まれたファイルであってもインバウンド トランスポートによって削除されます。 デフォルトは [いいえ] です。 [はい] - 処理されたファイルは、登録済みシステム フォルダーから削除されます。 [いいえ] - 処理されたファイルは、登録済みシステム フォルダーから削除されません。 入力コネクタのプロパティが変更され、保存された場合、あるいは入力が停止して再起動した場合 (ArcGIS GeoEvent Server サービスを再起動した場合など) は、削除されなかったファイルは、ファイルの最初から再読み込みされます。