Входной коннектор Следить за появлением новых файлов CSV в папке можно использовать для чтения и интерпретации данных событий, отформатированных в виде текста с разделителями, из системного файла. Разделителем текста обычно является запятая, поэтому этот тип входного файла иногда называют файлами данных значений с разделителями-запятыми, но ArcGIS GeoEvent Server может использовать для разделения значений атрибутов данных любой обычный символ ASCII.
Зачастую значения данных являются простыми. Запятые используются для разделения или разграничения значений отдельных атрибутов, а строковые буквенные значения заключаются в двойные кавычки, как показано ниже.
Иногда использование разделителя, отличного от запятой, полезно, чтобы избежать неоднозначности, когда двойные кавычки или запятые встроены в значение атрибута, например, когда файл данных включает строковые представления JSON для указания значений геометрии. Использование точки с запятой в качестве разделителей показано ниже.
Примечания по использованию
При работе с входным коннектором Следить за появлением новых файлов CSV в папке имейте в виду следующее:
- Описываемый входной коннектор используется для чтения данных, отформатированных в виде текста с разделителями, из системного файла и их интерпретации для создания записей данных событий с целью дальнейшей обработки.
- Этот входной коннектор связывает входной адаптер текста с входным транспортом файла.
- Входной коннектор просматривает указанную системную папку и считывает файл полностью, как только он появляется в папке.
- Содержимое всего файла будет прочитано заново, если в файл будут внесены и сохранены изменения.
- Все файлы в просматриваемой папке будут прочитаны заново с начала файлов в следующих ситуациях:
- Параметры входного коннектора обновляются и сохраняются.
- Входной коннектор был остановлен и перезапущен (был перезапущен сервис ArcGIS GeoEvent Server).
- Текст с разделителями не обязательно должен содержать данные, представляющие геометрию.
- Адаптер поддерживает возможность построения точечной геометрии из атрибутивных значений x, y и z
- Зарегистрированная папка сервера, указанная в параметре Входная папка хранилища данных, может быть задана с помощью абсолютного или относительного пути UNC. Если используется путь UNC, учетной записи службы Windows, под которой запущен GeoEvent Server, требуется разрешение на чтение/запись в папку.
- Рекомендуется использовать абсолютные пути — например C:\GeoEvent\input, — для параметра Входная папка хранилища данных.
- Параметр Входная директория позволяет указать подпапку связанную с зарегистрированной папкой сервера.
- Параметр Включить подпапки позволяет указать, следует ли выполнять рекурсивный поиск папок, расположенных ниже папки, указанной в параметре Входная папка хранилища данных. Часто хранение данных с различными схемами в разных папках и изменение параметра Включить подпапки со значения по умолчанию на отключение рекурсивного поиска позволяет задать более прямую и простую конфигурацию этого входного коннектора.
- Если файл данных имеет один или несколько заголовков (например, имена полей или типы атрибутивных данных), которые не являются значениями данных, укажите значение Число строк, пропускаемых от начала файла. Если файл данных очень большой, уменьшите значение Максимальное число строк на пакет, чтобы помочь процессу извлечения данных, ограничив число строк, извлекаемых в ходе обработки содержимого файла. Можно также задать значение Интервал записи пакета, чтобы указать время ожидания в миллисекундах, отсчитываемое прежде чем следующий пакет строк будет извлекаться из файла.
- Для обработки текста с разделителями необходимы значения Разделитель сообщений и Разделитель атрибутов. Значение Разделитель сообщений указывает символ, определяющий конец записи данных. По умолчанию используется \n (новая строка). Значение Разделитель атрибутов задает символ, используемый для отделения одного значения атрибута от другого в одной строке текста. На приведенных выше иллюстрациях показаны данные, в которых используются различные символы в качестве разделителей атрибутов. Однако на каждой иллюстрации предполагается, что новая строка является естественным разделителем сообщений.
В одном файле данных могут содержаться различные типы данных, например, Light Truck и Tractor Trailer. Если разные строки текста представляют данные событий от разных типов датчиков или объектов, то первое значение атрибута каждой строки текста должно идентифицировать тип записи события. Параметр Входные данные содержат определение GeoEvent указывает, должен ли коннектор использовать первое значение атрибута в качестве имени определения GeoEvent, которое будет описывать тип данных и количество последующих значений атрибута. Это часто является причиной путаницы: когда этот параметр установлен как Да (по умолчанию), зависимый параметр Создать определения неопознанных событий установлен как Нет (по умолчанию), а данные событий представлены как показано выше. Никакие записи событий не создаются для обработки. Причина в том, что первый атрибут проиллюстрированных данных событий не является именем определения GeoEvent, это уникальные имена/идентификаторы объектов. Маловероятно, что существуют определения GeoEvent, имена которых совпадают с уникальными идентификаторами каждого отслеживаемого объекта.
Рассмотрим ожидаемое поведение, если для входных данных параметр Входящие данные содержат определение GeoEvent был по умолчанию установлен как Да, а параметр Создать определения неопознанных событий был изменен на Да. Для каждого именованного объекта или датчика будет создано новое определение GeoEvent. Это не тот результат, которого вы ожидаете, особенно если данные содержат сотни или тысячи уникальных имен объектов. Чтобы этого не произошло, просмотрите данные и, если каждая строка не начинается с имени определения GeoEvent, измените значение параметра Входные данные содержат определение GeoEvent на Нет.
- Ожидание сети может отрицательно повлиять на способность GeoEvent Server извлекать большие объемы данных событий.
Параметры
Ниже приведены параметры для входного коннектора Следить за появлением новых файлов CSV в папке:
| Параметр | Описание |
|---|---|
| Имя | Описательное имя входного коннектора, используемое для ссылки в GeoEvent Manager. |
Входная папка хранилища данных | Зарегистрированная системная папка, в которой будут искаться файлы. |
Входная директория | Подпапка непосредственно под зарегистрированной системной папкой. Параметр Входная директория следует оставить пустым, если подпапка под зарегистрированной системной папкой не существует. |
Фильтр входных файлов | Шаблон регулярных выражений, используемый для идентификации файлов, подходящих для входных данных в этом случае, и адаптации для создания записей данных событий для обработки. По умолчанию .*\.csv, которое соответствует любому имени файла (.*), заканчивающегося буквенным суффиксом (.csv). Хотя этот параметр не является обязательным и может быть оставлено пустым, рекомендуется указать шаблон, который соответствует имени любого файла, схема которого соответствует определению GeoEvent, чтобы эти входные данные были настроены для использования и исключения файлов (по имени), которые не должны обрабатываться. |
Считать файл в виде текстовых строк | Указывает, как содержание файла должно быть прочитано и проанализировано. По умолчанию – Да.
При работе с текстом, разделенным разделителями, рекомендуется читать отдельные строки текста, а не все содержимое файла. Предполагается, что каждая строка текста представляет собой полную запись данных. Каждая строка текста должна заканчиваться разделителем сообщений. |
Максимальное число строк на пакет (Условия) | Максимальное количество строк для чтения из файла в каждом пакете или интервале. По умолчанию – 1000 строк. Уменьшите это значение, если каждая запись события содержит много атрибутов, для ограничения объема данных, отправляемых текстовому адаптеру в виде пакета. Параметр показывается, когда для Считать файл в виде текстовых строк задано значение Да, и скрыт, если задано значение Нет. |
Интервал записи пакета (миллисекунды) (Условия) | Количество миллисекунд ожидания перед чтением очередного пакета строк из файла. Значение по умолчанию равно 500. Уменьшите это значение, если ожидается, что размер файла будет очень большим или потребуется дополнительное время для обработки каждой партии строк, извлеченных из файла. Параметр показывается, когда для Считать файл в виде текстовых строк задано значение Да, и скрыт, если задано значение Нет. |
Число строк, пропускаемых от начала файла (Условия) | Число строк, которые пропускаются от начала файла. Значение по умолчанию равно 0. Увеличьте это значение, если требуется пропустить определенное количество строк, например, строки заголовка, указывающие имена полей атрибутов или типы данных, поскольку они не содержат фактических данных для обработки. Параметр показывается, когда для Считать файл в виде текстовых строк задано значение Да, и скрыт, если задано значение Нет. |
Пространственная привязка по умолчанию | Известный идентификатор (WKID) пространственной привязки, используемый при построении геометрии из значений полей атрибутов, координаты которых не являются значениями широты и долготы для предполагаемой географической системы координат WGS84, или строки геометрии, не включающие пространственную привязку. Также может быть указано известное текстовое значение (WKT) или имя поля атрибута, содержащего WKID или WKT. |
Разделитель сообщений | Один буквенный символ, который указывает на конец записи данных событий. Значения Unicode могут применяться для указания разделителя символов. Этот символ не должен заключаться в кавычки. Перенос строки (\n) - это наиболее типичный разделитель конца записи. |
Разделитель атрибутов | Один буквенный символ, используемый для отделения одного значения атрибута от другого в сообщении. Значения Unicode могут применяться для указания разделителя символов. Этот символ не должен заключаться в кавычки. Обычно разделителем атрибутов является запятая. |
Входящие данные содержат определение GeoEvent | Указывает, следует ли использовать первое значение атрибута каждой строки текста с разделителями в качестве имени определения GeoEvent. Дополнительные сведения см. в примечаниях к использованию выше.
|
Создать определения неопознанных событий (Условия) | Указывает, следует ли создавать новое Определение GeoEvent, если определение с указанным именем не существует. Если текстовый файл с разделителями содержит записи событий от различных типов датчиков, для указания типа события используется первое значение атрибута, которое берется в качестве имени определения GeoEvent.
Параметр показывается, когда для Входящие данные содержат определение GeoEvent задано значение Да, и скрыто, если задано значение Нет. |
Создать определение GeoEvent (Условия) | Указывает, следует ли использовать новое или существующее Определение GeoEvent для данных входящих событий. Определение GeoEvent требуется GeoEvent Server, чтобы понимать поля атрибутов и типы данных входящих событий.
Параметр показывается, когда для Входящие данные содержат определение GeoEvent задано значение Нет, и скрыто, если задано значение Да. |
Имя определения GeoEvent (новое) (Условия) | Имя, которое присваивается для нового Определения GeoEvent. Если определение GeoEvent с указанным именем уже существует, будет использоваться существующее определение GeoEvent. Первая полученная запись данных будет использоваться для определения ожидаемой схемы последующих записей данных, на основе которой будет создано новое определение GeoEvent. Параметр показывается, когда для свойства Создать определение GeoEvent задано значение Да, и скрыто, если задано значение Нет. |
Имя определения GeoEvent (существующее) (Условия) | Имя существующего определения GeoEvent для использования при адаптации полученных данных для создания данных событий для обработки сервисом GeoEvent. Параметр показывается, когда для свойства Создать определение GeoEvent задано значение Нет, и скрыто, если задано значение Да. |
Построить геометрию из полей | Указывает, должен ли входной коннектор создавать геометрию точки, используя значения координат, полученные в качестве атрибутов. По умолчанию Нет.
|
Поле геометрии X (Условия) | Поле атрибута в данных входящего события, содержащее координатную часть X (например, горизонталь или долготу) местоположения точки. Параметр показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если задано значение Нет. |
Поле геометрии Y (Условия) | Поле атрибута в данных входящего события, содержащее координатную часть Y (например, вертикаль или широту) местоположения точки. Параметр показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если задано значение Нет. |
Поле геометрии Z (Условия) | Имя поля в данных входящего события, содержащего координатную часть Z (например, глубина или высота) местоположения точки. Если оставить его пустым, значение Z будет опущено и будет построена 2D геометрия точки. Параметр показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если задано значение Нет. |
Ожидаемый формат данных |
Шаблон, используемый для соответствия ожидаемым строковым представлениям значений даты/времени и преобразования их в значения даты Java. Формат шаблона следует нормам для класса Java SimpleDateFormat. GeoEvent Server предпочитает, чтобы значения даты/времени выражались в стандарте ISO 8601, но несколько строковых представлений значений даты/времени, обычно распознаваемых как значения даты, могут быть преобразованы в значения даты Java без указания шаблона Ожидаемого формата даты. К ним относятся:
Если полученные значения даты/времени выражены с помощью формата, отличного от одного из пяти, показанных выше, необходимо указать ожидаемый формат даты, чтобы GeoEvent Server знал, как следует адаптировать значения даты/времени. |
Язык форматирования чисел | Идентификатор локали (ID), используемый для чувствительного к локали поведения при форматировании чисел из значений данных. По умолчанию используется локаль компьютера, на котором установлен GeoEvent Server. Дополнительные сведения см. в разделе Поддерживаемые локали Java. |
Включить подпапки | Указывает, используются ли для файлов подпапки в Входной папке хранилища данных и Входной директории (дополнительно). По умолчанию – Да, однако, организация данных с разными схемами в разные папки и изменение этого параметра на Нет, чтобы отключить рекурсивный поиск, позволяет упростить конфигурацию.
|
Удалить файлы после обработки | Указывает, будут ли файлы в зарегистрированной системной папке удалены после обработки их содержимого. Обратите внимание, что даже если содержимое файла не может быть адаптировано, записи событий не создаются, и не происходит обработка событий в реальном времени, входящий транспорт все равно удалит файл, содержимое которого было успешно прочитано. Значение по умолчанию – Нет.
Не удаленные файлы будут перечитаны с начала файла, если свойства входного коннектора изменены и сохранены или если поток входных данных остановлен и перезапущен, например, если перезапущен сервис ArcGIS GeoEvent Server. |