Входной коннектор Проверить папку на новые файлы CSV можно использовать для чтения и интерпретации данных событий, отформатированных в виде текста с разделителями, из системного файла. Разделителем текста обычно является запятая, поэтому данный тип входного файла иногда называют файлом данных с разделителем запятой, но ArcGIS GeoEvent Server может использовать любой обычный символ ASCII в качестве разделителя для разделения значений атрибутов данных.
Зачастую значения данных являются простыми. Запятые используются для разделения или разграничения значений отдельных атрибутов, а строковые буквенные значения заключаются в двойные кавычки, как показано ниже.
Иногда, когда файл данных включает строковые представления JSON, например, для значений геометрии, используется разделитель отличный от запятой, в таких случаях полезно во избежание двусмысленности внедрить двойные кавычки и/или запятые в значение атрибута. Использование точки запятой в качестве разделителей показано ниже.
Примечания по использованию
- Описываемый входной коннектор используется для чтения данных, отформатированных в виде текста с разделителями, из системного файла и их интерпретации для создания записей данных событий с целью дальнейшей обработки.
- Этот входной коннектор связывает входной адаптер текста с входным транспортом файла.
- Входной коннектор просматривает указанную системную папку и считывает файл полностью, как только он появляется в папке.
- Содержимое всего файла будет прочитано заново, если в файл будут внесены и сохранены изменения.
- Все файлы в просматриваемой папке будут прочитаны заново, если:
- Свойства входного коннектора было обновлено и сохранено.
- Входной коннектор был остановлен и перезапущен (был перезапущен сервис ArcGIS GeoEvent Server).
- Разделенный текст не обязательно должен содержать данные, представляющие геометрию.
- Адаптер поддерживает возможность построения точечной геометрии из атрибутивных значений X, Y и Z.
- Зарегистрированная папка сервера Входная папка хранилища данных может быть задана с помощью абсолютного или относительного пути. Если используется относительный путь, учетной записи службы Windows, под которой запущен GeoEvent Server, требуется разрешение на чтение/запись в папку.
- Рекомендуется использовать абсолютные пути, например C:\GeoEvent\input для свойства Входная папка хранилища данных.
- Входная папка позволяет указать подпапку связанную с зарегистрированной папкой сервера.
- Включить подпапки позволяет указать, следует ли рекурсивно искать папки во Входной папке хранилища данных. Часто хранение данных с различными схемами в разных папках и изменение параметра Включить подпапки со значения по умолчанию на опцию отключения рекурсивного поиска позволяет задать более прямую и простую конфигурацию этого входного коннектора.
- Если файл данных имеет один или несколько заголовков (например, имена полей или типы атрибутивных данных), которые не являются значениями данных, укажите Число строк, пропускаемых от начала файла. Если файл данных очень большой, уменьшите Максимальное число строк на пакет, чтобы помочь процессу извлечения данных, ограничив число строк, извлекаемых в ходе обработки содержимого файла. Можно также задать Интервал записи пакета, чтобы указать время ожидания в миллисекундах, отсчитываемое прежде чем следующий пакет строк будет извлекаться из файла.
- Для обработки текста с разделителями необходимы Разделитель сообщений и Разделитель атрибутов. Разделитель сообщений указывает символ, определяющий конец записи данных, по умолчанию используется \n (новая строка). Разделитель атрибутов задает символ, используемый для отделения одного значения атрибута от другого в одной строке текста. На приведенных выше иллюстрациях показаны данные, в которых используются различные символы в качестве разделителей атрибутов. Однако на каждой иллюстрации предполагается, что новая строка является естественным разделителем сообщений.
В одном файле данных могут содержаться различные типы данных, например, Light Truck и Tractor Trailer. Если разные строки текста представляют данные событий от разных типов датчиков или объектов, то первое значение атрибута каждой строки текста должно идентифицировать тип записи события. Свойство Входные данные содержат определение GeoEvent указывает, должен ли коннектор использовать первое значение атрибута в качестве имени определения GeoEvent, которое будет описывать тип данных и атрибутивные значения, последующие далее. Это часто является причиной путаницы: когда это свойство установлено как Да (по умолчанию), зависимое свойство Создать определения неопознанных событий установлено как Нет (по умолчанию), а данные событий представлены как показано выше – никакие записи событий не создаются для обработки. Причина в том, что первый атрибут проиллюстрированных данных событий не является именем определения GeoEvent, это уникальные имена/идентификаторы объектов, и маловероятно, что существуют определения GeoEvent, имена которых совпадают с уникальными идентификаторами каждого отслеживаемого объекта.
Рассмотрим ожидаемое поведение, если для входных данных свойство Входящие данные содержат определение GeoEvent было по умолчанию установлено как Да, а свойство Создать определения неопознанных событий было изменено на Да. Для каждого именованного объекта или датчика будет создано новое определение GeoEvent. Это не тот результат, которого вы ожидаете, особенно если данные содержат сотни или тысячи уникальных имен объектов. Чтобы этого не произошло, просмотрите данные и, если каждая строка не начинается с имени определения GeoEvent, измените значение свойства Входные данные содержат определение GeoEvent на Нет.
- Ожидание сети может отрицательно повлиять на способность GeoEvent Server извлекать большие объемы данных событий.
Параметры
| Параметр | Описание |
|---|---|
| Имя | Описательное имя входного коннектора, используемое для справки в GeoEvent Manager. |
Входная папка хранилища данных | Зарегистрированная системная папка, в которой будут искаться файлы. |
Входная директория | Подпапка непосредственно под зарегистрированной системной папкой. Параметр Входная директория следует оставить пустым, если подпапка под зарегистрированной системной папкой не существует. |
Фильтр входных файлов | Шаблон регулярных выражений, используемый для идентификации файлов, подходящих для входных данных в этом случае, и адаптации для создания записей данных событий для обработки. По умолчанию .*\.csv, которое соответствует любому имени файла (.*), заканчивающегося буквенным суффиксом (.csv). Хотя это свойство не является обязательным и может быть оставлено пустым, рекомендуется указать шаблон, который соответствует имени любого файла, схема которого соответствует определению GeoEvent, чтобы эти входные данные были настроены для использования и исключения файлов (по имени), которые не должны обрабатываться. |
Является текстом файла | Указывает, записан ли файл в текстовом или в бинарном формате. По умолчанию – Да.
|
Максимальное число строк на пакет (Условия) | Максимальное количество строк для чтения из файла в каждом пакете или интервале. По умолчанию – 1000 строк. Уменьшите это значение, если каждая запись события содержит много атрибутов для ограничения объема данных, отправляемых текстовому адаптеру в виде пакета. Это свойство показывается, когда для Является текстом файла задано значение Да, и скрыто, если выбрано значение Нет |
Интервал записи пакета (миллисекунды) (Условия) | Количество миллисекунд ожидания перед чтением очередного пакета строк из файла. Значение по умолчанию равно 500. Уменьшите это значение, если ожидается, что размер файла будет очень большим и/или потребуется дополнительное время для обработки каждой партии строк, извлеченных из файла. Это свойство показывается, когда для Является текстом файла задано значение Да, и скрыто, если выбрано значение Нет |
Число строк, пропускаемых от начала файла (Условия) | Число строк, которые пропускаются от начала файла. Значение по умолчанию равно 0. Увеличьте это значение, если требуется пропустить определенное количество строк, например, строки заголовка, указывающие имена полей атрибутов или типы данных, поскольку они не содержат фактических данных для обработки. Это свойство показывается, когда для Является текстом файла задано значение Да, и скрыто, если выбрано значение Нет |
Пространственная привязка по умолчанию | Известный идентификатор (WKID) пространственной привязки, используемый при построении геометрии из значений полей атрибутов, координаты которых не являются значениями широты и долготы для предполагаемой географической системы координат WGS84, или строки геометрии, не включающие пространственную привязку. Также может быть указано известное текстовое значение (WKT) или имя поля атрибута, содержащего WKID или WKT. |
Разделитель сообщений | Один буквенный символ, который указывает на конец записи данных событий. Значения Unicode могут применяться для указания разделителя символов. Этот символ не должен заключаться в кавычки. Новая линия (\n) - это наиболее типичный разделитель конца записи. |
Разделитель атрибутов | Один буквенный символ, используемый для отделения одного значения атрибута от другого в сообщении. Значения Unicode могут применяться для указания разделителя символов. Этот символ не должен заключаться в кавычки. Запятая (,) – общий разделитель атрибутов |
Входящие данные содержат определение GeoEvent | Указывает, следует ли использовать первое значение атрибута каждой строки текста с разделителями в качестве имени определения GeoEvent. Дополнительные сведения см. в примечаниях к использованию выше.
|
Создать определения неопознанных событий (Условия) | Указывает, следует ли создавать новое Определение GeoEvent, если определение с указанным именем не существует. Если текстовый файл с разделителями содержит записи событий от различных типов датчиков, для указания типа события используется первое значение атрибута, которое берется в качестве имени определения GeoEvent.
Это свойство показывается, когда для Входящие данные содержат определение GeoEvent задано значение Да, и скрыто, если выбрано значение Нет |
Создать определение GeoEvent (Условия) | Указывает, следует ли использовать новое или существующее Определение GeoEvent для данных входящих событий. Определение GeoEvent требуется для GeoEvent Server для понимания полей атрибутов и типов данных входящих событий.
Это свойство показывается, когда для Входящие данные содержат определение GeoEvent задано значение Нет, и скрыто, если выбрано значение Да |
Имя определения GeoEvent (новое) (Условия) | Имя, которое присваивается для нового Определения GeoEvent. Если определение GeoEvent с указанным именем уже существует, будет использоваться существующее определение GeoEvent. Первая полученная запись данных будет использоваться для определения ожидаемой схемы последующих записей данных, на основе которой будет создано новое определение GeoEvent. Это свойство показывается, когда для свойства Создать определение GeoEvent задано значение Да, и скрыто, если выбрано значение Нет |
Имя определения GeoEvent (существующее) (Условия) | Имя существующего определения GeoEvent для использования при адаптации полученных данных для создания данных событий для обработки сервисом GeoEvent. Это свойство показывается, когда для свойства Создать определение GeoEvent задано значение Нет, и скрыто, если выбрано значение Да |
Построить геометрию из полей | Указывает, должен ли входной коннектор создавать геометрию точки, используя значения координат, полученные в качестве атрибутов. По умолчанию Нет.
|
Поле геометрии X (Условия) | Поле атрибута в данных входящего события, содержащее координатную часть X (например, горизонталь или долготу) местоположения точки. Это свойство показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если выбрано значение Нет |
Поле геометрии Y (Условия) | Поле атрибута в данных входящего события, содержащее координатную часть Y (например, вертикаль или широту) местоположения точки. Это свойство показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если выбрано значение Нет |
Поле геометрии Z (Условия) | Имя поля в данных входящего события, содержащего координатную часть Z (например, глубина или высота) местоположения точки. Если оставить пустым, значение Z будет опущено и будет построена 2D геометрия точки. Это свойство показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если выбрано значение Нет |
Ожидаемый формат данных | Шаблон, используемый для соответствия ожидаемым строковым представлениям значений даты / времени и преобразования их в значения даты Java. Формат шаблона следует нормам для класса Java SimpleDateFormat. У этого свойства нет значения по умолчанию. GeoEvent Server предпочитает, чтобы значения даты/времени выражались в стандарте ISO 8601, но несколько строковых представлений значений даты/времени, обычно распознаваемых как значения даты, могут быть преобразованы в значения даты Java без указания Ожидаемого формата даты. В том числе:
Если полученные значения даты/времени выражены с помощью формата, отличного от одного из пяти, показанных выше, необходимо указать Ожидаемый формат даты, чтобы GeoEvent Server знал, как следует адаптировать значения даты/времени. |
Язык форматирования чисел | Идентификатор локали (ID), используемый для чувствительного к локали поведения при форматировании чисел из значений данных. По умолчанию используется локаль компьютера, на котором установлен GeoEvent Server. Дополнительные сведения см. в разделе Поддерживаемые локали Java. |
Включить вложенные папки | Указывает, будут ли обрабатываться вложенные папки во Входной папке хранилища данных и Входной директории (дополнительно). По умолчанию – Да, однако, организация данных с разными схемами в разные папки и изменение этого свойства на Нет, чтобы отключить рекурсивный поиск, позволяет упростить конфигурацию.
|
Удалить файлы после обработки | Указывает, будут ли файлы в зарегистрированной системной папке удалены после обработки их содержимого. Обратите внимание, что даже если содержимое файла не может быть адаптировано, записи событий не создаются, и не происходит обработка событий в реальном времени, входящий транспорт все равно удалит файл, содержимое которого было успешно прочитано. Значение по умолчанию – Нет.
Файлы, не удаленные, будут перечитаны с начала файла, если свойства входного коннектора изменены и сохранены или если поток входных данных остановлен и перезапущен, например, если перезапущен сервис ArcGIS GeoEvent Server. |