Skip To Content

Подписаться на Kafka Topic for Text

Входной коннектор Подписаться на Kafka Topic for Text может использоваться для извлечения и адаптации записей данных событий, отформатированных как текст с разделителями, с Apache Kafka® Topic. Разделителем текста обычно является запятая, поэтому данный тип текстовых данных иногда называют файлом значений с разделителями-запятыми, но ArcGIS GeoEvent Server может использовать для разделения значений атрибутов данных любой обычный символ ASCII. Для получения информации о работе с Apache Kafka® см. раздел Об Apache Kafka.

Примечания по использованию

  • Используйте этот входной коннектор для получения данных форматированного теста или текста с разделителями с Kafka Topic. Этот входной коннектор - потребитель Kafka.
  • Этот входной коннектор связывает входной адаптер текста с входным транспортом Kafka.
  • Разделенный текст не обязательно должен содержать данные, представляющие геометрию. Поэтому этот входной коннектор может использоваться для получения и обработки непространственных данных от Kafka.
  • Адаптер поддерживает возможность построения точечной геометрии по атрибутивных значениям X, Y и Z.
  • Для обработки текста с разделителями от Kafka необходимы Разделитель сообщений и Разделитель атрибутов. Разделитель сообщений указывает символ, определяющий конец записи данных. По умолчанию используется \n (новая строка). Разделитель атрибутов задает символ, используемый для отделения одного значения атрибута от другого в одной строке текста. По умолчанию используется , (запятая). Любой стандартный ASCII-символ, заданный как символ или значение Юникод, может использоваться в качестве разделителя сообщений или атрибутов.
  • Входной транспорт Kafka поддерживает протоколы безопасности TLS 1.2 и SASL для аутентификации с кластером или брокером Kafka.

Параметры

ПараметрОписание

Имя

Описательное имя входного коннектора, используемое для ссылки в GeoEvent Manager.

Заменить пользовательскими свойствами Kafka

Укажите, следует ли переопределять свойства клиента GeoEvent Server Kafka по умолчанию. По умолчанию Нет.

  • Да – свойства клиента Kafka по умолчанию, предоставляемые транспортом, будут переопределены. Необходимо указать папку, зарегистрированную на GeoEvent Server и содержащую файл Kafka .properties с правильным форматированием для допустимой конфигурации Kafka. См. Конфигурация Apache Kafka для получения списка поддерживаемых конфигураций и ожидаемого форматирования для указанного файла .properties.
  • Нет – Свойства клиента Kafka по умолчанию, используемые транспортом, не будут переопределены. Серверы Kafka Bootstrap и ID группы потребителей должны быть указаны.

Серверы Kafka Bootstrap

(Условия)

Список пар hostname:порт, используемых для установки исходного подключения к кластеру Kafka. Пары hostname:port должны быть разделены запятыми, например:

  • broker0.example.com:9092,broker1.example.com:9092,broker2.example.com:9092

Свойство показывается, когда для свойства Заменить пользовательскими свойствами Kafka задано Нет.

Названия тем

Название темы Kafka или список тем Kafka, из которых будут использоваться интересующие данные. Несколько тем должны быть разделены точкой с запятой.

  • topic1
  • topic1;topic2;topic3;topic4

Примечание:

Возможность указать несколько тем Kafka поддерживается в ArcGIS GeoEvent Server 10.8 и более поздних.

Примечание:

Порядок данных из конкретной темы не гарантируется.

Число пользователей

Указывает число пользователей для каждой группы потребителей. Число пользователей по умолчанию установлено на 1.

Примечание:

Число пользователей ограничено количеством разделов в Kafka topic. См. Введение в Apache Kafka для получения дополнительной информации о примерах пользователей.

ID группы потребителей

(Условия)

Необязательная строка, которая однозначно идентифицирует группу потребителей для набора потребителей. Также известен как название группы потребителей.

Если ID группы потребителей не указан, GeoEvent Server будет назначать статические ID группы потребителей, называемые ID geoevent-потребителей. Этот статический ID группы потребителей является общим для всех экземпляров коннекторов Kafka, когда ID группы потребителей остается неуказанным.

Настоятельно рекомендуется указать пользовательский ID группы потребителей. См. Введение в Apache Kafka для получения дополнительной информации о группах потребителей.

Свойство показывается, когда для свойства Заменить пользовательскими свойствами Kafka задано Нет.

Зарегистрированная папка для файла свойств Kafka

(Условия)

Зарегистрированная на GeoEvent Server папка, которая содержит файл Kafka .properties. Файл Kafka .properties определяет пользовательские свойства Kafka, когда для параметра Заменить пользовательскими свойствами Kafka установлено Да. Убедитесь, что папка, зарегистрированная на GeoEvent Server, является полным путем к местоположению файла Kafka .properties.

Свойство показывается, когда для свойства Заменить пользовательскими свойствами Kafka задано Да.

Имя файла свойств Kafka

(Условия)

Имя файла Kafka .properties, содержащего пользовательские свойства Kafka для конфигурации клиента. Имя файла должно быть указано без имени расширения .properties.

  • Если имя пользовательского файла Kafka .properties sample.properties, укажите это свойство как sample

Свойство показывается, когда для свойства Заменить пользовательскими свойствами Kafka задано Да.

Начать с начала

Указывает, будут ли записи взяты из раздела, начинающегося с начального смещения, или из последнего смещения, зафиксированного для потребителя. По умолчанию – Да.

  • Да – Записи будут взяты из раздела, начинающегося с начального смещения.
  • Нет – Записи будут взяты из последнего совершенного смещения.

Примечание:

Дополнительные сведения о смещениях см. в разделе О настройке Apache Kafka.

Разделитель событий

Один буквенный символ, который указывает на конец записи данных событий. Значения Unicode могут применяться для указания разделителя символов. Этот символ не должен заключаться в кавычки. Новая линия (\n) - это наиболее типичный разделитель конца записи.

Разделитель полей

Один буквенный символ, используемый для отделения одного значения атрибута от другого в сообщении. Значения Unicode могут применяться для указания разделителя символов. Этот символ не должен заключаться в кавычки. Обычно таким разделителем является запятая (,).

Создать определение GeoEvent

Указывает, следует ли использовать новое или существующее Определение GeoEvent для данных входящих событий. Определение GeoEvent требуется GeoEvent Server, чтобы понимать поля атрибутов и типы данных входящих событий.

  • Да – новое Определение GeoEvent будет создано на основе схемы первой полученной записи события.
  • Нет – новое Определение GeoEvent не будет создаваться. Выберите существующее Определение GeoEvent, соответствующее схеме данных входящего события.

Имя определения GeoEvent (новое)

(Условия)

Имя, которое присваивается для нового Определения GeoEvent. Если определение GeoEvent с указанным именем уже существует, будет использоваться существующее определение GeoEvent. Первая полученная запись данных будет использоваться для определения ожидаемой схемы последующих записей данных, на основе которой будет создано новое определение GeoEvent.

Это свойство показывается, когда для свойства Создать определение GeoEvent задано значение Да, и скрыто, если выбрано значение Нет

Имя определения GeoEvent (существующее)

(Условия)

Имя существующего определения GeoEvent для использования при адаптации полученных данных для создания данных событий для обработки сервисом GeoEvent.

Это свойство показывается, когда для свойства Создать определение GeoEvent задано значение Нет, и скрыто, если выбрано значение Да

Построить геометрию из полей

Указывает, должен ли входной коннектор создавать геометрию точки, используя значения координат, полученные в качестве атрибутов. По умолчанию Нет.

  • Да – значения из указанных полей атрибутов событий будут использоваться для построения геометрии точек.
  • Нет – геометрия точек не будет строиться. Предполагается, что поле атрибута содержит значение, которое может быть интерпретировано как геометрия или запись события является непространственной (не имеет геометрии).

Поле геометрии X

(Условия)

Поле атрибута в данных входящего события, содержащее координатную часть X (например, горизонталь или долготу) местоположения точки.

Это свойство показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если выбрано значение Нет

Поле геометрии Y

(Условия)

Поле атрибута в данных входящего события, содержащее координатную часть Y (например, вертикаль или широту) местоположения точки.

Это свойство показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если выбрано значение Нет

Поле геометрии Z

(Условия)

Имя поля в данных входящего события, содержащего координатную часть Z (например, глубина или высота) местоположения точки. Если оставить пустым, значение Z будет опущено и будет построена 2D геометрия точки.

Это свойство показывается, когда для Построить геометрию из полей задано значение Да, и скрыто, если выбрано значение Нет

Пространственная привязка по умолчанию

Известный идентификатор (WKID) пространственной привязки, используемый при построении геометрии из значений полей атрибутов, координаты которых не являются значениями широты и долготы для предполагаемой географической системы координат WGS84, или строки геометрии, не включающие пространственную привязку. Также может быть указано известное текстовое значение (WKT) или имя поля атрибута, содержащего WKID или WKT.

Ожидаемый формат данных

Шаблон, используемый для соответствия ожидаемым строковым представлениям значений даты / времени и преобразования их в значения даты Java. Формат шаблона следует нормам для класса Java SimpleDateFormat. У этого свойства нет значения по умолчанию.

GeoEvent Server предпочитает, чтобы значения даты/времени выражались в стандарте ISO 8601, но несколько строковых представлений значений даты/времени, обычно распознаваемых как значения даты, могут быть преобразованы в значения даты Java без указания Ожидаемого формата даты. В том числе:

  • "2019-12-31T23:59:59" – формат стандарта ISO 8601
  • 1577836799000 – дата Java (epoch long integer; UTC)
  • "Tue Dec 31 23:59:59 -0000 2019" – общий строковый формат веб-сервисов
  • "12/31/2019 11:59:59 PM" – общий формат, используемый в США (12 часов)
  • "12/31/2019 23:59:59" – общий формат, используемый в США (24 часа)

Если полученные значения даты/времени выражены с помощью формата, отличного от одного из пяти, показанных выше, необходимо указать Ожидаемый формат даты, чтобы GeoEvent Server знал, как следует адаптировать значения даты/времени.

Язык форматирования чисел

Идентификатор локали (ID), используемый для чувствительного к локали поведения при форматировании чисел из значений данных. По умолчанию используется локаль компьютера, на котором установлен GeoEvent Server. Дополнительные сведения см. в разделе Поддерживаемые локали Java.

Необходима аутентификация

Указывает, требуется ли аутентификация для подключения к кластеру Kafka или брокеру Kafka. По умолчанию Нет.

  • Да – Для подключения к кластеру или брокеру Kafka требуется аутентификация.
  • Нет – Для подключения к кластеру или брокеру Kafka аутентификация не требуется.

Аутентификация с использованием

(Условия)

Указывает протокол безопасности, используемый для защиты кластера Kafka. Доступные протоколы безопасности включают TLS 1.2 и SASL.

  • TLS 1.2 – кластером Kafka используется протокол безопасности TLS 1.2. Убедитесь, что файл PKI кластера Kafka (сертификат x509) импортирован в доверенное хранилище ArcGIS Server, с которым настроен ArcGIS GeoEvent Server. Дополнительные сведения см. в разделе Импорт сертификата в ArcGIS Server в руководстве Настройка ArcGIS Server с существующим сертификатом центра сертификации (CA) для получения конкретных инструкций по импорту сертификатов.
  • SASL – кластер Kafka использует протокол безопасности SASL. Поддерживаются только SASL SSL и Kerberos.

Примечание:

Используя Kerberos, убедитесь, что у учетной записи операционной системы, от имени которой запущен ArcGIS GeoEvent Server, есть права на чтение файла keytab в настройке/конфигурации Kerberos.

Свойство показывается, когда для свойства Требуется аутентификация задано Да.

Зарегистрированная папка для файла учетных данных

(Условия)

Папка, зарегистрированная в GeoEvent Server, которая содержит файл PKI кластера Kafka (сертификат x509). Убедитесь, что папка, зарегистрированная на GeoEvent Server, является полным путем к местоположению сертификата кластера Kafka.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу TLS 1.2.

Файл конфигурации учетных данных

(Условия)

Имя файла PKI кластера Kafka (сертификат x509). Сертификат и его ключ должны храниться в формате PKCS#12, который выглядит как файл с расширением .p12 или .pfx. Укажите имя файла в дополнении к расширению.

  • my_kafka_certificate.pfx
  • Функция my_other_kafka_certificate.p12

Примечание:

Для этого параметра поддерживаются только имя файла сертификата и расширение. Относительные пути к сертификату не должны указываться в этом параметре. Зарегистрируйте полный путь к файлу сертификата с помощью параметра Зарегистрированная папка для файла учетных данных.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу TLS 1.2.

Пароль Keystore

(Условия)

Пароль для файлв PKI кластера Kafka (сертификат x509). Также известный как частный ключ сертификата.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу TLS 1.2.

Тип аутентификации SASL

(Условия)

Определяет тип механизма аутентификации SASL, поддерживаемого кластером Kafka. Доступные типы аутентификации SASL включают SASL GSSAPI (Kerberos) и SASL PLAIN.

  • SASL/GSSAPI (Kerberos) – Кластер Kafka использует аутентификацию SASL/GSSAPI Kerberos.
  • SASL/PLAIN – Кластер Kafka использует аутентификацию SASL/PLAIN.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу SASL.

Участник Kerberos

(Условия)

Участник Kerberos для определенного пользователя. Например:

  • GeoEventKafkaClient1@example.com.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу SASL/GSSAPI (Kerberos).

Использовать Key Tab

(Условия)

Указывает, следует ли использовать keytab в настройках Kerberos. По умолчанию – Да.

  • Да – keytab будет использоваться в настройках Kerberos.
  • Нет – keytab не будет использоваться в настройках Kerberos.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу SASL/GSSAPI (Kerberos).

Хранить ключ

(Условия)

Указывает, следует ли хранить ключ в настройках Kerberos. По умолчанию – Да.

  • Да – Ключ будет храниться в настройках Kerberos.
  • Нет – Ключ не будет храниться в настройках Kerberos.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу SASL/GSSAPI (Kerberos).

Имя пользователя

(Условия)

Указывает имя пользователя, используемое для аутентификации в кластере Kafka. Также известен как строка подключения с определенными провайдерами облачных ресурсов. Обратитесь к документации выбранного провайдера облачных услуг для получения правильного синтаксиса.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу SASL/PLAIN.

Пароль

(Условия)

Указывает пароль, используемый для аутентификации в кластере Kafka. Обратитесь к документации выбранного провайдера облачных услуг для получения правильного синтаксиса.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу SASL/PLAIN.

Советы и ограничения

  • Неправильные работа и оптимизация потребителей приведут к тому, что в некоторых случаях входной коннектор Подписаться на Kafka Topic for Text не получит никаких данных. Количество потребителей в группе ограничено количеством разделов Kafka topic. Если число потребителей в группе превышает количество разделов, доступных на Kafka topic, избыточные потребители не будут потреблять данные. Чтобы этого не допустить, рассмотрите возможность оптимизации числа потребителей для лучшего соответствия числу разделов в Kafka topic, или добавления разных групп потребителей для каждого коннектора. Для получения подробной информации о потребителях и группах потребителей обратитесь к Документации Kafka.
  • Входной коннектор Подписаться на Kafka Topic for Text - клиент-потребитель Kafka. Такие же соображения могут быть применены к этому входному коннектору и потребуются для любого другого клиента-потребителя Kafka. Например, если этот входной коннектор не получает никаких данных из Kafka topic, а является отдельным клиентом Kafka, учитывайте факторы, связанные с наличием двух клиентов-потребителей. Это касается, в том числе, указанного идентификатора группы потребителей, количества разделов, доступных для topic, и числа существующих потребителей. В качестве альтернативы, если входной коннектор остановлен и запущен в быстрой последовательности, учитывайте последствия для Kafka с точки зрения потребителя. Перебалансировка разделов темы Kafka может помешать немедленному воссоединению входного коннектора в качестве потребителя в той же группе.