Skip To Content

Записать GeoJSON в Kafka Topic

Выходной оператор подключения Записать GeoJSON в Kafka Topic может использоваться для записи данных событий, адаптированных и отформатированных как GeoJSON, в Apache Kafka® Topic. Более подробно о начале работы с Apache Kafka® см. в разделе Введение в Apache Kafka. Дополнительную информацию и примеры записей данных в формате GeoJSON см. в Спецификация GeoJSON.

Примечания по использованию

  • Используйте этот выходной оператор подключения для записи данных, адаптированных и отформатированных как GeoJSON, в Kafka Topic. Этот входной оператор подключения является производителем для Kafka.
  • Этот выходной оператор подключения связывает исходящий адаптер GeoJSON с исходящим транспортом Kafka.
  • Как и объект JSON, GeoJSON по сути является одним из вариантов JSON. Для обработки этих разных специальных форматов используются разные адаптеры GeoEvent Server.
  • Этот выходной оператор подключения поддерживает запись GeoJSON в Kafka Topic в формате либо исходный GeoJSON, либо Feature GeoJSON. Исходный GeoJSON соответствует стандарту GeoJSON, а Feature GeoJSON является пользовательским форматом, который используется для хранилища пространственно-временных больших данных ArcGIS.
  • Выходящий транспорт Kafka поддерживает протоколы безопасности TLS 1.2 и SASL для аутентификации с помощью кластера или брокера Kafka.

Параметры

ПараметрОписание

Имя

Описательное имя входного коннектора, используемое для справки в GeoEvent Manager.

Заменить пользовательскими свойствами Kafka

Укажите, следует ли переопределять свойства клиента Kafka GeoEvent Server по умолчанию. По умолчанию Нет.

  • Да – Свойства клиента Kafka по умолчанию, используемые транспортом, будут переопределены. Необходимо указать папку, зарегистрированную на GeoEvent Server и содержащую файл Kafka .properties с правильным форматированием для допустимой конфигурации Kafka. См. Конфигурация Apache Kafka для получения списка поддерживаемых конфигураций и ожидаемого форматирования для указанного файла .properties.
  • Нет – Свойства клиента Kafka по умолчанию, используемые транспортом, не будут переопределены. Серверы Kafka Bootstrap и ID группы потребителей должны быть указаны.

Серверы Kafka Bootstrap

(Условия)

Список пар hostname:port, используемый для установки исходного подключения к кластеру Kafka. Пары hostname:port должны быть разделены запятыми, например:

  • broker0.example.com:9092,broker1.example.com:9092,broker2.example.com:9092

Зарегистрированная папка для файла свойств Kafka

(Условия)

Папка, зарегистрированная в GeoEvent Server, которая содержит файл Kafka .properties. Файл Kafka .properties определяет пользовательские свойства Kafka, когда для параметра Заменить пользовательскими свойствами Kafka установлено Да. Убедитесь, что папка, зарегистрированная на GeoEvent Server, является полным путем к местоположению файла Kafka .properties.

Имя файла свойств Kafka

(Условия)

Имя того файла Kafka .properties, содержащего пользовательские свойства Kafka для конфигурации клиента. Имя файла должно быть указано без имени расширения .properties.

  • Если имя пользовательского файла Kafka .properties sample.properties, укажите это свойство как sample

Название темы

Имя темы Kafka, в которую публикуются данные.

  • topic1

Примечание:

Исходящий транспорт Kafka не поддерживает публикацию данных в нескольких темах.

Включить Доставку только один раз

Указывает, следует ли при написании на тему соблюдать семантику exactly-once. Для получения дополнительной информации см. Семантика Exactly-once Semantics. По умолчанию задано Да.

  • Да – Kafka будет соблюдать соблюдать семантику exactly-once.
  • Нет – Kafka не будет соблюдать соблюдать семантику exactly-once.

Примечание:

Убедитесь, что кластер Kafka поддерживает семантику exactly-once, прежде чем продолжить работу со свойством Включить Доставку только один раз. Включение семантики exactly-once влияет на уровень производительности. Дополнительную информацию см. в разделе Конфигурации производителя, в отношении подтверждений.

Форматированный JSON

Указывает, будет ли строка объекта JSON иметь отступ с пробелом и форматированием новой строки. Этот JSON, иногда называемый PJSON, обычно подходит только при записи в системный файл, содержимое которого может быть просмотрено в текстовом редакторе. По умолчанию Нет.

  • Да – объект JSON будет отформатирован (подготовлен).
  • Нет – объект JSON не будет отформатирован.

Тип конвертера

Задает формат GeoJSON адаптированных записей событий. Доступные форматы GeoJSON включают Исходный GeoJson и Объектный GeoJSON. Формат по умолчанию: Исходный GeoJSON.

  • Исходный GeoJSON – Исходящие записи событий будут адаптированы с использованием стандартной спецификации GeoJSON. Дополнительную информацию о стандартном формате GeoJSON см. в разделе Спецификация GeoJSON.
  • Объектный GeoJSON – Исходящие записи событий будут адаптированы с использованием пользовательского формата GeoJSON; формат, используемый для добавления данных в хранилище больших пространственно-временных данных.

Игнорировать зарезервированные имена полей

Указывает, следует ли игнорировать зарезервированные имена полей при адаптации обработанных данных событий как GeoJSON для Kafka. Зарезервированные имена полей включают "ObjectId", "GlobalId" или "UniqueId" (с учетом регистра). По умолчанию Нет.

  • Да – Любые зарезервированные имена полей будут проигнорированы при адаптации обработанных данных событий в качестве GeoJSON. Зарезервированные имена полей и соответствующие им значения будут удалены из схемы.
  • Нет – Зарезервированные имена полей не будут проигнорированы при адаптации обработанных данных событий в качестве GeoJSON. Все существующие зарезервированные имена полей и соответствующие им значения будут сохранены как часть схемы данных.

Необходима аутентификация

Указывает, требуется ли аутентификация при подключению к кластеру Kafka, или брокеру Kafka. По умолчанию Нет.

  • Да – Требуется аутентификация при подключению к кластеру или брокеру Kafka.
  • Нет – Не требуется аутентификация при подключению к кластеру или брокеру Kafka.

Аутентификация с использованием

(Условия)

Указывает протокол безопасности, используемый для защиты кластера Kafka. Доступные протоколы безопасности включают TLS 1.2 и SASL.

  • TLS 1.2 – Протокол безопасности, используемый кластером Kafka – это TLS 1.2. Убедитесь, что файл PKI кластера Kafka (сертификат x509) импортирован в доверенное хранилище ArcGIS Server, с которым настроен ArcGIS GeoEvent Server. Дополнительные сведения см. в разделе Импорт сертификата в ArcGIS Server в руководстве Настройка ArcGIS Server с существующим сетрификатом центра сертификации (CA) для получения конкретных инструкций по импорту сертификатов.
  • SASL 1.2 – Протокол безопасности, используемый кластером Kafka – это SASL. Поддерживаются только SASL SSL и Kerberos.

Примечание:

Используя Kerberos, убедитесь, что у учетной записи операционной системы, от имени которой запущен ArcGIS GeoEvent Server , есть права на чтение файла keyTab в настройке/конфигурации Kerberos.

Свойство показывается, когда для свойства Требуется аутентификация задано Да.

Зарегистрированная папка для файла учетных данных

(Условия)

Папка, зарегистрированная в GeoEvent Server, которая содержит файл PKI кластера Kafka (сертификат x509). Убедитесь, что папка, зарегистрированная на GeoEvent Server, является полным путем к местоположению сертификата кластера Kafka.

Файл конфигурации учетных данных

(Условия)

Имя файла PKI кластера Kafka (сертификат x509). Сертификат и его ключ должны храниться в формате PKCS#12, который выглядит как файл с расширением .p12 или .pfx. Укажите имя файла в дополнении к расширению.

  • my_kafka_certificate.pfx
  • Функция my_other_kafka_certificate.p12

Примечание:

Для этого параметра поддерживаются только имя файла сертификата и расширение. Относительные пути к сертификату не должны указываться в этом параметре. Зарегистрируйте полный путь к файлу сертификата с помощью параметра Зарегистрированная папка для файла учетных данных.

Свойство показывается, когда для свойства Требуется аутентификация задано Да. Это свойство применимо только к протоколу TLS 1.2.

Пароль Keystore

(Условия)

Пароль для файлв PKI кластера Kafka (сертификат x509). Также известный как частный ключ сертификата.

Тип аутентификации SASL

(Условия)

Указывает тип механизма аутентификации SASL, поддерживаемого кластером Kafka. Доступные типы аутентификации SASL включают SASL GSSAPI (Kerberos) и SASL PLAIN.

  • SASL/GSSAPI (Kerberos) – Кластер Kafka использует аутентификацию SASL/GSSAPI Kerberos.
  • SASL/PLAIN – Кластер Kafka использует аутентификацию SASL/PLAIN.

Участник Kerberos

(Условия)

Участник Kerberos для определенного пользователя. Пример:

  • GeoEventKafkaClient1@example.com.

Использовать Key Tab

(Условия)

Указывает, следует ли использовать keytab в настройках Kerberos. По умолчанию – Да.

  • Да – keytab будет использоваться в настройках Kerberos.
  • Нет – keytab не будет использоваться в настройках Kerberos.

Хранить ключ

(Условия)

Указывает, следует ли хранить ключ в настройках Kerberos. По умолчанию – Да.

  • Да – Ключ будет храниться в настройках Kerberos.
  • Нет – Ключ не будет храниться в настройках Kerberos.

Имя пользователя

(Условия)

Указывает Имя пользователя, используемое для аутентификации в кластере Kafka. Также известен как строка подключения с определенными провайдерами облачных ресурсов. Обратитесь к документации выбранного провайдера облачных услуг для получения правильного синтаксиса.

Пароль

(Условия)

Указывает пароль, используемый для аутентификации в кластере Kafka. Обратитесь к документации выбранного провайдера облачных услуг для получения правильного синтаксиса.

Советы и ограничения

  • Выходной оператор подключения Записать GeoJSON в Kafka Topic является производителем для Kafka. К этому выходному оператору подключения применяются те же рекомендации, что и к любому другому внешнему производителю для Kafka.