Skip To Content

将文本写入 Kafka Topic

“将文本写入 Kafka Topic”输出连接器可用于将已改编并格式化为分隔文本的事件数据写入 Apache Kafka® Topic。有关 Apache Kafka® 入门知识的详细信息,请参阅 Apache Kafka 简介

用法说明

  • 使用此输出连接器将已改编并格式化为分隔文本的数据写入 Kafka Topic。此输出连接器是 Kafka 生产者。
  • 此输出连接器可将文本出站适配器与 Kafka 出站传输进行配对。
  • 在写入 Kafka 之前,将事件记录格式化为分隔文本需要消息分隔符属性分隔符消息分隔符可指示用于标识数据记录结尾的字符;默认为 \n(换行)。属性分隔符可指定用于在单行文本中将一个属性值与另一个属性值分开的字符;默认为 ,(逗号)。指定为字符或 Unicode 值的任何普通的 ASCII 字符都可以用作消息或属性分隔符。
  • Kafka 入站传输支持 TLS 1.2 和 SASL 安全协议,其使用 Kafka 集群或 broker 进行身份验证。

参数

参数说明

名称

用于在 GeoEvent Manager 中引用的输入连接器的描述性名称。

使用自定义 Kafka 属性覆盖

指定是否覆盖默认 GeoEvent Server Kafka 客户端属性。默认为

  • - 将覆盖传输公开的默认 Kafka 客户端属性。对于有效 Kafka 配置,使用 GeoEvent Server 注册的文件夹必须指定为包含正确格式的 Kafka .properties 文件。有关支持的配置和指定 .properties 文件的预期格式的列表,请参阅 Apache Kafka 配置
  • - 不会覆盖传输公开的默认 Kafka 客户端属性。必须指定 Kafka 引导服务器用户群组 ID

Kafka Bootstrap Servers

(条件分析)

用于建立与 Kafka 集群初始连接的 hostname:port 对列表。Hostname:port 对必须使用逗号分隔,例如:

  • broker0.example.com:9092,broker1.example.com:9092,broker2.example.com:9092

Kafka 属性文件的已注册文件夹

(条件分析)

使用 GeoEvent Server 注册的文件夹,其中包含 Kafka .properties 文件。当使用自定义 Kafka 属性覆盖被设置为时,Kafka .properties 文件将定义自定义 Kafka 属性 确保使用 GeoEvent Server 注册的文件夹为 Kafka .properties 文件所在位置的完整路径。

Kafka 属性文件名称

(条件分析)

Kafka .properties 文件的名称,该文件包含用于客户端配置的自定义 Kafka 属性。文件名称应指定为不带 .properties 扩展名。

  • 如果自定义 Kafka .properties 文件的名称是 sample.properties,则将此属性指定为样本

主题名称

用于发布数据的 Kafka 主题的名称。

  • topic1

注:

Kafka 出站传输不支持将数据发布到多个主题。

启用一次精准传递

指定在写入主题时是否应遵循一次精准传递语义。有关详细信息,请参阅一次精准传递语义。默认设置为

  • - Kafka 将遵循一次精准传递语义。
  • - Kafka 不会遵循一次精准传递语义。

注:

在继续操作启用一次精准传递属性之前,请确保 Kafka 集群仅支持一次精准传递语义。启用一次精准传递语义会导致性能损失。有关详细信息,请参阅与鸣谢相关的生产者配置

事件分隔符

单个文字字符,表示事件数据记录的结束。Unicode 值可用于指定字符分隔符。该字符不应用引号括起。换行符 (\n) 是常见的记录结束分隔符。

字段分隔符

用于将消息中的一个属性值与另一个属性值分开的单个文字字符。Unicode 值可用于指定字符分隔符。该字符不应用引号括起。逗号 (,) 是常见的属性分隔符。

输出日期格式

指定写入文件的日期/时间值的格式。可用的输出日期格式为 ISO 8601 格式自定义格式。默认为 ISO 8601格式

  • ISO 8601格式 - 处理的日期/时间值将按照 ISO 8601 格式构建 (yyyy-MM-dd'T'HH:mm:ss.SSSXXX)。
  • 自定义格式- 将使用 Java SimpleDateFormat 类约定按照自定义格式构建已处理的日期/时间值。

自定义日期格式

写入文件的日期/时间值的自定义格式。应使用 Java SimpleDateFormat 类约定构造自定义日期格式。有关详细信息,请参阅 SimpleDateFormat

数字格式化语言

从数据值格式化数字时用于区分区域设置敏感行为的区域设置标识符 (ID)。默认值为安装 GeoEvent Server 的计算机的区域设置。有关详细信息,请参阅 Java 支持的区域设置

需要身份验证

指示连接到 Kafka 集群(或 Kafka broker)是否需要身份验证。默认为

  • - Kafka 集群或 broker 需要身份验证。
  • - 连接到 Kafka 集群或 broker 不需要身份验证。

身份验证方式

(条件分析)

指定用于保护 Kafka 集群的安全协议。可用安全协议包括 TLS 1.2 和 SASL。

  • TLS 1.2 - Kafka 集群使用的安全协议是 TLS 1.2。确保将 Kafka 群集的 PKI 文件(x509 证书)导入到 ArcGIS Server 的信任存储中,此信任存储将用于配置 ArcGIS GeoEvent Server。有关导入证书指定说明的详细信息,请参阅使用现有的 CA 签名证书配置 ArcGIS Server 中的将证书导入 ArcGIS Server 部分。
  • SASL - Kafka 集群使用的安全协议是 SASL。仅支持 SASL SSL 和 Kerberos。

注:

在使用 Kerberos 时,请确保运行 ArcGIS GeoEvent Server 的操作系统用户帐户具有 Kerberos 设置/配置中密钥表文件的读取权限。

属性在需要身份验证设置为时显示。

凭据文件的已注册文件夹

(条件分析)

使用 GeoEvent Server 注册的文件夹中包含 Kafka 集群的 PKI 文件(x509 证书)。确保使用 GeoEvent Server 注册的文件夹为 Kafka 集群证书所在位置的完整路径。

凭据配置文件

(条件分析)

Kafka 集群 PKI 文件的名称(x509 证书)。必须以 PKCS#12 格式存储此证书及其关联私钥,表示为具有 .p12 或 .pfx 扩展名的文件。请输入文件名和扩展名。

  • my_kafka_certificate.pfx
  • my_other_kafka_certificate.p12

注:

此参数仅支持证书文件名称和扩展名。证书的相对路径不应在此参数中指定。使用凭据文件的已注册文件夹参数注册证书文件的完整路径。

属性在需要身份验证设置为时显示。该属性仅适用于 TLS 1.2。

Keystore 密码

(条件分析)

Kafka 集群 PKI 文件的密码(x509 证书)。也称为证书的私钥。

SASL 身份验证类型

(条件分析)

指定 Kafka 集群支持的 SASL 身份验证机制类型。可用 SASL 身份验证类型包括 SASL GSSAPI (Kerberos) 和 SASL PLAIN。

  • SASL/GSSAPI (Kerberos) - Kafka 集群将使用 SASL/GSSAPI Kerberos 身份验证。
  • SASL/PLAIN - Kafka 集群将使用 SASL/PLAIN 身份验证。

Kerberos 主体

(条件分析)

特定用户的 kerberos 主体。例如:

  • GeoEventKafkaClient1@example.com.

使用密钥表

(条件分析)

指示是否在 Kerberos 设置中使用密钥表。默认为

  • - 将在 Kerberos 设置中使用密钥表。
  • - 不会在 Kerberos 设置中使用密钥表。

存储密钥

(条件分析)

指示是否在 Kerberos 设置中存储密钥。默认为

  • - 密钥将存储在 Kerberos 设置中。
  • - 密钥不会存储在 Kerberos 设置中。

用户名

(条件分析)

指定用于使用 Kafka 集群进行身份验证的用户名。也称为与某些云提供商的连接字符串。有关正确的语法,请参阅所选云提供商的文档。

密码

(条件分析)

指定用于使用 Kafka 集群进行身份验证的密码。有关正确的语法,请参阅所选云提供商的文档。

注意事项和限制

  • 将文本写入 Kafka Topic 输出连接器是 Kafka 生产者。对此输出连接器应用与 Kafka 任何其他外部生产者相同的注意事项。