“将文本写入 Kafka Topic”输出连接器可用于将已改编并格式化为分隔文本的事件数据写入 Apache Kafka Topic。 有关 Apache Kafka 入门知识的详细信息,请参阅 Apache Kafka 简介。
用法说明
- 使用此输出连接器将已改编并格式化为分隔文本的数据写入 Kafka Topic。 此输出连接器是 Kafka 生产者。
- 此输出连接器可将文本出站适配器与 Kafka 出站传输进行配对。
- 在写入 Kafka 之前,将事件记录格式化为分隔文本需要消息分隔符和属性分隔符。 消息分隔符可指示用于标识数据记录结尾的字符;默认为 \n(换行)。 属性分隔符可指定用于在单行文本中将一个属性值与另一个属性值分开的字符;默认为 ,(逗号)。 指定为字符或 Unicode 值的任何普通的 ASCII 字符都可以用作消息或属性分隔符。
- Kafka 入站传输支持 TLS 1.2 和 SASL 安全协议,其使用 Kafka 集群或 broker 进行身份验证。
参数
参数 | 描述 |
---|---|
名称 | 用于在 GeoEvent Manager 中引用的输入连接器的描述性名称。 |
使用自定义 Kafka 属性覆盖 | 指定是否覆盖默认 GeoEvent Server Kafka 客户端属性。 默认为否。
|
Kafka Bootstrap Servers (条件分析) | 用于建立与 Kafka 集群初始连接的 hostname:port 对列表。 Hostname:port 对必须使用逗号分隔,例如:
|
Kafka 属性文件的已注册文件夹 (条件分析) | 使用 GeoEvent Server 注册的文件夹,其中包含 Kafka .properties 文件。 当使用自定义 Kafka 属性覆盖被设置为是时,Kafka .properties 文件将定义自定义 Kafka 属性。 确保使用 GeoEvent Server 注册的文件夹为 Kafka .properties 文件所在位置的完整路径。 |
Kafka 属性文件名称 (条件分析) | Kafka .properties 文件的名称,该文件包含用于客户端配置的自定义 Kafka 属性。 文件名称应指定为不带 .properties 扩展名。
|
主题名称 | 用于发布数据的 Kafka 主题的名称。
注:Kafka 出站传输不支持将数据发布到多个主题。 |
启用一次精准传递 | 指定在写入主题时是否应遵循一次精准传递语义。 有关详细信息,请参阅一次精准传递语义。 默认设置为是。
注:在继续操作启用一次精准传递属性之前,请确保 Kafka 集群仅支持一次精准传递语义。 启用一次精准传递语义会导致性能损失。 有关详细信息,请参阅与鸣谢相关的生产者配置。 |
事件分隔符 | 单个文字字符,表示事件数据记录的结束。 Unicode 值可用于指定字符分隔符。 该字符不应用引号括起。 换行符 (\n) 是常见的记录结束分隔符。 |
字段分隔符 | 用于将消息中的一个属性值与另一个属性值分开的单个文字字符。 Unicode 值可用于指定字符分隔符。 该字符不应用引号括起。 逗号 (,) 是常见的属性分隔符。 |
输出日期格式 | 指定写入文件的日期/时间值的格式。 可用的输出日期格式为 ISO 8601 格式或自定义格式。 默认为 ISO 8601格式。
|
自定义日期格式 | 写入文件的日期/时间值的自定义格式。 应使用 Java SimpleDateFormat 类约定构造自定义日期格式。 有关详细信息,请参阅 SimpleDateFormat。 |
数字格式化语言 | 从数据值格式化数字时用于区分区域设置敏感行为的区域设置标识符 (ID)。 默认值为安装 GeoEvent Server 的计算机的区域设置。 有关详细信息,请参阅 Java 支持的区域设置。 |
需要身份验证 | 指示连接到 Kafka 集群(或 Kafka broker)是否需要身份验证。 默认为否。
|
身份验证方式 (条件分析) | 指定用于保护 Kafka 集群的安全协议。 可用安全协议包括 TLS 1.2 和 SASL。
注:在使用 Kerberos 时,请确保运行 ArcGIS GeoEvent Server 的操作系统用户帐户具有 Kerberos 设置/配置中密钥表文件的读取权限。 属性在需要身份验证设置为是时显示。 |
凭据文件的已注册文件夹 (条件分析) | 使用 GeoEvent Server 注册的文件夹中包含 Kafka 集群的 PKI 文件(x509 证书)。 确保使用 GeoEvent Server 注册的文件夹为 Kafka 集群证书所在位置的完整路径。 |
凭据配置文件 (条件分析) | Kafka 集群 PKI 文件的名称(x509 证书)。 必须以 PKCS#12 格式存储此证书及其关联私钥,表示为具有 .p12 或 .pfx 扩展名的文件。 请输入文件名和扩展名。
注:此参数仅支持证书文件名称和扩展名。 证书的相对路径不应在此参数中指定。 使用凭据文件的已注册文件夹参数注册证书文件的完整路径。 属性在需要身份验证设置为是时显示。 该属性仅适用于 TLS 1.2。 |
Keystore 密码 (条件分析) | Kafka 集群 PKI 文件的密码(x509 证书)。 也称为证书的私钥。 |
SASL 身份验证类型 (条件分析) | 指定 Kafka 集群支持的 SASL 身份验证机制类型。 可用 SASL 身份验证类型包括 SASL GSSAPI (Kerberos) 和 SASL PLAIN。
|
Kerberos 主体 (条件分析) | 特定用户的 kerberos 主体。 例如:
|
使用密钥表 (条件分析) | 指示是否在 Kerberos 设置中使用密钥表。 默认为是。
|
存储密钥 (条件分析) | 指示是否在 Kerberos 设置中存储密钥。 默认为是。
|
用户名 (条件分析) | 指定用于使用 Kafka 集群进行身份验证的用户名。 也称为与某些云提供商的连接字符串。 有关正确的语法,请参阅所选云提供商的文档。 |
密码 (条件分析) | 指定用于使用 Kafka 集群进行身份验证的密码。 有关正确的语法,请参阅所选云提供商的文档。 |
注意事项和限制
- 将文本写入 Kafka Topic 输出连接器是 Kafka 生产者。 对此输出连接器应用与 Kafka 任何其他外部生产者相同的注意事项。