将 XML 数据发送到 Kafka 主题的最佳方式是什么？答案

【问题标题】：Whats the best way to send XML data to Kafka topic?将 XML 数据发送到 Kafka 主题的最佳方式是什么？
【发布时间】：2020-09-28 17:49:16
【问题描述】：

我正在尝试使用Kafka 0.9.0 version Java API 向Kafka topic 发送XML data，因为从0.9.0 version 他们建议使用Java API 而不是Scala API 以获得更好的性能。

http://kafka.apache.org/090/documentation.html#producerapi

我的 XML 文件大约有 5 MB data，我可以使用什么 XML API 来读取 XML 文件并转换为字符串，然后将该字符串发送到 Kafka 主题。

或者我可以将该 XML 转换为 JSON 数据并将其发送到 Kafka 吗？我还应该考虑将我的 XML 数据拆分为多个少量数据并发送到 Kafka 主题吗？

【问题讨论】：

那么，您的问题是“如何将文件读入字符串”？该文件的格式并不重要
这听起来像是一个会根据意见而不是事实给出答案的问题。能改一下吗？
@cricket_007 ：我的问题是针对 Kafka 的，我如何有效地处理 XML 数据，而不仅仅是将 xml 转换为字符串或将 xml 转换为 json ..

标签： java xml apache-kafka kafka-producer-api

【解决方案1】：

读/写 XML 的 API 取决于程序员/环境。此外，除了简单的键/值模型之外，Apache Kafka 不强制执行任何特定的事件数据格式。它同样适用于 XML、JSON、Avro 或任何其他数据格式。建议使用任何格式，无论是 XML、JSON，只要它应该以一致的方式使用。如果您使用 Kafka 开始一个新项目，在选择和使用正确的序列化格式等之前，需要考虑性能、易用性、编程语言支持等。Avro 是流数据最成功的格式之一。

【讨论】：