如何通过 Spark 结构化流以编程方式在 Kafka 中创建主题答案

【问题标题】：How to programmatically create a Topic in Kafka through spark structured streaming如何通过 Spark 结构化流以编程方式在 Kafka 中创建主题
【发布时间】：2019-11-28 12:24:05
【问题描述】：

我想在我的 Spark 结构化流应用程序中创建多个 kafka 主题运行时。我发现 Java API 中有各种可用的方法。但我找不到 Spark Structured Streaming 的任何内容。请让我知道是否有任何可用的方法或我需要使用 java 库

我的 apache Spark 版本是 2.4.4，Kafka 库依赖是 spark-sql-kafka-0-10_2.12

【问题讨论】：

如果topic不存在，Spark会自动创建
谢谢，我真的不知道
@Ahmed 代理是否需要启用自动创建主题？如果没有，Spark 如何在不设置复制或分区设置的情况下创建主题？
关闭自动创建后，我预计会出现异常。使用安全的 Kafka 集群时，没有适当的凭据也是如此。

标签： apache-spark apache-kafka spark-structured-streaming

【解决方案1】：

AFAIK，Spark 不创建主题。

您可以使用在初始化 SparkSession 之前找到的相同 Java API

spark-sql-kafka 包含 kafka-clients，因此您可以使用 AdminClient 类

How to create a Topic in Kafka through Java

【讨论】：

确实如此。更具体地说，编写部分的是 kafka 数据源。对不起。请不要使用SparkContext（Spark Core）。现在是SparkSession 时间（Spark SQL）。
@Jacek 你能回答我上面的评论吗？