我在 Java 中使用过 Kafka Streams。我在 python 中找不到类似的 API。 Apache Kafka 是否支持 python 中的流处理？
【问题讨论】：
标签： python apache-kafka apache-kafka-streams kafka-python stream-processing
Kafka Streams 仅作为 JVM 库提供，但它至少有两个 Python 实现
理论上，您可以尝试使用 Jython 或 Py4j 来使用 JVM 实现，但可能需要比必要的更多工作。
除了这些选项之外，您还可以尝试 Apache Beam、Flink 或 Spark，但它们都需要外部集群调度程序才能横向扩展（并且还需要安装 Java）。
如果您对 HTTP 方法没问题，那么运行 KSQLDB 实例（同样，该服务器需要 Java）并使用内置 SQL 函数从 Python 调用其 REST 接口可以工作。但是，在那里构建自己的函数需要编写 Java 代码，我上次检查过。
如果这些选项都不合适，那么您就只能使用基本的消费者/生产者方法。
【讨论】：
如果您使用的是 Apache Spark，则可以将其用作 生产者 和 消费者。无需依赖 Faust 等第三部分库，但您将需要 Spark 集群管理器（独立、YARN 或 Kubernetes 来扩展它）
要在 Spark 中使用 Kafka 数据流，请使用 Structured Streaming + Kafka Integration Guide。
请记住，在使用 spark-submit 时，您必须附加 spark-sql-kafka 包：
spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 StructuredStreaming.py
此解决方案已通过 Spark 3.0.1 和 Kafka 2.7.0 和 PySpark 进行测试。
This 资源也很有用。
【讨论】：