连续处理模式和python udf

Question

Spark 2.4.0 是否支持具有连续处理模式的 Python UDF？

在我的简单代码中，我使用的是 kafka 主题，每行进行一些简单的处理（基本上是在 json 消息中添加一个虚拟字段）并写出到另一个主题。

但是，当我使用连续模式触发时，我在输出主题中看不到任何消息。如果我不使用 python udf，那么它工作正常。

编辑：此bug report（与此帖子无关）报告缺乏支持。

Answer 1

虽然我自己没有试过，但我相信没有。 documentation 列出了支持的操作； udf 不在列表中。