Spark - 结构化流式 Kafka（动态反序列化）

Question

假设我们在流中订阅了2个topic，一个topic是avro的，一个topic是string的，是否可以根据topic名动态反序列化？

Answer 1

理论上是的

Deserializer 接口接受主题名称作为参数，您可以对其进行检查。

但是，在 Spark 中访问它需要您自己的 UDF 包装器。

---

最终，我认为最好为每个不同格式的主题定义两个流数据帧，或者简单地生成 Avro 编码的字符串。