【问题标题】:How to write data in Avro format to Kafka from Flink?如何将 Avro 格式的数据从 Flink 写入 Kafka?
【发布时间】:2019-08-19 14:24:35
【问题描述】:

为了从Kafka 读取Avro 数据,我们有AvroDeserializationSchema。但是写作呢?

【问题讨论】:

    标签: scala apache-kafka apache-flink avro


    【解决方案1】:

    AvroRowSerializationSchema 可用于序列化Rows。如果您需要序列化特定类型,那么我建议您实现自己的架构,因为 Flink 目前不提供任何其他 Avro SerializationSchemas

    【讨论】:

    • 是的,我看到了这个运行时错误:“Caused by: java.lang.ClassCastException: MyType cannot be cast to org.apache.flink.types.Row”,尽管 new AvroRowSerializationSchema(MyType.class) 编译得很好。有没有办法让MyTypeAvroRowSerializationSchema 一起工作?我会考虑我自己的SerializationSchemas 作为最后的手段。我还在学习 Flink,数据类型不是最终的,经常变化。我不想每次更改数据类型时都更新我的SerializationSchemas。我宁愿使用自动处理任何数据类型的通用解决方案。
    • 所以你可以尝试使用JSON字符串来实现灵活的结构修改以用于开发目的。
    猜你喜欢
    • 1970-01-01
    • 2021-01-05
    • 2018-03-19
    • 2020-09-05
    • 2018-06-05
    • 2020-10-04
    • 1970-01-01
    • 2019-11-20
    • 2017-05-06
    相关资源
    最近更新 更多