apache flink 与 Kafka：InvalidTypesException

Question

我有以下代码：

Properties properties = new Properties();
properties.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, MyCustomClassDeserializer.class.getName());

FlinkKafkaConsumer<MyCustomClass> kafkaConsumer = new FlinkKafkaConsumer(
                    "test-kafka-topic",
                    new SimpleStringSchema(),
                    properties);

final StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<MyCustomClass> kafkaInputStream = streamEnv.addSource(kafkaConsumer);

DataStream<String> stringStream = kafkaInputStream
                    .map(new MapFunction<MyCustomClass,String>() {
                        @Override
                        public String map(MyCustomClass message) {
                            logger.info("--- Received message : " + message.toString());
                            return message.toString();
                        }
                    });

streamEnv.execute("Published messages");

MyCustomClassDeserializer 用于将字节数组转换为 java 对象。

当我在本地运行这个程序时，我得到了错误：

原因：org.apache.flink.api.common.functions.InvalidTypesException: Input mismatch: Basic type expected.

我得到这个代码行：

.map(new MapFunction<MyCustomClass,String>() {

不知道为什么我会得到这个？

Answer 1

所以，你有一个返回 POJO 的反序列化器，但你告诉 Flink 它应该使用 SimpleStringSchema 将记录从 byte[] 反序列化到 String。 现在看到问题了吗？ :)

我认为您通常不应该使用FlinkKafkaConsumer 中的自定义 Kafka 反序列化器。相反，您应该瞄准的是创建一个从 Flink 扩展 DeserializationSchema 的自定义类。它在类型安全性和可测试性方面应该要好得多。