JavaPairInputDstream 来自偏移量的流

Question

在使用 spark 直接流式传输时，我正在尝试将偏移量保存到 zookeeper。我看到 JavaInputDstream API 有一个从特定偏移量开始的选项，但我需要它用于 JavaPairInputDstream 有没有我们可以用来获取 JavaPairInputDstream 的解决方法，因为我认为它不是在 API 中可用

JavaInputDStream<String>  messages = KafkaUtils.createDirectStream(jsc, String.class,
                            String.class, StringDecoder.class, StringDecoder.class, String.class, kafkaParams, offsets,(messageAndMetadata) -> messageAndMetadata.message());

但我使用没有此偏移量的 JavaPairInputDstream

Answer 1

我在直接流中进行了转换并映射到键值对。

  final JavaPairDStream<String, String> messages2 =messages.transformToPair(pairRdd -> {

                            pairRdd.mapToPair(label->new Tuple2<>(label,label))};);