火花流 if(!rdd.partitions.isEmpty) 不工作

Question

我正在尝试从 kafka 服务器创建一个 dStream，然后对该流进行一些转换。如果流为空（if(!rdd.partitions.isEmpty)），我已经包含了一个捕获；但是，即使没有事件发布到 kafka 主题，也永远不会到达 else 语句。

val stream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics)

stream.foreachRDD { rdd =>
    if(!rdd.partitions.isEmpty) {

        val message = rdd.map((x$2) => x$2._2).collect().toList.map(parser)

        val val = message(0)

    } else println("empty stream...")

    ssc.start() 
    ssc.awaitTermination()

}

在使用KafkaUtils.createDirectStream 而不是createStream 时，我应该使用替代语句来检查流是否为空？

Answer 1

使用RDD.isEmpty 而不是RDD.partitions.isEmpty，它会检查底层分区是否真的有元素：

stream.foreachRDD { rdd =>
  if(!rdd.isEmpty) {
    // Stuff
  }
}

RDD.partitions.isEmpty 不起作用的原因是RDD 内部存在一个分区，但该分区本身是空的。但从partitions 来看，Array[Partition] 并不是空的。