Scala 中的 Kafka 消费者

Question

我正在尝试使用 Scala 编写 Kafka 消费者代码。

我有一个 Kafka 集群（服务器 A），其中一些消息已经发布到主题（测试主题），我正在从另一台服务器（比如 B）使用它，该服务器建立了从服务器 B 到 A 的连接。（我我正在使用 spark-shell 进行编码）。

下面是我试图在服务器 B 中执行的 sn-p，但是在执行代码时出现空指针异常。

import java.util._
import java.util.Properties
import org.apache.kafka.clients.consumer.KafkaConsumer
import org.apache.kafka.clients.consumer.ConsumerConfig
import scala.collection.JavaConverters._
import org.apache.kafka.common.TopicPartition
val  props = new Properties()
props.put("group.id","group-test")
props.put("auto.commit.interval.ms","1000")
props.put("auto.offset.reset","earliest")
props.put("bootstrap.servers", "<kafka server ip>:9092")
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer")
props.put("partition.assignment.strategy","org.apache.kafka.clients.consumer.RangeAssignor")
val consumer = new KafkaConsumer[String, String](props)
consumer.subscribe("test-topic")
 while(true){
   val records=consumer.poll(100)
   println(consumer)
   println(records)
   for (record<-records.asScala){
    println(record)
   }
 }



Error --
org.apache.kafka.clients.consumer.KafkaConsumer@29451e22
null
java.lang.NullPointerException
  at scala.collection.convert.Wrappers$JMapWrapperLike$$anon$2.<init>(Wrappers.scala:275)
  at scala.collection.convert.Wrappers$JMapWrapperLike$class.iterator(Wrappers.scala:274)
  at scala.collection.convert.Wrappers$JMapWrapper.iterator(Wrappers.scala:292)
  at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
  at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
  ... 59 elided

请帮助解决问题。

Answer 1

consumer.poll(100) 返回 null。

在循环之前增加超时并测试记录是否 != null。