在SparkStreaming任务中,可以使用DirectKafkaInputDStream中的messageHandler功能对接受到的kafka数据做下预处理,接口声明如下图:

SparkStreaming使用messageHandler预处理Kafka数据

最近就收到一个需求,很简单:如果kafka中的原数据类似于【a,b,1:2:3,d】,但想要将数据的[1:2:3]字段拆开分别跟其他字段组成一个字符串,如:
【a,b,1,d】
【a,b,2,d】
【a,b,3,d】
这时就可以使用messageHandler对原数据做处理,实现主要代码如下:
SparkStreaming使用messageHandler预处理Kafka数据

相关文章:

  • 2021-12-12
  • 2022-01-22
  • 2022-12-23
  • 2021-08-02
  • 2021-12-30
  • 2021-05-05
  • 2022-12-23
  • 2021-11-23
猜你喜欢
  • 2021-09-29
  • 2021-05-19
  • 2022-12-23
  • 2021-10-20
  • 2021-08-20
  • 2022-02-07
  • 2021-12-29
相关资源
相似解决方案