zuoql

最近用到spark 接kafka数据落到kudu里,如果用默认spark 参数,会出现一些问题,下面是在生产上调优后的一些参数,供参考

//推测执行
spark.locality.wait=2s
spark.speculation=true
spark.speculation.interval=300s
spark.speculation.quantile=0.9
spark.speculation.multiplier=1.5

//常见配置
spark.executor.memory=4000M
spark.executor.cores=1
spark.executor.instances=12
spark.streaming.concurrentJobs=1

//反压
spark.streaming.backpressure.enable=true
spark.streaming.backpressure.initialRate=30000
spark.streaming.kafka.maxRatePerPartition=1000

分类:

技术点:

相关文章:

  • 2022-01-20
  • 2021-08-20
  • 2021-07-01
  • 2021-12-13
  • 2021-12-13
  • 2021-06-03
猜你喜欢
  • 2021-12-13
  • 2021-12-17
  • 2021-05-27
  • 2021-12-23
  • 2021-05-15
相关资源
相似解决方案