CDH大数据集群问题问题分析与解决方案

问题描述:Hive提交任务,一直卡在Reduce阶段,进度缓慢。

日志分析:NodeManager节点产生的usercache所在分区空间不足,导致进程异常退出。

解决方案:1)调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/yarn/nm;2)优化SQL语句。

重新部署客户端配置,重启后,执行速度提升,问题得以解决。

作业中止命令:hadoop job -kill  <jobid>

相关文章:

  • 2021-08-17
  • 2021-08-19
  • 2021-08-17
  • 2022-01-14
  • 2021-10-25
猜你喜欢
  • 2022-01-03
  • 2021-10-03
  • 2021-12-01
  • 2021-06-24
  • 2021-06-10
  • 2021-09-02
  • 2021-11-10
相关资源
相似解决方案