数据由sdf层到dwb层

sdf数据只有259.9M,结果跑了N次都是 

FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

hive Error: Java heap space

到YARN查询节点日志

FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

hive Error: Java heap space

第一意识map内存不足

解决办法:在执行申请了前加上 set mapreduce.map.memory.mb=2048

问题解决

同时回顾下

set mapred.max.split.size 设置分割大小 可增大map个数

set mapreduce.reduce.memory.mb 设置reduce内存大小

相关文章:

  • 2021-10-04
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-12-23
  • 2021-07-01
  • 2021-12-28
  • 2021-08-09
相关资源
相似解决方案