1.  集群任务队列:

一般有  root.default, root.online, root.offline, root.spark-thiftserver 

Hue提交的任务一般默认在 default队列

如果是紧急任务,可以提交到其他队列,会快很多

方法: 指定队列  set mapreduce.job.queuename = 

 

2. 如何kill yarn任务:

yarn application -kill application_id

 

3. HIVE 基本语义查询

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Add/ReplaceColumns

 

4. union all 优化

-- 开启任务并行执行
set hive.exec.parallel=true;
-- 同一个sql允许并行任务的最大线程数
set hive.exec.parallel.thread.number=8;

加在sql前面,适合union all多的情况,并行执行

 

相关文章:

  • 2021-08-23
  • 2022-03-09
  • 2021-10-06
猜你喜欢
  • 2021-08-13
  • 2021-12-31
  • 2021-08-17
  • 2021-05-20
  • 2022-12-23
  • 2021-09-13
  • 2021-07-04
相关资源
相似解决方案