【发布时间】:2015-04-18 15:55:04
【问题描述】:
我有一个 4 节点 Cassandra 集群,它也是一个 hadoop 集群
当我运行 pig 脚本来选择和计算 Cassandra 表的行时 - 它会创建带有 1 个地图任务的 hadoop 作业 - 完成该作业需要很长时间。
为什么 hadoop 不创建多个地图作业?
【问题讨论】:
-
在这里建议 stackoverflow.com/questions/19575475/… 设置 pig.noSplitCombination = true 将我带到另一个极端 - 有了这个标志,我开始有 769 个地图任务
标签: hadoop cassandra apache-pig