【发布时间】：2018-02-08 06:13:18
【问题描述】：
由于超出 VM 限制，MapReduce 处理失败。 我们发现的只是数据偏斜， MapReduce 因数据偏斜而失败的原因是什么？
【问题讨论】：
-
你好，你能提供你得到的错误的堆栈跟踪吗？
-
目前无法提供堆栈跟踪。我确实重新安装了操作系统。如果再次发生，我一定会发布堆栈跟踪。
标签： arrays hadoop mapreduce limit skew
【发布时间】：2018-02-08 06:13:18
【问题描述】：
如果您的数据严重倾斜，则意味着一个映射器或缩减器将不得不处理更多数据。这意味着它将需要更多内存并运行更长时间。如果您积极地设置集群的节点管理器内存，您可以轻松淹没虚拟机或节点。
这是一个普遍的问题，而且已经足够大，人们已经在上面写过论文了。
【讨论】：