【发布时间】:2014-09-04 06:00:46
【问题描述】:
我正在浏览 Hadoop-权威指南,我遇到了以下几行:
规范化给 MapReduce 带来了问题,因为它使读取记录成为非本地操作,并且中心假设之一是 MapReduce 使执行(高速)成为可能 流式读取和写入。
谁能解释一下这些行在外行语言中的实际含义?
我知道什么是标准化。它是如何使读取记录成为非本地的 手术?参考hadoop的非本地操作是什么意思?
【问题讨论】:
我正在浏览 Hadoop-权威指南,我遇到了以下几行:
规范化给 MapReduce 带来了问题,因为它使读取记录成为非本地操作,并且中心假设之一是 MapReduce 使执行(高速)成为可能 流式读取和写入。
谁能解释一下这些行在外行语言中的实际含义?
我知道什么是标准化。它是如何使读取记录成为非本地的 手术?参考hadoop的非本地操作是什么意思?
【问题讨论】:
在 hadoop 中,本地操作是指在存储需要处理的数据的同一物理位置执行代码。
当您对数据进行规范化时,您实际上是在对其进行拆分。如果这种“拆分”的数据分布在 2 个物理上不同的区域,您就会突然进行非本地操作。
【讨论】: