【发布时间】：2012-07-07 18:06:14
【问题描述】：
像谷歌这样的搜索引擎是基于 Map Reduce 的。它实际上是如何发生的。假设我在搜索中给出一个字符串 之后会发生什么进入映射器 映射器作为键值对输出什么进入减速器？ 谢谢。
【问题讨论】：
标签： hadoop
【发布时间】：2012-07-07 18:06:14
【问题描述】：
一个相关问题：How can Google be so fast?
我只知道我曾经和谷歌的一个人讨论过什么（我无法完全验证准确性），但他基本上告诉我他们使用 map reduce 来构建所有网络中出现的所有单词的所有索引页。然后为了解决查询，他们使用了这样的东西：http://en.wikipedia.org/wiki/Distributed_hash_table 所以对于你给他们的每个词，他们可以计算哈希值，并准确地知道他们网络中的哪台计算机具有与该词的搜索相关的信息（索引） .所以他们将请求转发到那台计算机（他们也使用了很多冗余），这可能会将大部分信息保存在内存中。
【讨论】：
-
谢谢..所以我知道它的搜索索引存在于哪个集群上......现在问题是......什么进入 Mapper，什么进入 Reducer......
-
MapReduce 不用于实时查询，而是用于批量分析用户搜索过的内容。例如搜索频繁的搜索查询。
-
好的。这是否意味着。我们在谷歌搜索的任何东西都与 map reduce 无关，map reduce 仅用于分析..