基于分布式键/值存储的搜索引擎架构？答案

【问题标题】：Architecture for search engine based on distributed key/value store?基于分布式键/值存储的搜索引擎架构？
【发布时间】：2011-07-02 04:53:03
【问题描述】：

是否有人知道任何描述基于分布式键/值存储的大型全文搜索引擎的链接、论文、演示文稿或博客文章？

我对索引的组织特别感兴趣。数据结构到底是什么？字典和帖子存储在哪里以及如何存储？查询处理的工作流程是什么？如何处理查询，无需通过网络传输大量数据？

我推测 Blekko 是这样建造的。我想知道他们或他们的竞争对手实际上做了什么。

【问题讨论】：

【解决方案1】：

我不知道有一篇博文或文章可以回答您的问题完全正确。但是，这里有一些我认为与您的问题相关的资源，我希望它们可以帮助您提取答案。

首先，Jeff Dean 关于 Google 架构演变的主题演讲，

接下来，在名为 Lucandra 的 K-V 商店之上有一个开源搜索引擎——顾名思义，Lucene 位于 Cassandra 之上，两者都是 Apache 项目。

要了解 Lucandra 的工作原理，请查看有关 Lucene 如何索引 Cassandra 数据的实现和演示。

同样，您也可以看到 Lucene 和 HBase 如何共存。这是 Apache 提交/补丁的链接，它集成了一个搜索层，

Redis 的另一篇类似文章

接下来，查看可扩展搜索系统的操作要求

CIS 实验室有一些关于该主题的优秀研究论文，您应该看看，

对于上面可能做出的一般搜索引擎假设，这里有一些书籍链接，可以提供帮助，

【讨论】：

【解决方案2】：

Google MapReduce 可能会让您很感兴趣。

【讨论】：