开发分布式全文搜索索引（AKA 倒排索引）

Question

我知道如何在单台机器上开发一个简单的倒排索引。简而言之，它是一个保存在内存中的标准哈希表，其中： - 关键 - 一句话 - value - 单词位置列表 例如，代码在这里：http://rosettacode.org/wiki/Inverted_Index#Java

问题：

现在我试图让它分布在 n 个节点之间，然后依次分布：

1. 使该索引可水平扩展
2. 对此索引应用自动分片。

我对自动分片特别感兴趣。欢迎任何想法或链接！

谢谢。

Answer 1

自行分片是一项相当复杂的任务，在现代数据库中还没有完全解决。分布式数据库中的典型问题是CAP theorem，以及其他一些低级且非常具有挑战性的任务，例如在添加新的空白节点或数据中自然发生的不平衡之后重新平衡集群数据。

在我见过的数据库中实现的最佳数据分布是在 Cassandra 中。然而，Cassandra 中尚未实现全文搜索，因此您可以考虑在其上构建分布式索引。

其他一些已经实现的选项是Elasticsearch 和SolrCloud。在给出的示例中，缺少一个重要的细节，即词干。使用词干搜索，您基本上可以搜索任何形式的词，例如“sing”、“sings”、“singer”。 Lucene 和之前的两个解决方案已经为大多数语言实现了它。