Lucene Index 的空间限制是多少？

Question

我正在向 Lucene 索引添加数十亿行，每行几乎是 6000 字节。可以添加到 Lucene Index 的最大行数是否有限制？ 十亿行 6000 字节将在 Lucene 索引上占用多少空间。这个尺寸有限制吗？

Answer 1

请参阅 Lucene 文档以了解其 limitations，它不能超过

• ~ 2740 亿个不同的术语，
• ~ 21 亿个文档。

对于如此大的数据集，通常最好只使用 Lucene 作为其倒排索引，并将文档的实际内容存储在其他地方。您可以预期索引大小约为原始文档语料库大小的 30%（假设这些是常规文档，具有许多唯一术语的计算生成的文档会生成更大的索引）。