【问题标题】：Fast search on first field from a large flat text file从大型平面文本文件中快速搜索第一个字段
【发布时间】：2021-08-01 01:09:36
【问题描述】：

我正在开发一个语言数据库，为了我的工作，我经常需要从一个 10+ GB 的文本文件中加载 2 个条目，其中包含超过 500k 个条目。当我的文本文件为 1 GB 时，这曾经是可以管理的，但现在进行测试运行需要将近 4 分钟。我的文本文件格式简单，包含 2 个字段。第一个字段（主键）是一个单词（例如“apple”或“parking lot”），第二个字段是一个大文本博客。文件格式：

column 1            |  column 2
a dictionary word   |  a large text blob

我有相当多的 SQL 经验，而且我知道我可以将内容加载到 sqlite 中，或者使用 Lucene、Xapian 等进行索引，我已经为项目的其他部分完成了所有这些工作，但是现在，我真的很想保留我的大平面文件。但不是这个：

grep term1 bigFlatFileDB.txt
grep term2 bigFlatFileDB.txt

每次需要 4 分钟以上，我想索引（或倒排索引，如果您愿意）一次，基本上是一个低级 btree，然后快速搜索。我喜欢这样的东西：

buildIndex bigFlatFileDB.txt bigFlatFileDB.index
alt-grep term1 bigFlatFileDB.txt bigFlatFileDB.index
alt-grep term2 bigFlatFileDB.txt bigFlatFileDB.index
etc.

上面的“alt-grep”指的是其他一些搜索大文件的方法。

我看到了KinoSearch（Lucene 的 perl/C 改编版）、Namazu、Swish-e、Flat Fire、Apache CouchDB 的想法。但很难知道什么是最好的，或者这些是否合理。也许有一些我不知道的经典老技巧，索引行号，使用 sed 拉出我需要的行等等。（我知道我可以将我的文件分成 1000 个子文件；但这也添加了一个我不想要的复杂性，而且我失去了与我的主要大文件的联系。）我不能做一个实时内存映射，mmap 因为我的电脑只有 16 GB 内存，而且仍然需要完整的文件加载。

我曾尝试在 StackOverflow 上搜索想法，但很多回复都像是“使用 Lucene”或“使用 X 种 SQL”。我的情况很简单，我只有一种查询。我在 StackOverflow 上看到很多针对倒排索引的死请求或被忽略请求。

您发现任何方法或工作流程都可以很好地匹配单个行/行/条目，基于唯一的第一个字段，来自巨大的文本文件？

【问题讨论】：

标签： search optimization indexing flat-file inverted-index

【解决方案1】：

SQLite 示例

这是一个如何通过 sqlite 完成此操作的示例。它只需要几行代码。这里，输入文件是/path/to/input.txt，列分隔符是波浪线“~”。

rm sample.db

sqlite3 sample.db  << EOF
create table entries(headword TEXT, contents TEXT);
.separator "~"
.import /path/to/input.txt entries
EOF

并获得匹配项：

sqlite3 sample.db 'SELECT * FROM entries WHERE headword IN ("#apple", "#banana");'  
#banana|....
#apple|....

但是，这仍然是从我的原始文件中抽象出一个步骤，我想知道是否有一种聪明的方法可以做到这一点无需像 sqlite 这样的典型数据库。

【讨论】：