索引正则表达式（最好在 Lucene 中）

Question

有谁知道索引正则表达式的方法，这样我就可以运行非正则表达式查询，匹配其中包含正则表达式字段的文档？最好使用 Lucene 或其他进程内 Java 库。

背景

我在一个项目中工作，我们希望对大量用户交易进行分类。我们现在有工具可以做到这一点，但我们需要优化。

目前我正在探索 lucene 来替换一个内存排序树，该树是在父子关系中使用 HashMap、ConcurrentSkipListSets 实现的。

a  -> category cat1
   1  -> category cat2 

b  -> category cat4 
   \w*  
      6 -> category cat5 

所以字符串 'a 1' 和 'a 1 zx y' 将匹配 'cat2', 'a' 将匹配 'cat1'，而 'bxy 6' 将匹配 'cat5'。所有规则的末尾都有一个隐含的 '.*'，如果没有正则表达式匹配就可以进行匹配，那么它是首选的。这些规则是根据属性列表构建的：

a        = cat1
a 1      = cat2
b        = cat4
b \w* 6  = cat5

我们现在正在推送 50k 条规则（并且还在增加），虽然这个过程在查找时非常快，但它使用了太多的 RAM，需要一些时间来构建，并且没有我们需要的那么灵活。

我已经尝试使用 Lucene 来索引这些规则，但是我遇到了麻烦，因为正则表达式匹配了很多常用词（在我们的域中），并且为这些构建停用词并不容易，因为它们也经常变化.

所以重申一下 - 我需要一种方法来搜索正则表达式被索引的文档，而查询根本不知道正则表达式。

有人吗？

-- 奥尔夫

Answer 1

Lucene 无法帮助您解决问题，如果您有 n 个正则表达式并想找到一个与您的输入匹配的表达式，那么没有比针对您的输入运行每个正则表达式更好的方法了。实际上有一个方法，就是将你所有的正则表达式合并到一个有限状态机中，但这就是你目前正在做的事情。

但是，令我惊讶的是，您的进程使用了​​太多 RAM，而规则只有 50k。你有多少内存？如果您同意分享您的实施细节，我相信还有改进的余地。

关于构建时间，您的应用程序是如何工作的？也许可以将数据结构的编译版本存储在磁盘上以缩短启动时间，然后仅通过增量更新对其进行修改。