如何使 Lucene 5.5.0 StandardAnalyzer 与 Lucene 2.9.0 StandardAnalyzer 对齐？

Question

标准分析器的默认行为在 Lucene 5.x 和 2.x 之间是不同的，例如that's H&M，使用如下代码：

StandardAnalyzer analyzer = new StandardAnalyzer();
analyzer.tokenStream("text", new StringReader(chunkText));

在 lucene 2.x 中，它被标记为：

[那个，H&M]

在 lucene 5.x 中，它被标记为：

[即，h，m]

有什么方法可以让 lucene 5.x 对齐 lucene 2.x 结果？

Answer 1

回到 Lucene 3，他们更改了 StandardAnalyzer 以实现 Unicode 文本分割，如 UAX #29 中所指定。如果您希望使用 2.X 中旧的、更简单的分词算法，请改用ClassicAnalyzer。