如何根据 Elasticsearch 中的最大单词数对句子进行标记？

Question

我有一个像“这是美好的一天”这样的字符串 我应该使用什么标记器或标记器和标记过滤器之间的什么组合来生成包含最多 2 个单词的术语的输出？理想情况下，输出应该是： “这，这，这，这，是，一个，一个，美好，美好，美好的一天，一天” 到目前为止，我已经尝试了所有内置的标记器，“模式”标记器似乎是我可以使用的，但我不知道如何为我的案例编写正则表达式模式。有什么帮助吗？

Answer 1

看来您正在寻找shingle token filter，它完全符合您的要求。

Answer 2

正如@Oleksii 所说。 在你的情况下 max_shingle_size = 2 （这是默认值）和 min_shingle_size = 1。