在 lucene 中索引多语言单词答案

【问题标题】：Indexing multilingual words in lucene在 lucene 中索引多语言单词
【发布时间】：2011-07-13 00:00:24
【问题描述】：

我正在尝试在 Lucene 中索引一个可能具有不同语言的 RDF 文字的字段。到目前为止，我看到的大多数方法是：

Lucene 2.9+ 有一个称为 Payload 的功能，允许将属性附加到术语。是否有人使用这种机制来存储语言（或其他属性，如数据类型）信息？与其他两种方法相比，性能如何？显示如何完成的源代码上的任何指针都会有所帮助。谢谢。

【问题讨论】：

【解决方案1】：

所以基本上 lucene 是一种排名算法，它只是查看字符串并将它们与其他字符串进行比较。它们可以用不同的字符编码进行编码，但它们的相似性是相同的。只要确保您使用受支持的语言词干分析器加载 SnowBallAnalyzer，您应该会得到结果。比如说西班牙语或中文

【讨论】：

【解决方案2】：

视情况而定。

您是否要允许类似：“在所有英文文本中搜索 'foo'”？如果是这样，那么每种语言都需要一个字段。
或者您是否想要“在所有文本中搜索 'foo' 并向用户显示找到匹配项的语言？”如果这是您想要的，那么负载或单独的字段都可以工作。
另一种方法是在一个字段中索引所有文本，然后在另一个字段中说明文档的语言。（假设每个文档都使用一种语言。）那么您的搜索将类似于+text:foo +language:english。

在效率方面：您可能希望避免使用有效负载，因为您必须为每个术语重复语言名称，并且您不能基于有效负载进行搜索（至少不容易）。

【讨论】：

我想要案例 2。我需要能够向用户展示其文字的语言。如果一个名为 prefLabel 的字段，lucene 是否可以处理在不同语言中相似的标签的索引，例如“email”^en“email”^fr？倒排索引是否使用payload来区分入口？
@fellahst：您可以将有效负载视为“您想附加到术语的任何随机废话”。搜索者忽略它。不过，您可以在最后手动将其拉出。
我注意到有一个类 PayloadTermQuery 允许查询 Payload。当您说搜索者忽略有效负载时，我不确定您声称是否正确。
@fellahst：很公平，您可以创建自己的PayloadFunction。但它并没有融入到 Lucene 中。有效载荷的索引方式与术语不同。如果您关心性能，那么有效负载不是您的理想选择。