在 solr / lucene 索引中包含货币符号

Question

是否可以对将货币符号视为单独标记的文本字段进行索引？ 例如在一个文本字段中我有这个：

"16 €"

我需要用这些条目建立一个索引：

16
€

为了搜索“€”并找到文档。

现在我正在使用 StandardTokenizer，它会丢弃货币符号。

一个可能的解决方案可能是使用更“琐碎”的标记器，例如 WhitespaceTokenizer，但我认为它会在其他文本上变得更糟。

请注意，问题不在于如何为货币编制索引，这是一个简单的示例，但在该字段中我可以有任意文本。

Answer 1

一种可能的解决方案，虽然不是很漂亮，但是用您选择的标记器将不理会的东西替换欧元符号。你can use a MappingCharFilterFactory把欧元符号换成EUROSIGN之类的字符串，然后再分词化后再替换。

除非您能够正式表达您希望标记器如何工作，否则您必须使用适合大多数内容的预设版本之一以提供可用的搜索结果。如果您有更具体的规则集，则可以选择用 Java 编写自己的分词器。