【发布时间】:2014-10-28 04:14:15
【问题描述】:
我将 Crate 用于德国新闻网站,并广泛使用全文搜索(通常效果很好)。但是我想知道停用词的用法。我想尽量减少这种情况,因为搜索速度很快,所以我不太担心性能。这是可取的吗?并且:默认情况下实际上使用了哪些停用词——在某处是否有内置停用词列表?
【问题讨论】:
标签: database full-text-search crate
我将 Crate 用于德国新闻网站,并广泛使用全文搜索(通常效果很好)。但是我想知道停用词的用法。我想尽量减少这种情况,因为搜索速度很快,所以我不太担心性能。这是可取的吗?并且:默认情况下实际上使用了哪些停用词——在某处是否有内置停用词列表?
【问题讨论】:
标签: database full-text-search crate
内置词实际上来自 lucene 并且在
lucene-analyzers-common*.jar crate 的 lib 目录中的文件
压缩包。
如果您提取 jar 文件的内容,您会发现一个名为
german_stop.txt 包含所有德语停用词。
lucene源码里面还有一组词,标记为 已弃用,所以我认为它不再使用。这些话是:
"einer", "eine", "eines", "einem", "einen",
"der", "die", "das", "dass", "daß",
"du", "er", "sie", "es",
"was", "wer", "wie", "wir",
"und", "oder", "ohne", "mit",
"am", "im", "in", "aus", "auf",
"ist", "sein", "war", "wird",
"ihr", "ihre", "ihres",
"als", "für", "von", "mit",
"dich", "dir", "mich", "mir",
"mein", "sein", "kein",
"durch", "wegen", "wird"
我认为默认就足够了,除非你遇到一些麻烦 我认为没有理由调整停用词。
【讨论】: