【问题标题】:Stopwords in Crate Fulltext SearchCrate 全文搜索中的停用词
【发布时间】:2014-10-28 04:14:15
【问题描述】:

我将 Crate 用于德国新闻网站,并广泛使用全文搜索(通常效果很好)。但是我想知道停用词的用法。我想尽量减少这种情况,因为搜索速度很快,所以我不太担心性能。这是可取的吗?并且:默认情况下实际上使用了哪些停用词——在某处是否有内置停用词列表?

【问题讨论】:

    标签: database full-text-search crate


    【解决方案1】:

    内置词实际上来自 lucene 并且在 lucene-analyzers-common*.jar crate 的 lib 目录中的文件 压缩包。

    如果您提取 jar 文件的内容,您会发现一个名为 german_stop.txt 包含所有德语停用词。

    lucene源码里面还有一组词,标记为 已弃用,所以我认为它不再使用。这些话是:

    "einer", "eine", "eines", "einem", "einen",
    "der", "die", "das", "dass", "daß",
    "du", "er", "sie", "es",
    "was", "wer", "wie", "wir",
    "und", "oder", "ohne", "mit",
    "am", "im", "in", "aus", "auf",
    "ist", "sein", "war", "wird",
    "ihr", "ihre", "ihres",
    "als", "für", "von", "mit",
    "dich", "dir", "mich", "mir",
    "mein", "sein", "kein",
    "durch", "wegen", "wird"
    

    我认为默认就足够了,除非你遇到一些麻烦 我认为没有理由调整停用词。

    【讨论】:

    • 谢谢,找到了!我想调整它的原因是搜索精度。停用词对于减少索引大小非常有用,但由于我现在不担心性能,我想购买一些搜索精度以增加一点负载。 (例如,考虑搜索像“von einem zum anderen”这样的短语,它们都是停用词)。我会做一些实验......
    猜你喜欢
    • 1970-01-01
    • 2013-02-19
    • 2012-01-16
    • 1970-01-01
    • 1970-01-01
    • 2012-10-15
    • 2010-11-18
    • 1970-01-01
    • 2011-02-01
    相关资源
    最近更新 更多