使用德语进行简单的 Elasticsearch PDF 文本搜索

Question

我可以处理/提取我的 PDF 文件中的文本，但我不太清楚我是否在正确的方式下将我的内容存储在 Elasticsearch 中。

我的 PDF 文本大部分是德语 - 带有“ö”、“ä”等字母。

为了存储内容的每个字符，我“转义”了必要的字符并将它们正确编码为 JSON，以便我可以存储它们。

例如：

我想存储以下 (PDF) 文本：

Öffentliche Verkehrsmittel. TestPath: C:\Windows\explorer.exe

我像这样转换并上传到 Elasticsearch：

{"text":"\\u00D6ffentliche Verkehrsmittel. TestPath: C:\\\\Windows\\\\explorer.exe"}

我的问题是：这样存储文档是否正确？

Answer 1

Elasticsearch 提供了范围广泛的inbuilt language-specific analyzer，如果您要创建文本字段并存储数据，默认情况下会使用标准分析器。你改变如下：

{

    "mappings": {
        "properties": {
            "title.german" :{
                "type" :"text",
                "analyzer" : "german"
            }
        }
    }
}

您还可以使用 analyze API 在您的德语案例中检查语言分析器生成的令牌

{
    "text" : "Öffentliche",
    "analyzer" : "german"
}

并生成令牌

{
    "tokens": [
        {
            "token": "offentlich",
            "start_offset": 0,
            "end_offset": 11,
            "type": "<ALPHANUM>",
            "position": 0
        }
    ]
}

Ö 的令牌

{
    "text" : "Ö",
    "analyzer" : "german"
}

{
    "tokens": [
        {
            "token": "o",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<ALPHANUM>",
            "position": 0
        }
    ]
}

注意：- 它已将其转换为纯文本，所以现在无论您搜索 Ö 还是 ö，它都会出现在搜索结果中，因为如果您使用相同的分析器在查询时应用匹配查询。