从 Elasticsearch 中的 CamelCase 标记器中排除

Question

在 Elasticsearch 中搜索 iphone 时努力使 iPhone 匹配。

由于我有一些源代码处于危险之中，我当然需要CamelCase tokenizer，但它似乎将 iPhone 分成了两个词，所以找不到 iphone。

任何人都知道添加例外以将 camelCase 单词分解为标记（camel + case）的方法吗？

更新：为了清楚起见，我希望将 NullPointerException 标记为 [null, pointer, exception]，但我不希望 iPhone 成为 [i, phone]。

还有其他解决方案吗？

更新 2：@ChintanShah 的回答提出了一种不同的方法，可以为我们提供更多信息 - NullPointerException 将被标记为 [null, pointer, exception, nullpointer, pointerexception, nullpointerexception]，从以下角度来看，这肯定更有用搜索的那个。而且索引也更快！付出的代价是索引大小，但它是一种优越的解决方案。

Answer 1

您可以通过word_delimiter token filter 满足您的要求。 这是我的设置

{
  "settings": {
    "analysis": {
      "analyzer": {
        "camel_analyzer": {
          "tokenizer": "whitespace",
          "filter": [
            "camel_filter",
            "lowercase",
            "asciifolding"
          ]
        }
      },
      "filter": {
        "camel_filter": {
          "type": "word_delimiter",
          "generate_number_parts": false,
          "stem_english_possessive": false,
          "split_on_numerics": false,
          "protected_words": [
            "iPhone",
            "WiFi"
          ]
        }
      }
    }
  },
  "mappings": {
  }
}

这将拆分 case changes 上的单词，因此 NullPointerException 将被标记为 null、pointer 和 exception em> 但 iPhone 和 WiFi 将保持原样，因为它们受到保护。 word_delimiter 有很多灵活性选项。您还可以preserve_original，这对您有很大帮助。

GET logs_index/_analyze?text=iPhone&analyzer=camel_analyzer

结果

{
   "tokens": [
      {
         "token": "iphone",
         "start_offset": 0,
         "end_offset": 6,
         "type": "word",
         "position": 1
      }
   ]
}

现在

GET logs_index/_analyze?text=NullPointerException&analyzer=camel_analyzer

结果

{
   "tokens": [
      {
         "token": "null",
         "start_offset": 0,
         "end_offset": 4,
         "type": "word",
         "position": 1
      },
      {
         "token": "pointer",
         "start_offset": 4,
         "end_offset": 11,
         "type": "word",
         "position": 2
      },
      {
         "token": "exception",
         "start_offset": 11,
         "end_offset": 20,
         "type": "word",
         "position": 3
      }
   ]
}

另一种方法是使用不同的分析器对您的字段进行两次分析，但我觉得 word_delimiter 可以解决问题。

这有帮助吗？