如何处理 Elasticsearch 索引中的空值

Question

我有一个要导出到 Elasticsearch 的 SQL 表。

其中一列是可为空的数值字段，在某些记录中为空。

当我们尝试索引表时，我们得到这个错误：

One of the ETL (BigQuery -> ElasticSearch) jobs for Table : MLS has been ES Failed Chunk of 10000 from index 20000 possibly due to incompatible objects.

Failing BigQuery Table: MLS

Stack Trace of the error:

Traceback (most recent call last): File "/Users/asif/zodiacbackend/zodiacbackend/tasks.py", line 205, in insertIntoES helpers.bulk(es, doc_generator(dataframe,table)) File "/Users/asif/zodiacbackend/env/lib/python3.7/site-packages/elasticsearch/helpers/actions.py", line 300, in bulk for ok, item in streaming_bulk(client, actions, *args, **kwargs): File "/Users/asif/zodiacbackend/env/lib/python3.7/site-packages/elasticsearch/helpers/actions.py", line 230, in streaming_bulk **kwargs File "/Users/asif/zodiacbackend/env/lib/python3.7/site-packages/elasticsearch/helpers/actions.py", line 158, in _process_bulk_chunk raise BulkIndexError("%i document(s) failed to index." % len(errors), errors) elasticsearch.helpers.errors.BulkIndexError: ('2 document(s) failed to index.', [{'index': {'_index': 'mls', '_type': 'mls', '_id': 'b100qHABEFI45Lp-z3Om', 'status': 400, 'error': {'type': 'illegal_argument_exception', 'reason': 'mapper [Lot_Size_Sq_Ft] of different type, current_type [text], merged_type [long]'}, 'data': { 'Lot_Size_Sq_Ft': Decimal('13504')}}}]) 

如何让系统识别空值？

Answer 1

用户 WittyID，错过了一些重要的事情，例如：

1. null_value 的值必须与您的字段具有相同的数据类型，因此在他的示例中，他声明了integer 字段但将NULL 定义为null_values，将抛出json_parse_exception，这是在official link 中称为important 如下：

null_value 需要与字段的数据类型相同。为了 例如，长字段不能有字符串 null_value。

1. null_value 只影响数据的索引方式，它不会修改 _source 文档，因此在您的源文档中，无论您传递什么，都会被存储，而不是 null_values 参数中提到的那个和在查询时，您还需要使用值 null_value 参数。。

简而言之，null 在 ES 中无法识别，因此您可以为 null 定义自定义值，然后使用它来索引和查询 null 值。使用下面的例子，任何人都可以尝试：

创建索引

{
  "mappings": {
    "properties": {
      "my_signed_integer": {
        "type":"integer",
        "null_value": -1 --> note we defining `null` values as `-1`.
      }
    }
  }
}

索引文档

1. 存储null整数文档

   { “我的号码”：空 }

如果你从 ES 得到这个文档，它会返回如下：

{
   "_index": "so-6053847",
   "_type": "_doc",
   "_id": "1",
   "_version": 1,
   "_seq_no": 0,
   "_primary_term": 1,
   "found": true,
   "_source": {
      "my_number": null. --> As explained earlier, in source its stored as `null`.
   }
}

1. 索引非负值

   { “我的号码”：10 }

搜索查询以获取具有 null 值的整数

{
  "query": {
    "term": {
      "my_signed_integer": -1 -->notice same `null_value`, you need to mention
    }
  }
}

结果：

 "hits": [
         {
            "_index": "so-6053847",
            "_type": "_doc",
            "_id": "1",
            "_score": 1.0,
            "_source": {
               "my_signed_integer": null --> notice it shows `null`, not `-1`
            }
         }
      ]

搜索查询其他数字（非空），即在我们的例子中为10

{
  "query": {
    "term": {
      "my_signed_integer": 10
    }
  }
}

结果

"hits": [
         {
            "_index": "so-6053847",
            "_type": "_doc",
            "_id": "2",
            "_score": 1.0,
            "_source": {
               "my_signed_integer": 10 -->source matches the indexed value for this doc
            }
         }
      ]

Answer 2

您正在处理一个普通的 ES 头部刮刀。 Elasticsearch doesn't index null values（不仅仅是数字空值）。您需要在索引映射中指定您希望如何为任何检测到的空值建立索引。像这样的：

  "mappings": {
    "properties": {
      "nullable_numeric": {
        "type":       "integer",
        "null_value": -1 
      },
      "nullable_text": {
       "type":        "text",
       "null_value":  "NULL"
    }
  }

一旦你这样做了，ES 就会知道如何正确索引这些字段。请注意，您不需要更改原始数据，只需让 ES 知道如何索引空值以进行搜索....顺便说一下，当您查询 ES 时不会影响文档。