如何使用摄取附件插件和 JavaScript 客户端在 Elasticsearch 6.1 中索引 PDF？

Question

我尝试按照对以下问题的回答中的说明进行操作：

How to index a pdf file in Elasticsearch 5.0.0 with ingest-attachment plugin?

我找不到很多 ElasticSearch 的 JavaScript 客户端示例，所以这里是我所拥有的：

创建索引

// elasticsearch Client
var elasticsearch = require('elasticsearch');
var client = new elasticsearch.Client({hosts: [ 'http://localhost:9200/']});

// Create index
client.create({index: 'pdfs', type: 'pdf', id: 'my-index-id', 
    body: {description: 'Test pdf indexing'}
})
.then(function () {console.log("Index created");})
.catch(function (error) {console.log(error);});

在 Node 中定义索引映射：

var body = {
    pdf:{
        properties:{
            title : {"type" : "keyword", "index" : "false"},
            type  : {"type" : "keyword", "index" : "false"},
            "attachment.pdf" : {"type" : "keyword"}
        }
    }
}

client.indices.putMapping({index:"pdfs", type:"pdf", body:body})
.then((response) => {addPipeline()})
.catch((error) => {console.log("putMapping error: " + error)})

使用 PUT API 在节点集群中定义摄取管道

function addPipeline(){
  client.ingest.putPipeline({
    id: 'my-pipeline-id',
    body: {
      "description" : "parse pdfs and index into ES",
      "processors" : [
        { "attachment" : { "field" : "pdf", "indexed_chars" : -1 } },
        { "remove" : { "field" : "pdf" } }
      ]
    }
  })
  .then(function () {
     console.log("putPipeline Resolved");
   })
  .catch(function (error) {
     console.log("putPipeline error: " + error);
   });
};

在我尝试上传 PDF 之前，我检查了索引是否已创建：

curl -XGET 'localhost:9200/_cat/indices?v&pretty'

结果：

health status index   uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana EaUbEQCETVKQbYThrhPGaA   1   1          1            0      3.6kb          3.6kb
yellow open   pdfs    Z2SR-ApFR9SYsvY08tgSZw   5   1          1            0      4.6kb          4.6kb

当我尝试使用以下命令为 PDF 编制索引时，出现错误。

curl -H 'Content-Type: application/pdf' -XPUT 'localhost:9200/my_index/my_type/id?pipeline=my-pipeline-id' -d'
{
    "pdf": @/Users/user/path/to/pdf/file.pdf
}'

错误：

{"error":"Content-Type header [application/pdf] is not supported","status":406}

这是因为我的 PDF 不是 Base64 编码还是我做错了什么？我正在尝试创建一个数字图书馆来搜索 PDF。

更新：

我对我的 pdf 进行了编码：

openssl base64 -in /Users/user/path/to/pdf/file.pdf -out base64_encoded_file

重新创建我的索引并在 base64_encoded_file 上运行以下命令：

curl -H 'Content-Type: application/json' -XPUT 'localhost:9200/my_index/my_type/id?pipeline=my-pipeline-id' -d @/base64_encoded_file

我收到以下错误：

Warning: Couldn't read data from file "/base64_encoded_file", this makes an empty POST.
{"error":{"root_cause":[{"type":"parse_exception","reason":"request body is required"}],"type":"parse_exception","reason":"request body is required"},"status":400}

我尝试将文件添加为正文：

curl -H 'Content-Type: application/json' -XPUT 'localhost:9200/my_index/my_type/id?pipeline=my-pipeline-id' -d '
        {
          "pdf" : @/base64_encoded_file
        }'

错误：

{"error":{"root_cause":[{"type":"parse_exception","reason":"Failed to parse content to map"}],"type":"parse_exception","reason":"Failed to parse content to map","caused_by":{"type":"json_parse_exception","reason":"Unexpected character ('@' (code 64)): expected a valid value (number, String, array, object, 'true', 'false' or 'null')\n at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@6db5a3dc; line: 3, column: 16]"}},"status":400}

暂停

Answer 1

我找到了问题的答案：

Elasticsearch 不会从源中获取数据，因此

curl -H 'Content-Type: application/json' -XPUT 'localhost:9200/my_index/my_type/id?pipeline=my-pipeline-id' -d '
        {
          "pdf" : @/base64_encoded_file
        }'

行不通。 attachment options 中的“字段”（在我的示例中为“pdf”）必须是数据，而不是文件路径。 This 线程解释了将 [pdf] 内容发送到 elasticsearch 的三个选项：

1. 您可以[从 pdf] 提取内容，然后将您想要索引的内容发送到 elasticsearch。
2. 您可以将二进制 BASE64 发送到 elasticsearch 摄取，由它进行提取
3. 您可以将二进制文件发送到 FSCrawler，它会在发送到 elasticsearch 之前进行提取。

简而言之，传递给elasticsearch的数据必须符合documentation中的定义。

curl -H 'Content-Type: application/json' -XPUT 'localhost:9200/my_index/my_type/id?pipeline=my-pipeline-id' -d '
    {
        "pdf" : "base64_encoded_data"
    }'