使用 Elasticsearch File System Crawler 将 pdf 文件索引到 AWS Elasticsearch 服务答案

【问题标题】：Index pdf files to AWS Elasticsearch service using Elasticsearch File System Crawler使用 Elasticsearch File System Crawler 将 pdf 文件索引到 AWS Elasticsearch 服务
【发布时间】：2018-10-31 05:42:03
【问题描述】：

我可以使用 Elasticsearch File System Crawler 将 pdf 文件索引到本地 Elasticsearch。默认情况下，fscrawler 设置具有端口、主机和方案参数，如下所示。

{
"name" : "job_name2",
"fs" : {
"url" : "/tmp/es",
"update_rate" : "15m",
"excludes" : [ "~*" ],
"json_support" : false,
"filename_as_id" : false,
"add_filesize" : true,
"remove_deleted" : true,
"add_as_inner_object" : false,
"store_source" : false,
"index_content" : true,
"attributes_support" : false,
"raw_metadata" : true,
"xml_support" : false,
"index_folders" : true,
"lang_detect" : false,
"continue_on_error" : false,
"pdf_ocr" : true,
"ocr" : {
  "language" : "eng"
}
},
 "elasticsearch" : {
"nodes" : [ {
  "host" : "127.0.0.1",
  "port" : 9200,
  "scheme" : "HTTP"
} ],
"bulk_size" : 100,
"flush_interval" : "5s"
},
"rest" : {
"scheme" : "HTTP",
"host" : "127.0.0.1",
"port" : 8080,
"endpoint" : "fscrawler"
}
}

但是，我很难使用它来索引 AWS elasticsearch 服务，因为要索引到 AWS elasticsearch，我必须提供 AWS_ACCESS_KEY、AWS_SECRET_KEY、区域和服务，如文档中所述 here。有关如何索引 pdf 文件的任何帮助AWS 弹性搜索服务受到高度赞赏。

【问题讨论】：

您是否尝试过在 AWS elasicsearch 上使用邮递员查询。如果是，你得到了什么回应？

标签： elasticsearch aws-elasticsearch fscrawler

【解决方案1】：

FSCrawler 尚不支持提供AWS_ACCESS_KEY 或AWS_SECRET_KEY。可能值得在 FSCrawler 中打开一个问题？

也就是说，https://cloud.elastic.co 受支持，但使用“登录名/密码”。 See documentation for more details.

【讨论】：