【问题标题】:How to index a csv document in elasticsearch?如何在elasticsearch中索引csv文档?
【发布时间】:2021-07-19 06:52:56
【问题描述】:
我正在尝试在弹性搜索中上传一些 csv 文件。我不想把它搞砸,所以我正在写一些指导。有人可以提供有关如何在弹性搜索中索引文档的视频/教程/文档吗?我已经阅读了官方文档,但是作为初学者,我感到有些失落。如果您向我推荐一个视频教程,或者您将向我描述一些步骤,那就可以了。希望你们一切都好!感谢您的宝贵时间!
【问题讨论】:
标签:
elasticsearch
elastic-stack
elasticsearch-plugin
elasticsearch-dsl
【解决方案1】:
最好的方法是使用Logstash,它是官方的,非常快速的elastic管道,你可以从here下载它
首先创建一个如下示例的配置文件,并将其保存为logstash的bin目录下的logstashExample.conf。
假设弹性服务器和 kibana 控制台已启动并运行,请使用以下命令运行配置文件“./logstash -f logstashExample.conf”。
我还为 Logstash 添加了一个合适的相关配置文件示例,请根据您的需要更改输出中的索引名称和输入中的文件路径,您还可以通过删除以下示例中的 csv 组件来禁用过滤。
input {
file {
path => "/home/timo/bitcoin-data/*.csv"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
csv {
separator => ","
#Date,Open,High,Low,Close,Volume (BTC),Volume (Currency),Weighted Price
columns => ["Date","Open","High","Low","Close","Volume (BTC)", "Volume (Currency)" ,"Weighted Price"]
}
}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "bitcoin-prices"
}
stdout {}
}