如何为csv输入文件安排logstash答案

【问题标题】：how to schedule logstash for csv input file如何为csv输入文件安排logstash
【发布时间】：2019-02-28 13:48:34
【问题描述】：

我有一个 csv 文件，每小时更新一次。我需要将它上传到 kibana，我想安排 logstash 以便它在 kibana 中每小时更新一次。我搜索了很多论坛，但我发现了 JDBC 输入调度但是不适用于 csv 输入。

【问题讨论】：

【解决方案1】：

您必须编写自己的 logstash 管道配置。基于如何读取输入，从哪里输出数据。 Kibana 是一个可视化工具。数据通常在 ElasticSearch 中摄取，然后在 Kibana 仪表板中查看。一旦启动，logstash 就会读取管道配置。下面给出了一个示例管道配置，它从 kafka 主题中读取 csv 数据，并推送到 ES。

input {

  kafka{
    id => "test_id"
    group_id => "test-consumer-group"
    topics => ["test_metrics"]
    bootstrap_servers => "kafka:9092"
    consumer_threads => 1
    codec => line
  }
}
filter {
  csv {
     separator => ","
     columns => ["timestamp","field1", "field2"]
  }
}
output {
    elasticsearch {
        hosts => [ "elasticsearch:9200" ]
        index => "_my_metrics"
    }
}

【讨论】：

【解决方案2】：

请参考以下链接，通过 Logstash 和 sinceDb 将数据从 CSV 导入 Elasticsearch。

https://qbox.io/blog/import-csv-elasticsearch-logstash-sincedb

有关更多 CSV 过滤器插件配置，请参阅以下链接。

https://www.elastic.co/guide/en/logstash/current/plugins-filters-csv.html#plugins-filters-csv-columns

希望对你有帮助！

【讨论】：