附加到未显示在 logstash 或 elasticsearch 输出上的文件

Question

我使用来自 elastic.co 的图像创建了 logstash 和 elasticsearch docker 容器。当我附加到我设置为输入文件的文件时，我看不到来自 logstash 或 elasticsearch 的任何输出。这个page 并没有太大帮助，也无法在 google 或 stackoverflow 上找到我的确切问题。

这就是我启动容器的方式：

docker run                      \
--name elasticsearch            \
-p 9200:9200                    \
-p 9300:9300                    \
-e "discovery.type=single-node" \
docker.elastic.co/elasticsearch/elasticsearch:6.3.1


docker run \
--name logstash \
--rm -it -v $(pwd)/elk/logstash.yml:/usr/share/logstash/config/logstash.yml \
-v $(pwd)/elk/pipeline.conf:/usr/share/logstash/pipeline/pipeline.conf \
docker.elastic.co/logstash/logstash:6.3.1

这是我的管道配置文件：

input {
  file {
    path => "/pepper/logstash-tutorial.log"
  }
}

output {
  elasticsearch {
    hosts => "http://x.x.x.x:9200/"
  }
  stdout {
    codec => "rubydebug"
  }
}

Logstash 和 elasticsearch 似乎开始正常。 示例 logstash 启动输出：

[INFO ][logstash.inputs.beats    ] Beats inputs: Starting input listener {:address=>"0.0.0.0:5044"}
[INFO ][logstash.pipeline        ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x6dc306e7 sleep>"}
[INFO ][logstash.agent           ] Pipelines running {:count=>2, :running_pipelines=>[:main, :".monitoring-logstash"], :non_running_pipelines=>[]}
[INFO ][org.logstash.beats.Server] Starting server on port: 5044
[INFO ][logstash.inputs.metrics  ] Monitoring License OK
[INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

弹性搜索启动输出示例：

[INFO ][o.e.c.r.a.AllocationService] [FJImg8Z] Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[.monitoring-logstash-6-2018.07.10][0]] ...]).

因此，当我对 logstash-tutorial.log 进行更改时，我看不到来自 logstash 或 elasticsearch 的任何终端输出。如何正确获取输出或配置logstash和elasticsearch？

Answer 1

答案在您提到的同一页面上。看看start_position

选择 Logstash 开始读取文件的初始位置：开头或结尾。 默认行为将文件视为实时流，因此从末尾开始。如果您有要导入的旧数据，将此设置为开头。

设置起始位置如下：

input {
  file {
    path => "/pepper/logstash-tutorial.log"
    start_position => "beginning" 
  }
}

output {
  elasticsearch {
    hosts => "http://x.x.x.x:9200/"
  }
  stdout {
    codec => "rubydebug"
  }
}