logstash 文件输入 glob 不起作用

Question

我开始探索logstash，这可能是一个新手问题，但据我研究，这应该有效，但不是。

我有一个非常简单的配置，它只是读取日志文件并将它们转储到标准输出。它适用于单个文件和文件列表（数组），但如果我使用与相同文件匹配的 glob，则不会发生任何事情。

我用一个简短的 ruby​​ 脚本测试了 glob，它列出了正确的文件。

这是我的配置：

input {
    file {
        path => "/home/lpacheco/*.log"
        start_position => "beginning"
    }
}

output {
    stdout {}
}

如果我用--verbose 运行它，我会得到：

{:timestamp=>"2015-09-23T11:26:47.008000-0300", :message=>"Registering file input", :path=>["/home/lpacheco/*.log"], :level=>:info}
{:timestamp=>"2015-09-23T11:26:47.068000-0300", :message=>"No sincedb_path set, generating one based on the file path", :sincedb_path=>"/home/.sincedb_6da9e0c63851aa9d5840ba19efd196cb", :path=>["/home/lpacheco/*.log"], :level=>:info}
{:timestamp=>"2015-09-23T11:26:47.089000-0300", :message=>"Pipeline started", :level=>:info}

没有其他事情发生。

我正在使用：

• logstash 1.5.4
• OpenJDK 运行时环境 (IcedTea 2.5.6) (7u79-2.5.6-0ubuntu1.14.04.1)
• ruby 1.9.3p484（2013-11-22 修订 43786) [i686-linux]

Answer 1

您显然面临sincedb-问题。 Logstash 将日志文件的最后位置保存在名为 sincedb 的文件中。 sincedb 基于日志文件的 inode，因此重命名或使用 glob 没有任何影响。

试试这个输入进行测试：

input {
    file {
        path => "/home/lpacheco/*.log"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

来自最新文档：

sincedb 数据库文件的路径（跟踪当前位置 被监控的日志文件）将被写入磁盘。默认会 将 sincedb 文件写入与 $HOME/.sincedb* 匹配的某个路径注意：它 必须是文件路径而不是目录路径

如需了解更多信息，请查看this等相关问题。