来自 rabbitmq 的数据没有被读入 kibana 仪表板答案

【问题标题】：data from rabbitmq not being read into kibana dashboard来自 rabbitmq 的数据没有被读入 kibana 仪表板
【发布时间】：2014-05-06 11:05:55
【问题描述】：

我刚刚更改了我的 logstash-elasticearch 设置以包含 rabbitmq，因为我无法通过 tcp 连接将消息足够快地输入到 logstash。现在，logstash 从队列中读取数据的速度非常快，但我没有看到消息进入 kibana。一个错误显示缺少时间戳字段。我用plugin/head查看数据，很奇怪：

_index   _type    _id                    ▼_score    @version  @timestamp
pt-index logs Bv4Kp7tbSuy8YyNi7NEEdg     1           1         2014-03-27T12:37:29.641Z

这是我的 conf 文件现在的样子，下面是它的样子：

input {
rabbitmq {
queue => "logstash_queueII"
host => "xxx.xxx.x.xxx"
exchange => "logstash.dataII"
vhost => "/myhost"
}
}
output {
  elasticsearch{
     host => "xxx.xxx.xx.xxx"
     index => "pt-index"
    codec => "json_lines"
 }
}

这就是rabbitmq之前的样子：

input {
tcp {
    codec => "json_lines"
    port => "1516"
 }
}
output {
   elasticsearch {
        embedded => "true"   
 }
}

现在我所做的唯一更改是在 elasticsearch 中创建一个特定的索引，并在那里为数据建立索引，但现在消息的格式似乎发生了变化。它仍然是带有 2/3 字段的 json 消息，但不确定 logstash 正在从 rabbitmq 读取或更改什么。我可以看到数据流入直方图，但字段消失了。

"2014-03-18T14:32:02"  "2014-03-18T14:36:24"  "166"   "google"

这些是我期望的领域。就像我说的那样，在我做出改变之前，这一切都奏效了。

【问题讨论】：

标签： elasticsearch logstash kibana

【解决方案1】：

我见过类似配置的示例，但它们不使用“json_lines”的输出编解码器进入 Elasticsearch。输出编解码器会调整数据的格式，因为它会留下我不认为是必要的 logstash。尝试删除编解码器并通过将文件输出添加到日志来查看 logstash 输出的内容，确保这只是简短的示例...

【讨论】：