MySQL Kafka ELK 堆栈日期问题

【问题标题】：MySQL Kafka ELK Stack Date IssueMySQL Kafka ELK 堆栈日期问题
【发布时间】：2018-01-22 20:33:56
【问题描述】：

我正在从以下位置创建数据摄取：

MySQL --> Kafka --> Logstash --> Elasticsearch --> Kibana

我能够将数据从 MySQL 传输到 Kibana，但在处理 MySQL 表中的“日期”列时遇到了问题。

日期列在 Kafka 主题和 ES 文档中显示为 EPOCH 日期。

我们可以在 Elasticsearch/Logstash 部分将其转换为日期格式“yyyy-mm-dd”吗？

【问题讨论】：

【解决方案1】：

直接回答您的问题：使用 Elasticsearch 动态模板将日期字段定义为 date，然后 Elasticsearch 将正确解释 epoch 值。

你知道你根本不需要 Logstash 吗？您可以将 Elasticsearch 接收器用于 Kafka Connect。你可以得到这个separately，或者作为Confluent Platform的一部分。

你会想要关注我在这里写的这个博客系列，它完全构建了这个管道（MySQL -> Kafka -> Elasticsearch）：https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/

【讨论】：