Nginx 访问 Kinesis 的日志

Question

我正在寻找可扩展的解决方案。 Nginx 会将带有查询字符串的像素（1x1 gif）提供给 html 页面。 此查询字符串将在 nginx 访问日志中。 我需要将这些数据流式传输或发送到 Amazon kinesis，以便我们稍后对其进行处理。 我已经阅读了一些有关 Logstash、Fluentd 等的资料。 有人这样做吗？ 建议将访问日志转换为可随后处理的事件的原因是什么？

谢谢 布赖恩

Answer 1

Fluentd 绝对可以做到这一点。亚马逊发布了自己的 AWS Kinesis 插件。 Fluentd 具有跟踪 nginx 日志的功能。请检查以下网址。

• http://docs.fluentd.org/articles/kinesis-stream
• http://docs.fluentd.org/articles/in_tail
• https://github.com/awslabs/aws-fluent-plugin-kinesis