尝试使用 Logstash 从 Cloudwatch Logs 索引答案

【问题标题】：Trying to use Logstash to index FROM Cloudwatch Logs尝试使用 Logstash 从 Cloudwatch Logs 索引
【发布时间】：2015-11-26 00:42:55
【问题描述】：

所以我们在 Amazon CloudWatch Logs 中存储了日志（apache、tomcat 等）。我正在尝试使用 Logstash 从 AWS 建立索引并将它们发送到 Elasticsearch/Kibana。

我似乎找不到一个插件来完成这个。有没有人试过这个并且成功了？我不需要指标，只需要存储在 AWS Logs 中的日志。

【问题讨论】：

这个github.com/awslabs/cloudwatch-logs-subscription-consumer和github.com/awslabs/cloudwatch-logs-subscription-consumer/blob/…怎么样
谢谢！我去看看。
所以我正在尝试按原样使用此模板，只是想看看它如何与 kinesis 一起使用。我在模板的资源块中收到“模板验证错误：模板格式错误：未解决的资源依赖项 [AWS::AccountId,AWS::Region]”。有什么想法吗？

标签： amazon-web-services elasticsearch logstash amazon-cloudwatchlogs

【解决方案1】：

正如 BMW 已经发布的 pointed out 一样，AWS 刚刚推出了专用的 CloudWatch Logs Subscription Consumer，它通过相应的方式提供对完整 CloudWatch Logs + Elasticsearch + Kibana 堆栈的一键访问。 AWS CloudFormation 模板，如introductory blog post 中进一步说明。

鉴于您似乎有一个现成的 ELK 堆栈，调整 AWS sample template 以针对您自己的端点应该不会太复杂。

【讨论】：

谢谢。我将梳理一下，看看如何消除 ES/kibana 部分并将其附加到我的端点。
链接的教程比我想象的要难一些。这需要运动吗？
我复制了新的仪表板，现在我无法访问 Kibana 中的 ES 服务器。说连接失败，但 ES 正在运行。
如何修改它以便可以使用我现有的 ES 集群？我似乎找不到方法。

【解决方案2】：

为了使用 CloudFormation 模板（根据 BMW 的回答），需要对其进行自定义，其中一部分是将您的帐户 ID 和区域提供为 CF Resource。 AWS::AccountId 和 AWS::Region 是伪参数，它们返回正在创建堆栈的账户的 AWS 账户 ID，例如 123456789012，以及表示正在其中创建包含资源的 AWS 区域的字符串，例如作为 us-west-2。 (http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/pseudo-parameter-reference.html)

【讨论】：

【解决方案3】：

其他发帖者提到 CloudFormation 模板可以将您的日志流式传输到 Amazon Elasticsearch，但如果您想先通过 Logstash，这个 logstash 插件可能对您有用：

https://github.com/lukewaite/logstash-input-cloudwatch-logs/

此插件允许您将特定的 CloudWatch 日志组或与前缀匹配的一系列组提取到您的 Logstash 管道中，并按照您的意愿处理数据。它发布在 RubyGems 上，可以像普通的 Logstash 插件一样安装：bin/logstash-plugin install logstash-input-cloudwatch_logs。

【讨论】：

最好将重要内容复制到回复中但保留链接。