Amazon Kinesis Firehose 作为 cloudwatch 日志使用者

Question

我的要求是从 AWS 收集 VPC 流日志。我创建了一个 VPC 流日志并将其关联到云监视日志组“流日志组”。 从 CloudWatch 日志订阅中，我想通过 AWS Kinesis firehose 订阅它，但在订阅列表中我找不到“Kinesis Firehose”，只有“Lambda”和“ElasticSearch Service”。你能帮我解决这个问题吗？

我们不能使用 AWS Kinesis firehose 订阅 CloudWatch 日志。

Answer 1

Firehose arn 是 CloudWatch Logs 的有效订阅目标，但无法使用控制台设置，只能使用 API 或 CloudFormation。

我发现的大多数示例都使用控制台的 LogGroup 选项“流到 AWS Lambda”来提供 AWS Lambda，该 AWS Lambda 转发到 Amazon Kinesis Firehose，例如 How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs。

Using CloudWatch Logs Subscription Filters chapter of the Amazon CloudWatch Logs User Guide 有一个 Firehose Example (Example 3)，它可能更适合您的用例。

本质上，路径是Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix

有趣的事实：Amazon CloudWatch Logs 数据在传送到 Firehose 时已经 GZIPped。