CloudWatch 订阅过滤器：使用 lambda 或直接订阅

Question

我正在探索 CloudWatch Logs 流到 Firehose。据我所知，Cloudwatch 订阅过滤器是一个触发 lambda 以消化 CloudWatch 日志并将其发送到不同目的地（ElasticSearch 或 Firehose 或......另一个自定义 lambda）的事件。如果我错了，请纠正我。

我对 Cloudwatch Logs Stream to Firehose 的担忧是：

1/ 在性能+定价方面，有什么区别：

• Cloudwatch 订阅过滤器 -> Firehose
• Cloudwatch 订阅过滤器 -> Lambda -> Firehose

2/ Firehose 从 Cloudwatch 收到哪种数据格式？

• Cloudwatch 订阅过滤器 -> Firehose：我不知道
• Cloudwatch 订阅过滤器 -> Lambda -> Firehose ：我认为 lambda 可以将日志转换为 JSON，然后将其放入 Firehose。

欢迎提出任何建议。

Answer 1

1. 就性能+定价而言，[拥有 lambda 与直接使用 firehose 有什么区别吗？]：

是的。在性能方面，您会看到稍长的延迟，因为您的数据必须通过 lambda 才能到达 firehose，但很可能这种增加根本无关紧要。您将获得在您的 firehose 前面具有可定制处理步骤的灵活性 - 一个执行额外转换或更智能过滤的机会。

注意，当直接发送到消防软管时，您会失去 CloudWatch 的自动压缩功能 - 如果您想要压缩，您必须自己设置（可能在消防软管上）。此外，您将支付 lambda 调用来处理中间步骤。 Check the pricing page 看看这是否真的重要。

1. Firehose 从 Cloudwatch 接收哪种数据格式？

直接使用 firehose 时，您会得到 firehose's output configuration（文件中附加的一堆记录），其中每条记录都是 CloudWatch 日志输出：

{
    "owner": "123456789012",
    "logGroup": "CloudTrail",
    "logStream": "123456789012_CloudTrail_us-east-1",
    "subscriptionFilters": [
        "Destination"
    ],
    "messageType": "DATA_MESSAGE",
    "logEvents": [
        {
            "id": "31953106606966983378809025079804211143289615424298221568",
            "timestamp": 1432826855000,
            "message": "{\"eventVersion\":\"1.03\",\"userIdentity\":{\"type\":\"Root\"}"
        },
        ...
    ]
}

（取自the SubscriptionFilter docs）

使用 lambda 时：

Lambda 接收到的实际负载格式如下 { "awslogs": {"data": "BASE64ENCODED_GZIP_COMPRESSED_DATA"} }

（也来自上面链接的文档）

其中data 是上面的（编码、压缩的）CloudWatch 输出对象。

鉴于您编写了 lambda，您可以将 任何您想要的输出到 firehose。请记住，firehose 将执行与上述相同的操作，将多条记录附加到每个输出文件中。

---

请注意：make sure to scale your firehose appropriately - 如果您不小心，并且规模不足，firehose puts 将开始失败，您将开始删除日志数据。确保您正在监控故障！