为什么要使用 AWS Kinesis Firehose 在 Amazon AWS ElasticSearch 前面

Question

我看到几个应用程序将数据发送到 AWS Kinesis Firehose，然后自动传输到 AWS ElasticSearch。您可以直接写入 AWS ElasticSearch。如果我不需要任何类型的数据转换并且我可以直接将数据写入 ElasticSearch，那么使用 AWS Kinesis Firehose 将 ElasticSearch 放在前面仍然可以提供任何优势。比如它是否可以保护 ElasticSearch 免受流量高峰等影响？

Answer 1

除了转换之外，可以考虑将 Firehose 放在 AWS ES 前面的以下原因：

1. 更好地控制流数据

由于 Elasticsearch 对写入队列大小有限制，如果有几秒钟的数据突发，ES 可能会抛出拒绝，如果它不会 能够在有限的数据中写入数据。在此，你将结束 up 丢失被拒绝的数据。

但是，当 Firehose 保持在前面时，它会为您处理重试，并且数据丢失的可能性会更小。

1. Firehose 是通向 ES 的一种方式

您的 ES 集群可能包含机密数据，如果您是 允许用户发出 POST 请求（某些写入需要），您 可能会将集群暴露给超过所需的用户。消防水带罐 通过仅提供写入应用程序/用户来帮助您限制这一点 访问 FH 流而不是 ES 集群。