AWS Kinesis 连接器库

Question

我正在开发一个实时流应用程序，它需要将信息发送到 AWS Kinesis 流并从那里发送到 AWS Redshift。根据我对文档的阅读和理解，以下是将信息从 Kinesis Streams 推送到 Redshift 的选项：

1. Kinesis Streams -> Lambda 函数 -> Redshift
2. Kinesis Streams -> Lambda 函数 -> Kinesis Firehose -> Redshift
3. Kinesis Streams -> Kinesis 连接器库 -> Redshift (https://github.com/awslabs/amazon-kinesis-connectors)

我发现 Kinesis 连接器选项是将信息从 Streams 移动到 Redshift 的最佳选择。但是，我无法理解我们在哪里部署这个库以及它是如何运行的？这是否需要在 EC2 实例上作为 lambda 函数或 java 函数运行。根据自述文件，我无法获得该信息。如果有人成功使用连接器，我将非常感谢您的见解。

Answer 1

如果您使用 Kinesis 连接器库，那么您希望将其部署在 EC2 实例上，但在我看来，使用没有连接器库的 Lambda 函数会更容易、更好。它处理批处理、扩展您的实例调用和重试。对于 Lambda + Kinesis，死信队列可能也即将推出。

基本上，在 Lambda 中扩展和处理故障要容易得多。