AWS Lambda 每天向 Redshift 查询一次答案

【问题标题】：AWS Lambda query to Redshift once a dayAWS Lambda 每天向 Redshift 查询一次
【发布时间】：2020-11-13 23:24:11
【问题描述】：

我对 AWS 生态系统相当陌生，尤其是在数据方面。

我有一个项目要求我每 24 小时自动对 Redshift 中的表运行一次查询，并且可能会删除该查询结果中的一些列，并使用 RESTful API 来访问第 3 方站点的一些端点以进行进一步检查.

我对此有几个问题。

谢谢，山姆。

【问题讨论】：

【解决方案1】：

我会尽力回答你的问题：

是的，没有理由不这样做。
这完全取决于您的偏好。所有语言都为您的用例提供支持。
这很好。当您使用 IAM 管理更多访问权限时，您只需要查看您的 lambda 函数的出口流量是否得到正确监控。
那里有很多。只要有一个look。
您可以使用 CRON 字符串设置 CloudWatch 规则，该规则将根据需要调用您的函数。此外，您还可以为您的函数设置许多其他触发器，例如 DynamoDB 流、CloudWatch 日志事件……有无限可能。
如果您只是想定期查询以收集一些数据，那么您的数据实际存储在哪里没有区别。

【讨论】：

【解决方案2】：

通常您会发现许多 AWS 工具都能够解决相同的问题。正确的选择取决于您的优先事项。您在寻找什么成本最低？效率？方便吗？

我在下面回答你的问题：

将 AWS Lambda (Python) 和 Redshift 用于此类任务是否是一种好的使用模式？ 好的，可以。 Redshift 通常是一项非常昂贵的服务，您确定这里需要 Redshift 吗？

我应该为 AWS Lambda 选择 Java、Python 还是 NodeJS？哪一个对查询 Redshift 的支持更好？

如果您想避免冷启动，Java 将要求每 5 分钟左右调用一次事件桥接。除此之外，这真的取决于你。

Lambda 和 Redshift 将在同一个 VPC 中，并且为出口 NAT 网关使用相同的私有子网，这是安全设置吗？ 没关系，但 NAT 网关又很昂贵。根据您尝试解决的问题，可能会有一些解决方法。

有任何示例代码可以分享这个设置吗？ https://aws.amazon.com/blogs/big-data/building-an-event-driven-application-with-aws-lambda-and-the-amazon-redshift-data-api/

AWS Lambda 是否有一个每 24 小时触发一次的定期调度程序？还是仅仅基于事件？ 是的，您可以使用 cron 或类似的方法来使用事件桥对 lambda 触发器进行编程。

由于应用程序数据库位于 DynamoDB 中，设置 AWS Lambda 来查询 DynamoDB 以获取类似数据是否更高效、更容易？ 我对最后一个问题有点困惑，但通常很容易从 lambda 查询 Dynamo。

编辑：错字

【讨论】：