是否可以在 aws lambda 中使用 bigquery？

Question

我想编写一个 python 函数，每次在我的 S3 存储桶中发生 put 事件时将数据发送到 Bigquery，但我是 AWS 的新手，是否可以将 bigquery 与 lambda 函数集成？或者有人可以给我另一种方式将我的 dynamodb 数据流式传输到 bigquery？谢谢我的语言是python N.B：我使用 dynamostream firehose 在 S3 中发送我的数据现在我想在每次发生 put 事件时从 s3 检索我的数据以将其发送到 bigquery。

Answer 1

网上已经有很多关于“如何在 S3 上放置对象后触发 lambda”的资源。

但这里有一些链接可以帮助您进行设置：

• 当您的 S3 存储桶上发生某些操作时，您将需要设置一个 EventBridge（CloudWatch Events 是旧的）来触发您的 Lambda： https://aws.amazon.com/fr/blogs/compute/using-dynamic-amazon-s3-event-handling-with-amazon-eventbridge/

• 您可以使用 boto3 Python 框架来编写 AWS Lambda： https://boto3.amazonaws.com/v1/documentation/api/latest/index.html

• 您可以通过 GCP 检查 BigQuery Python SDK 以与您的 BQ 数据库进行通信：https://googleapis.dev/python/bigquery/latest/index.html