我们正在为我们的一个仪表板应用程序设计一个大数据解决方案，并认真考虑将 Glue 用于我们的初始 ETL。目前 Glue 支持 JDBC 和 S3 作为目标，但我们的下游服务和组件将更好地与 dynamodb 配合使用。我们想知道最终将记录从 Glue 移动到 Dynamo 的最佳方法是什么。
我们是否应该先写入 S3，然后运行 lambdas 将数据插入 Dynamo？这是最佳做法吗？要么 我们是否应该为 Dynamodb 使用第三方 JDBC 包装器并使用 Glue 直接写入 Dynamo（不确定这是否可能，听起来有点吓人）或者 我们应该做点别的吗？
非常感谢任何帮助。谢谢！
【问题讨论】：
标签： amazon-s3 amazon-dynamodb etl aws-glue
您可以将以下行添加到您的 Glue ETL 脚本中：
glueContext.write_dynamic_frame.from_options(frame =DynamicFrame.fromDF(df, glueContext, "final_df"), connection_type = "dynamodb", connection_options = {"tableName": "pceg_ae_test"})
df 应该是 DynamicFrame 类型
【讨论】：
我可以使用 boto3 进行编写...绝对不是最好的加载方法，而是它的工作方法。 :)
dynamodb = boto3.resource('dynamodb','us-east-1') table =
dynamodb.Table('BULK_DELIVERY')
print "Start testing"
for row in df1.rdd.collect():
var1=row.sourceCid
print(var1) table.put_item( Item={'SOURCECID': "{}".format(var1)} )
print "End testing"
【讨论】：
对于您的工作负载，Amaon 实际上建议使用 data pipelines。
它绕过胶水。所以它主要用于将 S3 文件加载到 Dynamo。但它可能会起作用。
【讨论】：