【发布时间】：2020-07-20 22:05:33
【问题描述】：
我有 pyspark 数据框，其中包含 3+ 百万条记录，有必要将其写入 Dynamo db。最好的方法是什么？
【问题讨论】：
-
问题是如何从python代码和巨大的数据帧中做到这一点
标签： python amazon-web-services dataframe pyspark amazon-dynamodb
【发布时间】：2020-07-20 22:05:33
【问题描述】：
如果你想使用 python 来做到这一点，那么你可以这样做：
- 用足够数量的文件保存 spark df，即如果文件大小为 5 GB，则生成 50 个 100 mb 的文件。
- 现在编写具有多处理功能的 Python 代码，其中您的进程池将等于可用 CPU 的数量。
- 使用 dynamodb 的 boto3 batch_writer 写入文件并并行处理所有文件。
为此，您可以使用粘合 python shell 或创建自己的容器并在 fargate 上启动它。
【讨论】：