使用python将databricks数据帧写入S3

【问题标题】：Writing databricks dataframe to S3 using python使用python将databricks数据帧写入S3
【发布时间】：2020-01-02 07:44:45
【问题描述】：

我有一个名为 df 的数据块数据框。我想将它作为 csv 文件写入 S3 存储桶。我有 S3 存储桶名称和其他凭据。我检查了这里提供的在线文档https://docs.databricks.com/spark/latest/data-sources/aws/amazon-s3.html#mount-aws-s3，它说使用以下命令

dbutils.fs.mount(s"s3a://$AccessKey:$SecretKey@$AwsBucketName", s"/mnt/$MountName", "sse-s3")

dbutils.fs.put(s"/mnt/$MountName", "<file content>")

但我拥有的是数据框而不是文件。我怎样才能实现它？

【问题讨论】：

试试df.write.csv('/mnt/mountname/filename.csv') 或更多选项见spark.apache.org/docs/latest/…

标签： apache-spark amazon-s3 pyspark databricks

【解决方案1】：

我遇到了同样的问题。我找到了两个解决方案

1srt

df
.write \
.format("com.databricks.spark.csv") \
.option("header", "true") \
.save("s3a://{}:{}@{}/{}".format(ACCESS_KEY, SECRET_KEY, BUCKET_NAME, DIRECTORY)))

工作就像一个魅力。

第二次

你确实可以挂载一个 S3 存储桶，然后像这样直接向它写入一个文件：

#### MOUNT AND READ S3 FILES
AWS_BUCKET_NAME = "your-bucket-name"
MOUNT_NAME = "a-directory-name"
dbutils.fs.mount("s3a://%s" % AWS_BUCKET_NAME, "/mnt/%s" % MOUNT_NAME)
display(dbutils.fs.ls("/mnt/%s" % MOUNT_NAME))

#### WRITE FILE 

df.write.save('/mnt/{}/{}'.format(MOUNT_NAME, "another-directory-name"), format='csv')

这也将同步到您的 S3 存储桶。

【讨论】：