将 Pyspark 数据帧写入 S3 [重复]

Question

您好，我是 pyspark 的新手，我有一个使用以下方法形成的数据框：

spark = SparkSession.builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

df = spark.read.option("header",True).csv("input.csv")

我现在想将此 df 写入 s3，但我已经尝试了所有在线可用的方法，但没有任何帮助。

我第一次尝试设置这个

spark.sparkContext.hadoopConfiguration.set("fs.s3n.access.key", "my access key")
spark.sparkContext.hadoopConfiguration.set("fs.s3n.secret.key", "my secret key")
spark.sparkContext.hadoopConfiguration.set("fs.s3n.endpoint", "s3.amazonaws.com")

但是为此我得到了错误：

AttributeError: 'SparkContext' object has no attribute 'hadoopConfiguration'

我也尝试了以下不同的写法：

df.write.option("header","true").csv("s3://mypath")
df.write.parquet("s3://mypath", mode="overwrite")
df.coalesce(1).write.format('csv').mode('overwrite').option("header", "false")\
.save("s3://mypath")

但是对于所有这些，我得到了同样的错误：

: java.io.IOException: No FileSystem for scheme: s3

我是新手，我真的不知道该怎么做。谁能帮帮我？

Answer 1

只需将配置更改为：

spark.sparkContext._jsc.hadoopConfiguration().set("fs.s3n.access.key", "my access key")
spark.sparkContext._jsc.hadoopConfiguration().set("fs.s3n.secret.key", "my secret key")
spark.sparkContext._jsc.hadoopConfiguration().set("fs.s3n.endpoint", "s3.amazonaws.com")