使用 Apache Spark Notebook 覆盖 Bluemix 对象存储中的 Parquet 文件答案

【问题标题】：Overwriting Parquet File in Bluemix Object Storage with Apache Spark Notebook使用 Apache Spark Notebook 覆盖 Bluemix 对象存储中的 Parquet 文件
【发布时间】：2016-05-12 12:39:04
【问题描述】：

我正在运行 Spark Notebook 以将 DataFrame 作为 Parquet 文件保存在 Bluemix 对象存储中。

我想在重新运行笔记本时覆盖 Parquet 文件。但实际上它只是附加数据。

下面是 iPython 代码示例：

df = sqlContext.sql("SELECT * FROM table")
df.write.parquet("swift://my-container.spark/simdata.parquet", mode="overwrite")

【问题讨论】：

标签： apache-spark ipython ibm-cloud parquet object-storage

【解决方案1】：

我不是 python 人，但 SaveMode 为这样的数据框工作

df.write.mode(SaveMode.Overwrite).parquet("swift://my-container.spark/simdata.parquet")

【讨论】：

我尝试关注df.write.mode("overwrite").parquet("swift://my-container.spark/simdata.parquet")，如此处所述Spark SQL Save Modes 但它仍在附加：/
你能去你的 4040 端口看看正在运行的作业吗
我的意思是你的代码中是否有任何可能先写入数据然后附加它。
我查看了代码，就这一行，我写数据的地方

【解决方案2】：

我认为blockstorage只替换了'simdata.parquet'，'PART-0000*'仍然是'simdata.parquet'和app-id的'UUID'，当你尝试读取时，DF读取了所有带有“simdata.parquet*”的文件

【讨论】：