【发布时间】：2018-09-08 14:02:08
【问题描述】：
我必须将数据框保存到 Pickle 文件，但它返回错误
df.saveAsPickleFile(path)
AttributeError: 'Dataframe' 对象没有属性 'saveAsPickleFile'
【问题讨论】：
-
@moghya 我正在寻找 Pyspark 而不是 Pandas 的解决方案。请检查标签和标题。
【发布时间】：2018-09-08 14:02:08
【问题描述】：
saveAsPickleFile 是RDD 的方法，而不是数据框的方法。
请参阅此文档： http://spark.apache.org/docs/latest/api/python/pyspark.html?highlight=pickle
所以你可以打电话：
df.rdd.saveAsPickleFile(filename)
要从文件中加载它，运行：
pickleRdd = sc.pickleFile(filename).collect()
df2 = spark.createDataFrame(pickleRdd)
【讨论】：
-
感谢您的回答，所以如果我知道有必要将我的数据帧转换为 RDD 然后将其保存到 Pickle？
-
是和不是。是的，rdd 步骤是必要的，因为它是一种 rdd 方法。不，这不是转换。 rdd 是位于 dataFrame 下一个抽象层的类型。所以“转换”是没有成本的