如何序列化 pyspark Pipeline 对象？答案

【问题标题】：How to serialize a pyspark Pipeline object?如何序列化 pyspark Pipeline 对象？
【发布时间】：2016-08-07 15:04:29
【问题描述】：

我正在尝试序列化 PySpark Pipeline 对象，以便以后可以保存和检索它。尝试使用 Python pickle 库以及 PySpark 的 PickleSerializer，dumps() 调用本身失败。

在使用原生 pickle 库时提供代码 sn-p。

pipeline = Pipeline(stages=[tokenizer, hashingTF, lr])
with open ('myfile', 'wb') as f:
   pickle.dump(pipeline,f,2)
with open ('myfile', 'rb') as f:
   pipeline1 = pickle.load(f)

运行时出现以下错误：

py4j.protocol.Py4JError: An error occurred while calling o32.__getnewargs__. Trace:
py4j.Py4JException: Method __getnewargs__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)
    at py4j.Gateway.invoke(Gateway.java:252)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:209)
    at java.lang.Thread.run(Thread.java:785)

是否可以序列化 PySpark Pipeline 对象？

【问题讨论】：

标签： python apache-spark serialization pyspark apache-spark-ml

【解决方案1】：

从技术上讲，您可以轻松地腌制Pipeline 对象：

from pyspark.ml.pipeline import Pipeline
import pickle

pickle.dumps(Pipeline(stages=[]))
## b'\x80\x03cpyspark.ml.pipeline\nPipeline\nq ...

你不能腌制的是 Spark Transformers 和 Estimators，它们只是 JVM 对象的薄包装。如果你真的需要这个，你可以将它包装在一个函数中，例如：

def make_pipeline():
    return Pipeline(stages=[Tokenizer(inputCol="text", outputCol="words")])

pickle.dumps(make_pipeline)
## b'\x80\x03c__ ...

但由于它只是一段代码并且不存储任何持久性数据，因此看起来并不是特别有用。

【讨论】：

这在我尝试使用空的 Pipeline 对象 - pickle.dumps(Pipeline(stages=[])) 时有效，但是当我尝试使用阶段腌制 Pipeline 对象时，它仍然失败。尝试了您提出的方法格式，但如果我尝试 pickle.dumps(make_pipeline())，它仍然会失败并出现相同的错误。
我会 :) 再看看我的代码 pickle.dumps(make_pipeline) 和你的 pickle.dumps(make_pipeline)。我只腌制一个可用于生成 Pipeline 的对象，没有 Pipeline 本身。