如何在 Python 2 中加载 Python 3 Pickled SKlearn 模型

Question

我有一个 Python 3.6 脚本，用于训练 SKLearn 模型，然后使用以下代码保存模型：

with open('filepath', 'wb') as f:
    pickle.dump(trained_model, f, protocol=2)

当我尝试在 python 3.6 中加载泡菜时，一切正常：

>>with open('filepath', 'rb') as f:
>>    model = pickle.load(f)
>>
>>model

RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',
        max_depth=None, max_features='auto', max_leaf_nodes=None,
        min_impurity_decrease=0.0, min_impurity_split=None,
        min_samples_leaf=1, min_samples_split=2,
        min_weight_fraction_leaf=0.0, n_estimators=80, n_jobs=1,
        oob_score=False, random_state=None, verbose=0,
        warm_start=False)

当我在 Python 2.7 中运行相同的 pickle.load 命令时，我收到以下错误：

>>with open('filepath', 'rb') as f:
>>    model = pickle.load(f)

ValueError: non-string names in Numpy dtype unpickling

查看文档和类似案例，将协议设置为 2应该使 pickle 文件兼容。是什么导致了这个问题，我该如何解决？

Answer 1

您可以使用pickle._load() 代替.load() 到force using a pure-Python implementation 并获得更有用的回溯。

如果错误部分在 numpy 的代码中，您仍然需要使用 C 调试器或手动跟踪源代码...
...或使用 @987654323 @ 在输入到 numpy 的 unpickling 例程的部分上，并尝试猜测它有什么问题！

• pickletools.dis() 为你做这件事！它会打印出包含偏移量的 pickle 数据的反汇编。尽管您可能仍需要规范来找出违规的性质。

也就是说，3.4. Model persistence — scikit-learn 0.19.1 documentation 确实警告说不支持在另一个版本和/或架构中加载模型数据，并建议改为保存源材料。