【问题标题】:Is there IO functionality to store trained models in kedro?是否有 IO 功能可以在 kedro 中存储经过训练的模型?
【发布时间】:2020-05-11 19:19:39
【问题描述】:

IO section of the kedro API docs 中,我找不到 w.r.t. 的功能。存储经过训练的模型(例如.pkl.joblibONNXPMML)?我错过了什么吗?

【问题讨论】:

    标签: python kedro


    【解决方案1】:

    kedro.io 中有 pickle 数据集,您可以使用它来保存经过训练的模型和/或您想要腌制的任何东西,并且是可序列化的(模型是一个常见的对象)。它接受backend,默认为pickle,但如果您想改用joblib,可以设置为joblib

    我只想快速指出,Kedro 正在将其数据集转移到 kedro.extras.datasets,并从 kedro.io 中转移非核心数据集。您可能想查看 kedro.extras.datasets 和 Kedro 0.16 及更高版本的 pickle.PickleDataSet 以及 joblib 支持。

    如果您想查看示例,文档中的 Kedro spaceflights 教程实际上使用 pickle 数据集保存了经过训练的线性回归模型。相关部分是here

    【讨论】:

    • 啊,完全错过了kedro.io.PickleLocalDataSetkedro.io.PickleS3DataSet。谢谢!
    【解决方案2】:

    https://kedro.readthedocs.io/en/latest/kedro.extras.datasets.pickle.PickleDataSet.html 中有 PickleDataSet,PickleDataSet 中的 joblib 支持将在下一版本中提供(请参阅https://github.com/quantumblacklabs/kedro/blob/develop/RELEASE.md

    【讨论】:

    • 很高兴听到.joblib 支持即将添加! :thumbup:
    猜你喜欢
    • 2015-09-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-01-22
    • 1970-01-01
    • 1970-01-01
    • 2021-07-23
    相关资源
    最近更新 更多