【发布时间】:2020-05-11 19:19:39
【问题描述】:
在IO section of the kedro API docs 中,我找不到 w.r.t. 的功能。存储经过训练的模型(例如.pkl、.joblib、ONNX、PMML)?我错过了什么吗?
【问题讨论】:
在IO section of the kedro API docs 中,我找不到 w.r.t. 的功能。存储经过训练的模型(例如.pkl、.joblib、ONNX、PMML)?我错过了什么吗?
【问题讨论】:
kedro.io 中有 pickle 数据集,您可以使用它来保存经过训练的模型和/或您想要腌制的任何东西,并且是可序列化的(模型是一个常见的对象)。它接受backend,默认为pickle,但如果您想改用joblib,可以设置为joblib。
我只想快速指出,Kedro 正在将其数据集转移到 kedro.extras.datasets,并从 kedro.io 中转移非核心数据集。您可能想查看 kedro.extras.datasets 和 Kedro 0.16 及更高版本的 pickle.PickleDataSet 以及 joblib 支持。
如果您想查看示例,文档中的 Kedro spaceflights 教程实际上使用 pickle 数据集保存了经过训练的线性回归模型。相关部分是here。
【讨论】:
kedro.io.PickleLocalDataSet 和kedro.io.PickleS3DataSet。谢谢!
https://kedro.readthedocs.io/en/latest/kedro.extras.datasets.pickle.PickleDataSet.html 中有 PickleDataSet,PickleDataSet 中的 joblib 支持将在下一版本中提供(请参阅https://github.com/quantumblacklabs/kedro/blob/develop/RELEASE.md)
【讨论】:
.joblib 支持即将添加! :thumbup: