使用没有管道的 Kubeflow 保存模型工件答案

【问题标题】：Saving model artifacts with Kubeflow without Pipeline使用没有管道的 Kubeflow 保存模型工件
【发布时间】：2019-12-30 09:13:52
【问题描述】：

我现在在我的 jupyterhub 环境中使用 mlflow 进行模型跟踪，我觉得很容易通过调用 run 来跟踪 mlflow 中的工件：

with mlflow.start_run():
    lr = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, random_state=42)
    lr.fit(train_x, train_y)

    predicted_qualities = lr.predict(test_x)

    (rmse, mae, r2) = eval_metrics(test_y, predicted_qualities)

    mlflow.log_param("alpha", alpha)
    mlflow.log_param("l1_ratio", l1_ratio)
    mlflow.log_metric("rmse", rmse)
    mlflow.log_metric("r2", r2)
    mlflow.log_metric("mae", mae)

    mlflow.sklearn.log_model(lr, "model")

我现在要搬到 Kubeflow，但不确定是否可以在不创建管道的情况下在这里做同样的事情。我能找到的是：

client.run_pipleline(exp.id, ....)

有什么方法可以跟踪 Kubeflow 中的 mlflow 等实验吗？

【问题讨论】：

标签： python kubeflow mlflow

【解决方案1】：

使用 Kubeflow 0.6，您可以做到这一点（至少在 Juypter Notebooks 中，不要认为它与 Kubeflow Pipelines 集成）。

这里有一个示例：https://github.com/kubeflow/metadata/blob/master/sdk/python/sample/demo.ipynb

如果链接将来失效，请在此处复制一些 sn-ps：

from kubeflow.metadata import metadata

# Create a workspace and use similar APIs to create execution
ws1 = metadata.Workspace(
    # Connect to metadata-service in namesapce kubeflow in k8s cluster.
    backend_url_prefix="metadata-service.kubeflow:8080",
    name="ws1",
    description="a workspace for testing",
    labels={"n1": "v1"})

在给定的exec 中记录数据：

data_set = exec.log_input(
        metadata.DataSet(
            description="an example data",
            name="mytable-dump",
            owner="owner@my-company.org",
            uri="file://path/to/dataset",
            version="v1.0.0",
            query="SELECT * FROM mytable"))
assert data_set.id
print("data set id is %s" % data_set.id)

【讨论】：