云作曲家 + 云毫升引擎教程？答案

【问题标题】：cloud composer + cloud ml engine tutorial?云作曲家 + 云毫升引擎教程？
【发布时间】：2018-08-26 14:09:29
【问题描述】：

我找不到云 ML 引擎 + 气流的教程，请有人帮忙部署一个云 ML 引擎模型并与气流协调，以便每小时使用新数据运行训练

【问题讨论】：

【解决方案1】：

您可以使用 Composer 快速入门 here 和 Airflow ML Engine 操作员文档 here 来安排 ML Engine 作业。当您在 MLEngine 上训练作业时，模型包会在 GCS 上创建，甚至可以手动创建。如果您打算进行超参数优化，那么您的包将需要包含一个 setup.py，如 here 所述。

下面是 iris scikit 模型的 DAG 示例 (reference here)-

with models.DAG(
        'composer_sample_ml',
        # Continue to run DAG once per day
        schedule_interval=datetime.timedelta(days=1),
        default_args=default_dag_args) as dag:

    train_model = mlengine_operator.MLEngineTrainingOperator(
        task_id='train_model',
        project_id='PROJECT_ID',
        job_id='{}_{}'.format('iris_train_job', str(uuid.uuid4())),
        package_uris='gs://BUCKET_ID/scikit_learn_job_dir/packages/PACKAGE_ID/iris_sklearn_trainer-0.1.tar.gz',
        training_python_module='iris_sklearn_trainer.iris',
        training_args=["--jobDir='gs://BUCKET_ID/scikit_learn_job_dir'"],
        region='us-central1',
        scale_tier='BASIC',
        runtimeVersion = '1.8',
        pythonVersion = '2.7'
    )

    train_model

【讨论】：

我对超参数调优有疑问。当我使用 python api 时，我将 hp_spec 作为 json 的一部分。在这种情况下，我不清楚如何通过所有规范
@PabloV。你试过打包类似iris samplehere的训练任务吗？本质上，HP 规范位于 hptuning_config.yaml 中，并且该软件包应该有 setup.py 以便被拾取。

【解决方案2】：

这是一个包含 ML Engine 和 Composer 的教程：https://cloud.google.com/solutions/machine-learning/recommendation-system-tensorflow-deploy

【讨论】：

【解决方案3】：

作为可能在 2020 年 6 月之后查看的任何人的更新，除了上述资源之外，这两个 PR 还包括对示例 DAG 的更新和针对这些运算符的指南。我认为它们尚未在文档中更新，但一旦更新，我会尝试更新

【讨论】：