如何在云上运行 Cloud ML 预处理？答案

【问题标题】：How can I run a Cloud ML preprocessing on the cloud?如何在云上运行 Cloud ML 预处理？
【发布时间】：2016-09-30 08:36:34
【问题描述】：

预处理可以在本地和云端完成。我知道如何在本地运行它。

如何在云端运行它？

【问题讨论】：

标签： google-cloud-ml

【解决方案1】：

如果您使用 Datalab，只需在单元格中键入 %ml preprocess --cloud，生成的模板将具有云挂钩。

如果要更改现有代码，请将 DirectPipelineRunner 替换为 DataflowPipelineRunner。您还需要指定一些“命令行”参数。

这是一个例子：

RUNNER = 'DataflowPipelineRunner'
OUTPUT_DIR = 'gs://{0}/preprocessed_output/'.format(BUCKET)
options = {
    'staging_location': os.path.join(OUTPUT_DIR, 'tmp', 'staging')
    'temp_location': os.path.join(OUTPUT_DIR, 'tmp'),
    'job_name': 'preprocess' + '-' + datetime.datetime.now().strftime('%y%m%d-%H%M%S'),
    'project': PROJECT,
    'extra_packages': [ml.sdk_location],
    'teardown_policy': 'TEARDOWN_ALWAYS',
    'no_save_main_session': True
}
opts = beam.pipeline.PipelineOptions(flags=[], **options)
pipeline = beam.Pipeline(RUNNER, options=opts)

【讨论】：