如何将参数传递给 Azure 机器学习服务中的训练脚本？

Question

我正在尝试使用我的工作区ws 中的ScriptRunConfig 对象在 Azure VM 上本地在 Azure 机器学习服务中提交实验，如

from azureml.core import ScriptRunConfig    
from azureml.core.runconfig import RunConfiguration
from azureml.core import Experiment

experiment = Experiment(ws, name='test')
run_local = RunConfiguration()

script_params = {
    '--data-folder': './data',
    '--training-data': 'train.csv'
}

src = ScriptRunConfig(source_directory = './source_dir', 
                      script = 'train.py', 
                      run_config = run_local, 
                      arguments = script_params)

run = experiment.submit(src)

但是，这失败了

实验执行异常：{ “错误详情”： { “相关性”： { “操作”：“bb12f5b8bd78084b9b34f088a1d77224”， “请求”：“iGFP+sjC34Q=” }, “错误”： { “代码”：“用户错误”， "message": "无法反序列化运行定义"

更糟糕的是，如果我将数据文件夹设置为使用数据存储（我可能需要这样做）

script_params = {
    '--data-folder': ds.path('mydatastoredir').as_mount(),
    '--training-data': 'train.csv'
}

错误是

UserErrorException：具有非本机 python 类型值的字典是 在运行配置中不受支持。
{'--数据文件夹': $AZUREML_DATAREFERENCE_d93269a580ec4ecf97be428cd2fe79， '--training-data': 'train.csv'}

我不太明白我应该如何将我的 script_params 参数传递给我的 train.py（很遗憾，the documentation of ScriptRunConfig 没有包含很多细节）。

有人知道在这两种情况下如何正确创建src 吗？

Answer 1

将参数传递给 ScriptRunConfig 和 RunConfig 的正确方法是按照https://docs.microsoft.com/nb-no/python/api/azureml-core/azureml.core.runconfiguration?view=azure-ml-py 的字符串列表。

修改后的工作代码如下。

from azureml.core import ScriptRunConfig    
from azureml.core.runconfig import RunConfiguration
from azureml.core import Experiment

experiment = Experiment(ws, name='test')
run_local = RunConfiguration()

script_params = [
    '--data-folder',
    './data',
    '--training-data',
    'train.csv'
]

src = ScriptRunConfig(source_directory = './source_dir', 
                      script = 'train.py', 
                      run_config = run_local, 
                      arguments = script_params)

run = experiment.submit(src)

Answer 2

最后我放弃了ScriptRunConfig 并使用Estimator 传递script_params（在配置了计算目标之后）：

estimator = Estimator(source_directory='./mysourcedir',
                      script_params=script_params,
                      compute_target='cluster',
                      entry_script='train.py',
                      conda_packages = ["pandas"],
                      pip_packages = ["git+https://github.com/..."], 
                      use_docker=True,
                      custom_docker_image='<mydockeraccount>/<mydockerimage>')

这也允许我安装我的 pip_packages 依赖项，方法是在 https://hub.docker.com/ 上安装一个从 Dockerfile 创建的 custom_docker_image Docker 映像，例如：

FROM continuumio/miniconda
RUN apt-get update
RUN apt-get install git gcc g++ -y

（成功了！）