【问题标题】:AMLS Experiment run stuck in status "Running"AMLS 实验运行卡在“正在运行”状态
【发布时间】:2020-11-06 23:53:17
【问题描述】:

我使用 Jupyter Notebook 运行了 Azure 机器学习服务实验并记录了神经网络损失。日志记录工作正常,NN 训练按预期完成。但是,实验卡在了运行状态。关闭计算资源不会关闭实验运行,我无法从实验面板中取消它。此外,运行没有任何日志文件。

有没有人有同样的行为?跑步现已持续超过 24 小时。

【问题讨论】:

    标签: python azure neural-network jupyter-notebook azure-machine-learning-service


    【解决方案1】:

    这完全不时发生。这当然令人沮丧,尤其是因为“取消”按钮变灰了。您可以使用 CLI 或 Python SDK 来取消运行。

    SDK

    >= 1.16.0

    1.16.0 版本开始,您不再需要Experiment 对象。相反,您可以直接使用RunWorkspace 对象进行访问

    from azureml.core import Workspace, Experiment, Run, VERSION
    print("SDK version:", VERSION)
    
    ws = Workspace.from_config()
    
    run = ws.get_run('YOUR_RUN_ID')
    run = Run().get(ws, 'YOUR_RUN_ID') # also works
    run.cancel()
    

    from azureml.core import Workspace, Experiment, Run, VERSION
    print("SDK version:", VERSION)
    
    ws = Workspace.from_config()
    exp = Experiment(workspace = ws, name = 'YOUR_EXP_NAME')
    
    run = Run(exp, run_id='YOUR STEP RUN ID')
    
    run.cancel() # or run.fail()
    

    命令行

    More CLI details here

    az login
    az ml run cancel --run YOUR_RUN_ID
    

    【讨论】:

    • 我试过SDK,没用。通常 SDK 可以工作,但是这个实验是由服务主体提交的。 CLI 也不起作用。有什么建议吗?
    猜你喜欢
    • 2013-10-18
    • 1970-01-01
    • 1970-01-01
    • 2021-04-11
    • 1970-01-01
    • 1970-01-01
    • 2021-06-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多