【问题标题】:Databricks repos - unable to use dbutils.notebook.run with absolute pathDatabricks repos - 无法使用绝对路径的 dbutils.notebook.run
【发布时间】:2022-04-22 05:23:13
【问题描述】:

我无法获得使用 dbutils.notebook.run() 的绝对路径。使用带有 dbutils.fs.ls 的绝对路径(使用“file:/Workspace/Repos/user_email/Datalake/databricks/models/notebook”)返回一个 FileInfo 对象。使用 dbutils.notebook.run(path) 运行相同的文件路径字符串确实会开始运行作业,但是会出现找不到笔记本的错误。该错误包括一个路径,该路径是相对文件路径(我从中运行 dbutils.notebook.run() 命令的笔记本的)与引用笔记本的路径 I 的组合。

似乎 dbutils.notebook.run 无法通过 repos 访问 notebooks absolute?

提前致谢。

【问题讨论】:

    标签: azure-databricks databricks-repos


    【解决方案1】:

    /Workspace/Repos/user_email/... 是驱动程序机器上的路径,它是集群节点的本地路径。它适用于dbutils.fs.ls,因为它适用于不同类型的文件。此路径是实际笔记本/文件的特殊复制,位于工作空间内的路径/Repos/user_email/...

    另一方面,dbutils.notebook.run 适用于工作区中的笔记本,而不适用于文件,因此您需要将该路径指定为 /Repos/user_email/...,但最好使用相对路径,因为它更便携,例如,如果其他人会使用存储库中的代码。

    【讨论】:

    • 我正在使用 os.cwd() 等来改变绝对路径,上面的路径是一个例子。但是它可以跳过工作区部分,谢谢!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-20
    • 1970-01-01
    • 2021-11-13
    • 1970-01-01
    相关资源
    最近更新 更多