【问题标题】:Installing private GitHub repositories on DataBricks在 DataBricks 上安装私有 GitHub 存储库
【发布时间】:2022-11-04 22:53:10
【问题描述】:

我在 Azure Databricks 作业上运行 Python wheelswheel 之一从 GitHub 导入私有存储库。在 Databricks 集群上安装 wheel 失败,因为 Databricks 上没有 SSH。

为 Databricks 环境提供 SSH 私钥的最优雅方式是什么?

【问题讨论】:

    标签: python azure-databricks ssh-keys python-wheel


    【解决方案1】:

    这里是在 databricks 上安装 Git repo 的示例过程。

    使用pip 之类的工具安装轮子。如果这是用于托管在 PyPI 上的项目,则将其留给工具来发现和下载文件。

    pip install wheel
    
    

    然后,您可以告诉pip 安装项目(如果可用,它将下载轮子),或者直接安装轮子文件:

    pip install project_name  # discover, download and install
    pip install wheel_file.whl  # directly install the wheel
    

    wheel 模块,一旦安装,也可以从命令行运行,你可以使用它来安装已经下载的轮子:

    python -m wheel install wheel_file.whl
    

    另见https://wheel.readthedocs.io/en/stable/

    为 Databricks 环境提供 SSH 私钥的方式。

    通过 SSH 连接到 Spark 驱动程序:

    打开集群配置页面。

    单击高级选项。

    单击 SSH 选项卡。

    记下驱动程序主机名。

    打开本地终端。

    运行以下命令,替换主机名和私钥文件路径:

    ssh ubuntu@<hostname> -p 2200 -i <private-key-file-path>
    

    SSH上的文档请参考:https://learn.microsoft.com/en-us/azure/databricks/kb/clusters/azure-ssh-cluster-driver-node

    【讨论】:

      猜你喜欢
      • 2021-10-21
      • 2023-03-25
      • 2020-11-19
      • 2021-11-24
      • 2019-05-03
      • 2013-09-23
      • 2020-09-19
      • 2011-06-17
      • 2014-06-06
      相关资源
      最近更新 更多