【问题标题】:Installing private GitHub repositories on DataBricks在 DataBricks 上安装私有 GitHub 存储库
【发布时间】:2022-11-04 22:53:10
【问题描述】:
我在 Azure Databricks 作业上运行 Python wheels。 wheel 之一从 GitHub 导入私有存储库。在 Databricks 集群上安装 wheel 失败,因为 Databricks 上没有 SSH。
为 Databricks 环境提供 SSH 私钥的最优雅方式是什么?
【问题讨论】:
标签:
python
azure-databricks
ssh-keys
python-wheel
【解决方案1】:
这里是在 databricks 上安装 Git repo 的示例过程。
使用pip 之类的工具安装轮子。如果这是用于托管在 PyPI 上的项目,则将其留给工具来发现和下载文件。
pip install wheel
然后,您可以告诉pip 安装项目(如果可用,它将下载轮子),或者直接安装轮子文件:
pip install project_name # discover, download and install
pip install wheel_file.whl # directly install the wheel
wheel 模块,一旦安装,也可以从命令行运行,你可以使用它来安装已经下载的轮子:
python -m wheel install wheel_file.whl
另见https://wheel.readthedocs.io/en/stable/
为 Databricks 环境提供 SSH 私钥的方式。
通过 SSH 连接到 Spark 驱动程序:
打开集群配置页面。
单击高级选项。
单击 SSH 选项卡。
记下驱动程序主机名。
打开本地终端。
运行以下命令,替换主机名和私钥文件路径:
ssh ubuntu@<hostname> -p 2200 -i <private-key-file-path>
SSH上的文档请参考:https://learn.microsoft.com/en-us/azure/databricks/kb/clusters/azure-ssh-cluster-driver-node