databricks-connect 的非交互式配置

Question

我正在将开发环境设置为 Docker 容器映像。这将允许我和我的同事使用它作为解释器环境快速启动和运行。我们的预期工作流是在本地开发代码并在连接到各种数据源的 Azure Databricks 群集上执行它。为此，我正在考虑使用databricks-connect。

我正在运行 databricks-connect 的配置，显然它只是一个交互式过程。这导致每次运行 Docker 容器映像时都必须运行 databricks-connect configure 并提供各种配置值，这很可能会造成麻烦。

有没有办法以非交互方式配置 databricks-connect？ 这将允许我在开发环境中包含配置过程Dockerfile 并且只需要开发人员提供（重新）构建本地开发环境时的配置值。

Answer 1

是的 - 有可能，有不同的方法：

• 使用shell多行输入，像这样（取自here）——只需要定义正确的环境变量：

echo "y
$databricks_host
$databricks_token
$cluster_id
$org_id
15001" | databricks-connect configure

• 直接生成配置文件 - 您需要填写必要参数的只是 JSON。生成一次，查看~/.databricks-connect 并重复使用。

但实际上您可能根本不需要配置 - Databricks 连接可以从环境变量（如 DATABRICKS_ADDRESS）或 Spark 配置（如 spark.databricks.service.address）中获取信息 - 只需参考 official documentation。