【问题标题】:Airflow: Storing a Connection in Environment Variables , for databricks connection气流:在环境变量中存储连接,用于数据块连接
【发布时间】:2021-04-23 07:47:57
【问题描述】:

我想将我的数据块连接信息存储为环境变量。 如

中所述

https://airflow.apache.org/docs/apache-airflow/stable/howto/connection.html#:~:text=create%20the%20connection.-,Editing%20a%20Connection%20with%20the%20UI,button%20to%20save%20your%20changes.

我也在关注以下内容: https://docs.databricks.com/dev-tools/data-pipelines.html

它说将登录设置为:{“token”: “abc”, “host”:"123"} 我不确定要导出什么……有人知道吗?我有令牌等……但是导出语句是什么?

【问题讨论】:

  • 我注意到该指南使用了奇怪的 pip 安装。它在提供程序上使用 apache-airflow[databricks]。我可以使用普通的提供者吗??
  • 您的连接是否已配置并正常工作,但您不知道如何将其导出以将其用作环境变量?或者你不知道如何在Airflow's URI之后创建连接?
  • 我不确定在 uri 中,在 ui 中为用户设置令牌,主机字符串和额外设置 json。我假设我设置了主机的 uri,对用户使用令牌并将密码留空。

标签: airflow databricks


【解决方案1】:

如果您已经从 Airflow UI 创建了连接,请打开终端并输入以下命令:airflow connections get your_connection_id

例子:

$ airflow connections get sqlite_default
Id: 40
Conn Id: sqlite_default
Conn Type: sqlite
Host: /tmp/sqlite_default.db
Schema: null
Login: null
Password: null
Port: null
Is Encrypted: false
Is Extra Encrypted: false
Extra: {}
URI: sqlite://%2Ftmp%2Fsqlite_default.db

URI 键具有可用于创建环境变量的值。按照这个例子,将是:

export AIRFLOW_CONN_MY_PROD_DATABASE='sqlite://%2Ftmp%2Fsqlite_default.db'

希望对你有用! source

【讨论】:

  • 我认为让我失望的是在 UI 中,您在额外部分设置了一个标记,然后将单词标记输入用户。我试图弄清楚如何在 URI 中复制它。但事实证明你没有。
猜你喜欢
  • 1970-01-01
  • 2020-04-27
  • 1970-01-01
  • 2022-01-21
  • 2017-08-24
  • 1970-01-01
  • 1970-01-01
  • 2020-01-03
  • 2021-11-11
相关资源
最近更新 更多