使用 Airflow 的 Impala 查询

【问题标题】：Impala query using Airflow使用 Airflow 的 Impala 查询
【发布时间】：2019-08-21 15:58:05
【问题描述】：

是否可以使用气流的运算符之一来运行 Impala 查询，就像它可以执行 Hive 查询一样？我想一个 bash 操作员会工作，但想使用气流 api 来做。

【问题讨论】：

你检查过这个吗airflow.readthedocs.io/en/latest/_api/airflow/hooks/hive_hooks/… 如果你使用的是 impala，你可能需要在 UI 中的额外连接中将其设置为 false
你有例子吗？它没有提到 Impala。

【解决方案1】：

要从气流连接impala，我们需要在连接的额外列中提及身份验证类型和run_set_variable_statements。

要在没有身份验证机制的情况下进行连接，以下是连接详细信息。
连接类型： Hive Server 2 Thrift
端口： 21050
架构：您的数据库
额外： {"authMechanism": "NOSASL", "run_set_variable_statements":false}

【讨论】：