【问题标题】:possible to make a DDL bigquery statement with airflow BigQueryOperator?可以使用气流 BigQueryOperator 制作 DDL bigquery 语句吗?
【发布时间】:2020-12-15 21:58:49
【问题描述】:

是否可以在 Airflow BigQUeryOperator 中制作 DDL 语句(脚本)?
因为脚本在 bigquery UI 上是可以的,但是在气流 1.10.12 上运行它时,我遇到了经典错误“在美国位置找不到”,这对我没有多大帮助。
我尝试将 WRITE_DISPOSITION 和 CREATE_DISPOSITION 传递为 None,并且还使用默认值。
看来一定可以参考this

【问题讨论】:

  • 您是否创建了数据集?
  • 是的目标数据集存在。脚本通过 UI 是 OK 的。

标签: google-bigquery airflow


【解决方案1】:

实际上,操作符似乎比 DDL 语句还可以。
但是当我尝试编写脚本时,我遇到了问题。
有没有人在 BigQueryOperator on airflow 中使用 bigquery 脚本编写成功?

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-03
    • 2013-07-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多