使用 Google Composer 运行 Bigquery 查询

Question

我是 Google 作曲家和 Apache 气流的新手。

我正在尝试通过创建 DAG 来查询 Bigquery。

import datetime

import airflow
from airflow.operators import bash_operator


from airflow.contrib.operators import bigquery_operator


YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    'owner': 'me',
    'depends_on_past': False,
    'email': [''],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
    'start_date': YESTERDAY,
}

with airflow.DAG(
        'composer_test_dag',
        'catchup=False',
        default_args=default_args,
        schedule_interval=datetime.timedelta(days=1)) as dag:

    bq_recent_questions_query = bigquery_operator.BigQueryOperator(
        task_id='bq_weather_query',
        bql="""
        SELECT owner_display_name, title, view_count
        FROM `bigquery-public-data.stackoverflow.posts_questions`
        ORDER BY view_count DESC
        LIMIT 100
        """,
        use_legacy_sql=False)     

这是正确的方法吗？ 如何从中获取查询结果？

Answer 1

BigQueryOperator 通常用于在 BigQuery 中执行查询，然后将结果加载到另一个 BigQuery 表（转换操作）。我假设您正在尝试从 BigQuery 公共表中选择 3 列并加载到另一个表。所以在 BigQueryOperator 中提供destination_dataset_table。

请注意以下几点：

1. stackoverflow.posts_questions 表非常大，即使使用 LIMIT 仍然会扫描整个表。所以要注意成本。
2. 使用sql 参数代替bql，因为它不再使用。