使用 Spark Big Query 连接器的自定义 SQL

Question

我有一些自定义 sql 可以从 BigQuery 读取数据。我该如何执行？我尝试使用选项作为查询，但它不起作用。它忽略查询选项并读取完整表。

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Answer 1

这是因为query 选项在连接器中不可用。有关选项的完整列表，请参阅 https://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md。

您有几个选择：

• 使用您的自定义 SQL 创建一个视图，并从该视图中读取数据
• 使用查询结果创建一个临时表，读取这些结果，然后删除该表。