Cloud Dataproc 使用 BigQuery 连接器读取 BigQuery 视图

Question

是否可以让 Cloud Dataproc 使用 BigQuery 连接器读取 BigQuery 视图？

另外，对于用例来说，有些工作负载在 Apache Spark(Dataproc) 中运行，有些工作负载在 BigQuery 中对相同数据运行 => 将数据以 avro 编码格式保存在 Google Cloud Storage (GCS) 中是否更好？ （要么） 将数据仅保存在 BigQuery 中是否更好？是否可以仅在 BigQuery 中公开授权视图以供 Cloud Dataproc 使用 BigQuery 连接器访问？

Answer 1

不，这是不可能的，因为 BigQuery 连接器将 BigQuery 表导出到 GCS，但 BigQuery API 目前不支持导出BigQuery Views：

您无法运行从视图导出数据的 BigQuery 作业。