我们如何将大型数据集从 Google BigQuery 导入 R？

Question

我们如何将大型数据集从 Google BigQuery 导入到 R 中？

我尝试使用 BigQuery 包并尝试导入。我能够成功导入较小的数据集，但不能成功导入大型数据集

sql <- "SELECT * FROM Table name"

todo_copies <- query_exec(sql, project = 'data-warehouse', dataset = 'name', useLegacySql = FALSE)

处理的字节数错误：请求的资源太大而无法返回 [responseTooLarge]

Answer 1

该消息指的是与 BQ 中的查询作业的 Maximum response size 相关的限制。 write to a detination table可以管理；但是，此选项很可能无法满足您的需求。

请注意，R 文档表明 query_exec is being deprecated 支持 bq_project_query 和其他线程，如 How to load large datasets to R from BigQuery?，建议 adjust the page_size property：

"出现错误responseTooLarge时应该调整"