将 BigQuery 数据提取到 R 进行预处理和分析答案

【问题标题】：Extracting BigQuery data to R for preprocessing and analysis将 BigQuery 数据提取到 R 进行预处理和分析
【发布时间】：2018-08-25 18:11:03
【问题描述】：

我在 bigquery 中有一个大数据集，并在 bigquery 中编写 SQL 查询。它产生快速的结果。虽然我想使用 R/python 进行数据预处理。我有大约。我的表中有 200M 条记录，R 很慢。

所以考虑到数据量，我应该使用 bigquery 查询还是使用 R/python 的另一种方式也很快。或者 google 提供了一些产品，可以用来创建数据摘要，避免 SQL 查询。

【问题讨论】：

【解决方案1】：

BigQuery 通常是快速处理大量数据的最佳解决方案。但是，如果您想避免 SQL 查询，您可能需要考虑通过 Dataflow pipeline 或使用 Dataprep 预处理您的数据（但请注意，后者处于测试阶段）。

【讨论】：

【解决方案2】：

正如之前提到的 Lefteris，BigQuery 可能是最适合扩展的解决方案。

如果您仍想与 R 集成，您是否看过 bigrquery？

【讨论】：