Bigquery 和 R：成本以及数据存储在哪里？答案

【问题标题】：Bigquery and R: Cost and where is the data stored?Bigquery 和 R：成本以及数据存储在哪里？
【发布时间】：2019-01-17 23:03:55
【问题描述】：

我正在使用 RStudio 对存储在 BigQuery 中的大型数据集进行分析。该数据集是私有的，来自一家大型零售商，该零售商通过 BigQuery 与我共享数据集以运行所需的分析。我使用 bigrquery 库将 R 连接到 BigQuery，但找不到以下两个问题的答案：

1) 当我使用 R 运行分析时（例如，首先使用 SELECT 获取数据并将它们存储在 R 的数据框中），然后数据是否以某种方式本地存储在我的笔记本电脑上？该公司担心机密性，可能不希望我将数据存储在本地，而是将它们留在云中。但是，那时甚至可以使用 R 吗？

2) 我的 BigQuery 免费版每月有 1 TB 用于分析。如果我在 R 中使用 select 来获取数据，它会告诉我“处理了 18.1 GB”，但是如果我在 R 上运行分析而不是在 BigQuery 上运行查询，我是否也会用完我的 1 TB？如果它不产生成本，那么我想知道在 BigQuery 上而不是在 R 中运行查询有什么优势，如果前者最终可能会让我花钱？

最好的詹妮弗

【问题讨论】：

标签： r google-bigquery

【解决方案1】：

除非您明确地保存到文件中，否则 R 会将数据存储在内存中。然而，由于会话的工作方式，RStudio 基本上会保留会话的副本，除非您告诉它不要这样做，这就是为什么它会在您退出切换项目时询问您是否要保存会话。您应该做的是确保不存储任何内容，当您完成一天（或其他任何事情）时，使用“环境”选项卡中的扫帚图标删除环境中的所有内容。或者您可以单独删除数据框或其他对象rm(obj) 或转到环境窗口并将“列表”更改为“网格”并选择要删除的单个对象。请参阅此How do I clear only a few specific objects from the workspace?，它解决了我回答的这一部分（但这不是重复的问题）。

【讨论】：

【解决方案2】：

据我所知，Google 的 BigQuery 是一个完全基于云的数据库。这意味着当您在 BigQuery 上运行查询或报告时，它发生在云端，而不是本地（即不在 R 中）。这并不是说您的源数据可能是本地数据。事实上，如您所见，您可以从 R 上传本地数据集。但是，查询将在云端执行，然后将结果集返回给 R。

关于您的另一个问题，BigQuery 表中的源数据将保留在云端，您在本地拥有的唯一数据将是您可能从 R 执行的任何查询的结果。显然，如果您在每个表上运行SELECT *，您可以看到特定数据库中的所有数据。所以我不确定在你的设置中会有多少关注点分离。

至于定价，来自 BigQuery documentation on pricing：

查询定价是指运行 SQL 命令和用户定义函数的成本。 BigQuery 使用一个指标对查询收费：处理的字节数。无论数据是存储在 BigQuery 中还是存储在 Google Cloud Storage、Google Drive 或 Google Cloud Bigtable 等外部数据源中，您都需要为处理的字节数付费。

因此，您每月可获得 1TB 的免费数据处理，之后您将开始计费。

【讨论】：