Google BigQuery 定价

Question

我是新加坡管理大学的博士生。目前我正在卡内基梅隆大学从事一个研究项目，该项目需要来自 Github Archive (http://www.githubarchive.org/) 的历史事件。我注意到 Google Bigquery 有 Github Archive 数据。所以我运行了一个程序来使用 Google Bigquery 服务来抓取数据。

我刚刚发现控制台上的谷歌bigquery节目的价格不是实时更新的...虽然我开始运行程序几个小时，费用只有4美元加，所以我认为价格是合理的，我一直在运行程序。 1~2天后，我在2013年9月13日再次查看价格，价格变为1388美元......因此我立即停止使用Google bigquery服务。而刚才我又查了一下价格，原来我需要付4179$...

我没有意识到我需要花这么多钱来执行查询和从 Google bigquery 获取数据是我的错。

本项目仅用于研究，不用于商业目的。我想知道是否可以免除费用。我真的需要 [Google Bigquery 团队] 的帮助。

非常感谢您和最诚挚的问候， 丽莎

Answer 1

一年后更新：

请注意自这种情况以来的一些重大发展：

• 查询价格下降 85%。
• GithubArchive 现在发布每日和每年的表格 - 因此，在开发查询时，请始终在较小的数据集上测试它们。

---

BigQuery 定价基于查询的数据量。它的一大亮点是它的扩展性，从几千兆字节扫描到几兆兆字节。

线性定价是一个特点：我知​​道的大多数（或全部？）其他数据库将需要成倍增加的资源，或者只是无法处理这些数据量 - 至少不能在合理的时间范围内。

也就是说，线性扩展意味着 TB 上的查询比 GB 上的查询贵 1000 倍。 BigQuery 用户需要意识到这一点并做出相应的计划。出于这些目的，BigQuery 提供了“试运行”标志，它允许人们在运行查询之前准确查看将查询多少数据 - 并进行相应调整。

在这种情况下，WeiGong 正在查询一个 105 GB 的表。十个SELECT * LIMIT 10 查询将很快达到 1 TB 的数据量，以此类推。

有一些方法可以使这些相同的查询消耗更少的数据：

• 不要查询SELECT * LIMIT 10，而是只调用您要查找的列。 BigQuery 根据您查询的列收费，因此拥有不必要的列会增加不必要的成本。

例如，SELECT * ... 查询 105 GB，而 SELECT repository_url, repository_name, payload_ref_type, payload_pull_request_deletions FROM [githubarchive:github.timeline] 仅查询 8.72 GB，这使得此查询的成本降低了 10 倍以上。

• 查找下载整个表时，请使用 tabledata.list 而不是“SELECT *”。它是免费的。

• Github 存档表包含所有时间的数据。如果您只想查看 1 个月的数据，请对其进行分区。

例如，使用查询提取一月份的所有数据会留下一个只有 91.7 MB 的新表。查询这张表比大表便宜一千倍！

SELECT *
FROM [githubarchive:github.timeline]
WHERE created_at BETWEEN '2014-01-01' and '2014-01-02'
-> save this into a new table 'timeline_201401'

结合使用这些方法，您可以从 4000 美元的钞票变成 4 美元的钞票，并获得同样数量的快速和有洞察力的结果。

（我正在与 Github 存档的所有者合作，让他们存储每月数据，而不是一个单一的表，以使这更容易）