如何使用 google cloud bigquery 进行集成测试

Question

我们正在从 apache hbase 迁移到 bigquery。

目前我们有端到端的测试（使用黄瓜），可以与运行 hbase 的 docker 容器一起使用。

似乎没有任何 bigquery docker 容器或模拟器 (https://cloud.google.com/sdk/gcloud/reference/beta/emulators/)

我们如何才能为使用 bigquery 的应用程序创建端到端测试？

Answer 1

目前没有任何类型的 BigQuery 本地模拟器或类似的东西。正如您分享的关于 available GCP emulators 的链接所指出的，还有一些其他产品具有这样的功能，但 BigQuery 没有这样的功能的原因可能是它的真正潜力只有在其实际基础架构中工作时才能看到，另外事实上，使用 BigQuery 的成本可能相对较低，具体取决于您对它的使用情况，而且您可以开始使用免费套餐。

让我总结一些对您有用的 BigQuery 定价信息：

• BigQuery 存储和运营成本汇总在 pricing documentation 中。
• BigQuery 提供了一些 free of charge 的操作。
• Storage free tier 有 10GB 的免费存储空间。考虑到 BQ 旨在处理大量数据，这可能不会很多，但它可以作为进行一些测试的良好起点。
• 还有一个Operations free tier，其中第一个 TeraByte 处理数据（每月）是免费的。
• 您可以使用available metrics 设置警报以监控Stackdriver 的使用情况。

无论如何，如果您仍然认为直接使用 BigQuery 不是您的最佳选择，可以随时通过在 Public Issue Tracker 中为 BigQuery 创建功能请求将您的请求转发给工程团队，尽管它会由工程团队决定是否（以及何时）实现这样的功能，更要考虑到 BigQuery 的复杂性以及它的性能已针对在其当前架构中的工作进行了优化。

Answer 2

这是一篇旧文章，但如果您可以使用 Python，并且您计划测试您的 SQL 并根据输入断言您的结果，我建议bq-test-kit。该框架允许您在 Python 中与 BigQuery 进行交互，并使测试变得可靠。

您有 3 种方式向其中注入数据：

• 创建能够隔离名称的数据集和表，从而拥有自己的命名空间
• 依赖临时表，其中使用数据文字插入数据
• 数据字面量合并到您的查询中

希望这会有所帮助。