将 Google Bigtable 中的数据保存更长时间答案

【问题标题】：Maintain data in Google Bigtable for longer periods将 Google Bigtable 中的数据保存更长时间
【发布时间】：2017-10-29 00:46:34
【问题描述】：

我们有一些用例，希望在 Google Bigtable 中长期存储大量数据：

在产品开发期间
用于性能调优
用于演示

我们需要存储数据，但我们并不需要它一直“在线”。当前的成本瓶颈似乎是在这些情况下长时间空闲的节点的成本。

在产品开发过程中如何使用 Google Bigtable？我知道开发模式（和模拟器），它们适用于某些用例，但我们仍然需要其他用例的生产环境。

确实，理想的情况是能够“关闭”Bigtable（同时仍为存储的数据付费，但不为节点付费）并在需要时启动节点。我不相信这个功能存在。如果没有，还有其他可能的解决方法/替代方案吗？

【问题讨论】：

出于好奇，如果您为相关项目禁用计费会怎样？我知道这适用于您尝试为其他类型的 GCP 项目做的事情。
@DominicTracey：谢谢 - 我正在尝试。不过，关于禁用计费的消息不是很具体。禁用后，我的 Bigtable 实例仍然“存在”，虽然这肯定是有希望的，但我担心它会在某个时候被删除。我会留意并把我发现的东西发回来。
您存储了多少数据？我想从备份中重新导入数据是不可行的？当你需要做演示时，你需要读写还是只读权限？您是为用户提供实时流量还是只需要进行分析？您说得对，这样的功能尚不可用，只是想弄清楚哪些参数对潜在的解决方法很重要。
@MishaBrukman：未压缩的 9-10TB 之间（我们现在能做到的最好），并希望增加它以更好地代表我们想要支持的规模。 Bigtable 的新手 - 但我们正在计算从备份加载是否具有成本效益和实用性。似乎是空闲时间、数据大小和重新加载时间的函数，但看起来并不乐观。对于演示 - 主要是只读访问（任何写入 - 我想我们可以解决）。我们希望 Bigtable 可以成为我们应用程序的数据存储 - 这样它就可以在生产时提供实时流量。
@DominicTracey：更新 - 重新启用计费后（一天半后），实例已恢复。仍然担心我们会在删除实例时遇到一些未知的时间限制 - 特别是如果它是一个特别大的实例。如果我们能获得一些关于保留时间框架的指导方针，这绝对是一种可能的解决方法。谢谢！

标签： bigtable google-cloud-bigtable

【解决方案1】：

这是一个有趣的问题。我已经使用具有更小尺寸（~2Gb）的数据存储完成了较小的项目，这些项目在禁用计费后已经存在多年。考虑到对这些项目进行备份/恢复的成本是多少，我可以想象这在 BigTable 世界中将是成本高昂的解决方案。令人失望的是，谷歌没有为此提供更好的解决方案。他们确实谈论了不同的storage classes，所以我想禁用一个项目会将其资产转移到冷线 - 但这只是我的排名猜测。

【讨论】：

我绝对认为这是一种可能的解决方法。我只是让这个问题再逗留一会儿，看看是否有任何其他建议（并且还在等待 Misha :-)） - 否则我会将其标记为答案。