【问题标题】:Backups folder in Opscenter keyspace growing really hugeOpscenter 密钥空间中的备份文件夹变得非常庞大
【发布时间】:2015-06-12 17:20:01
【问题描述】:

我们有一个 10 节点的 Cassandra 集群。我们在 Opscenter 中配置了修复。我们发现为 Opscenter 键空间中的每个表创建了一个备份文件夹。它不断增长巨大。有没有办法解决这个问题,还是我们手动删除每个备份文件夹中的数据?

【问题讨论】:

  • 你说的是快照目录吗?

标签: cassandra cql datastax datastax-enterprise opscenter


【解决方案1】:

首先,备份不同于快照 - 您可以查看备份 documentation 以了解 OpsCenter 的更多信息。

增量备份:

来自数据税docs -

启用增量备份时(默认禁用),Cassandra 将每个刷新的 SSTable 硬链接到备份目录下 键空间数据目录。这允许在异地存储备份,而无需 传输整个快照。此外,增量备份与 快照以提供可靠的最新备份机制。 ... 与快照一样,Cassandra 不会自动清除 增量备份文件。 DataStax 建议设置一个流程以 每次创建新快照时清除增量备份硬链接 已创建。

您必须通过在 cassandra yaml 中将 incremental_backups 设置为 true 来启用增量备份。

如果您对备份策略感兴趣,我建议您改用the OpsCenter Backup Service。这样,您就可以精细控制要备份的密钥空间并将文件推送到 S3。

快照

快照是旧(不再使用)SSTables 的硬链接。快照保护您免受自己的伤害。例如,您不小心截断了错误的键空间,您仍然可以获得该表的快照,您可以将其恢复。在某些情况下,您的快照过多,您可以做以下几件事:

不要运行同步修复

这与修复有关,因为同步修复在每次运行时都会生成一个快照。为了避免这种情况,您应该改为运行并行修复(-par 标志或通过在下面的 opscenter 配置文件注释中设置修复次数)

清除您的快照

如果您有太多快照并且需要释放空间(也许一旦您将它们备份到 S3 或 glacier 或其他东西),请继续使用 nodetool clearsnapshots 删除它们。这将释放空间。您也可以手动将它们从文件系统中删除,但 nodetool clearsnapshots 消除了 rm -rf 错误操作的风险。

注意:如果您没有大量数据,您也可能运行维修太快(请查看我对 other SO question 的回复以获取解释和维修服务配置杠杆)。

【讨论】:

  • 感谢您的解释。但我看到的问题是“Opscenter”和“System”键空间。每个节点实际业务数据小于400MB。以下是 Opscenter 密钥空间 l4.0K /mnt/cassandra/lib/data/OpsCenter/rollups300/snapshots 2.7G /mnt/cassandra/lib/data/OpsCenter/rollups300/backups 2.8G /mnt/ 的“ls 命令”快照cassandra/lib/data/OpsCenter/rollups300
  • 当然,快照在所有键空间上的工作方式都是一样的。您提到备份文件夹,您是指快照目录吗? Opscenter 将存储集群上所有节点的时间序列数据。如果数据变得太大,有一些方法可以存储更少的数据。系统键空间应该总是很小。
  • 4.5G /mnt/cassandra/lib/data/system/compactions_in_progress/backups 4.5G /mnt/cassandra/lib/data/system/compactions_in_progress 以上是来自“系统”键空间 Phact 的一些信息.您会观察到备份文件夹的大小。即使对于“Opscenter”键空间也是如此。我在 Opscenter 中启动了修复。我在 Opscenter 中配置了 9 天
  • 我知道在拍摄快照后,每个新创建的“sstable”也会被加载到增量备份文件夹中。必须手动清除“增量备份”文件夹。我们一直在处理与业务数据相关的表格。但我不知道如何在“System”和“Opscenter”键空间目录中创建“backups”文件夹。
  • 对那个 Phact 有什么建议吗?
猜你喜欢
  • 2013-12-02
  • 2020-05-25
  • 2017-11-14
  • 2014-12-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多