SSTables 或 Hfile 是否合并到 1TB 以上？

【问题标题】：Is SSTables or Hfiles merged above 1TB?SSTables 或 Hfile 是否合并到 1TB 以上？
【发布时间】：2011-01-23 00:59:09
【问题描述】：

在major compaction中，将区域服务器（Hbase）中的所有sstables和所有SSTables形成tablet server（Cassandra）合并成一个大的。

如果周期来了，是否意味着将 SSTables（总空间超过 1TB）合并为一个？可能 SSTable 或 HFile 有一些范围界限，将其分成几个部分 - 以确保合并操作不会“重写所有服务器”？

我的问题与此链接http://wiki.apache.org/cassandra/MemtableSSTable的“压缩”部分有关

【问题讨论】：

标签： cassandra hbase bigtable

【解决方案1】：

据我发现，主要压缩产生的 SSTable 实际上并没有在 Cassandra 中拆分。在这种情况下，其他 LSM-tree 数据库依赖于受干扰的文件系统，它将 SSTable（或 Hypertable 中的 HFile、CellSotre）拆分为多个文件（例如 64MB），但主要压缩要么必须将所有这些文件压缩成新的 SSTable（我认为是低效）。

如前所述，JIRA 中有一些票可以改进和重新设计 Cassandra 的压缩：

https://issues.apache.org/jira/browse/CASSANDRA-1608

您可能还想阅读我的第二个类似问题：

How much data per node in Cassandra cluster?

【讨论】：