HBase- 存储文件与 HFile 和压缩答案

【问题标题】：HBase- Store file vs HFile and CompactionHBase- 存储文件与 HFile 和压缩
【发布时间】：2015-07-23 23:24:23
【问题描述】：

Store文件和HFile有什么区别？？

我对压缩有基本的想法，即将存储文件合并在一起以减少磁盘搜索。

对吗？？有人可以详细解释一下 Compaction 的具体过程以及它是如何工作的吗？

【问题讨论】：

标签： hbase

【解决方案1】：

Store File 和 HFile 是同义词，用于定义相同的概念。

当有东西写入 HBase 时，它首先被写入内存存储（memstore），一旦这个 memstore 达到一定的大小，它就会被刷新到磁盘到存储文件中（所有内容也立即写入日志文件的耐久性）。在磁盘上创建的存储文件（或 HFiles）是不可变的。有时存储文件会合并在一起，这是通过称为压缩的过程完成的。

有关统计信息的更多信息，请参阅here。快乐学习

【讨论】：

谢谢@Ramzy。 store文件和HFile一样吗？
是的。 This 和 this 会给你一个高水平的画面。

【解决方案2】：

当 MemStore 达到给定大小 (hbase.hregion.memstore.flush.size) 时，它会将其内容刷新到 StoreFile。 Store 中的 StoreFiles 数量会随着时间的推移而增加。 Compaction 是一种通过将 StoreFiles 合并在一起来减少 StoreFiles 数量的操作，以提高读取操作的性能。执行压缩可能会占用大量资源，并且取决于许多因素可能有助于或阻碍性能。

压缩分为两类：次要和主要。

【讨论】：

当你说“StoreFiles in a Store”时，这里指的是什么商店？