HBase（六）flush、compact机制

Flush 触发条件

memstore 级别限制

• 当Region中任意一个MemStore的大小达到了上限（hbase.hregion.memstore.flush.size，默认128MB），会触发Memstore刷新(flush)。

region 级别限制

• 当Region中所有Memstore的大小总和达到了上限（hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size，默认 2 * 128M = 256M），会触发memstore刷新。

说明：

• 上限值 = 134217728 x 4*

Region Server级别限制

• 当一个Region Server中所有Memstore的大小总和超过低水位阈值hbase.regionserver.global.memstore.size.lower.limit * hbase.regionserver.global.memstore.size（前者默认值0.95），RegionServer开始强制flush；
• 先Flush Memstore最大的Region，再执行次大的，依次执行；
• 如写入速度大于flush写出的速度，导致总MemStore大小超过高水位阈值hbase.regionserver.global.memstore.size（默认为JVM内存的40%），此时RegionServer会阻塞更新并强制执行flush，直到总MemStore大小低于低水位阈值

HLog数量上限

• 当一个Region Server中HLog数量达到上限（可通过参数hbase.regionserver.maxlogs配置）时，系统会选取最早的一个HLog对应的一个或多个Region进行flush

定期刷新 Memstore

• 默认周期为1小时，确保Memstore不会长时间没有持久化。为避免所有的MemStore在同一时间都进行flush导致的问题，定期的flush操作有20000左右的随机延时。

手动 flush

• 用户可以通过shell命令flush <tablename>或者flush <region name>分别对一个表或者一个Region进行flush。

flush的流程

为了减少flush过程对读写的影响，将整个flush过程分为三个阶段：

1. prepare阶段：遍历当前Region中所有的Memstore，将Memstore中当前数据集CellSkipListSet做一个快照snapshot；然后再新建一个CellSkipListSet。后期写入的数据都会写入新的CellSkipListSet中。prepare阶段需要加一把updateLock对写请求阻塞，结束之后会释放该锁。因为此阶段没有任何费时操作，因此持锁时间很短。

2. flush阶段：遍历所有Memstore，将prepare阶段生成的snapshot持久化为临时文件，临时文件会统一放到目录.tmp下。这个过程因为涉及到磁盘IO操作，因此相对比较耗时。

3. commit阶段：遍历所有Memstore，将flush阶段生成的临时文件移到指定的ColumnFamily目录下，针对HFile生成对应的storefile和Reader，把storefile添加到HStore的storefiles列表中，最后再清空prepare阶段生成的snapshot。

Compact合并机制

hbase为了防止小文件过多，以保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。

在hbase中主要存在两种类型的compaction合并

1. minor compaction 小合并
2. major compaction 大合并

HBase 2.x 还可以基于内存合并

minor compaction 小合并

• 在将Store中多个HFile合并为一个HFile

  在这个过程中会选取一些小的、相邻的StoreFile将他们合并成一个更大的StoreFile，这种合并的触发频率很高。

• minor compaction触发条件由以下几个参数共同决定：

major compaction 大合并

• 合并Store中所有的HFile为一个HFile

  将所有的StoreFile合并成一个StoreFile，这个过程还会清理三类无意义数据：被删除的数据、TTL过期数据、版本号超过设定版本号的数据。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

• major compaction触发时间条件

  Shell

  1 2 3 4 5

  <!--默认值为7天进行一次大合并，--> <property> <name>hbase.hregion.majorcompaction</name> <value>604800000</value> </property>

• 手动触发

  Shell

  1 2	##使用major_compact命令 major_compact tableName

Views: 15