hbase source 源代码学习,在代码层面分析flush,compact,split过程，以及一些工具介绍。这篇ppt只是一个初稿，后面不断完善。

1. Hbase源码初探 丹臣/赵林 2011-6-28

2. 一个简单的测试 需要的jia包 commons-logging-1.1.1.jar hadoop-core-0.20.203.0.jar hbase-0.90.3.jar log4j-1.2.16.jar zookeeper-3.3.2.jar 编译的指令： javac -classpath D:base-0.90.3anchenommons-logging-1.1.1.jar;D:base-0.90.3anchenadoop-core-0.20.203.0.jar;D:base-0.90.3anchenbase-0.90.3.jar;D:base-0.90.3og4j-1.2.16.jar;D:base-0.90.3ookeeper-3.3.2.jar HBaseTestCase.java

3. 测试的数据 10000 rows data are insert. take 37 s. 50000 rows data are insert. take 172 s. 100000 rows data are insert. take 351 s. 平均每秒钟写入270条记录，平均写入每条记录花费时间3.51ms 测试环境：两台物理机，两台虚拟机

4. Hmaster的源代码入口 Source: rgpacheadoopbaseastermaster.java

5. Hmaster处理ddl操作

6. Hbase建表 Number of Versions The number of row versions to store is configured per column family via HColumnDescriptor. The default is 3. This is an important parameter because as described in Chapter 9, Data Model section HBase does not overwrite row values, but rather stores different values per row by time (and qualifier). Excess versions are removed during major compactions. The number of versions may need to be increased or decreased depending on application needs.

7. Hbase建表 TTL : time to live 对于超过一定时间，需要清理数据的应用，会特别合适。 In_memory => true or false ，在region server block cache的分配使用上会有所不同。具体如何不同，研究完相关代码再补充。

8. 一次DDL异常 删除表无法真正成功(返回客户端成功)，hbase master一直卡在如下的循环代码里，并不断的打日志Waiting on region to clear regions in transition.重启master解决这个问题。

9. Hregionserver的源代码入口 Source: rgpacheadoopbaseegionserverRegionServer.java

10. Hregionserver的启动与关闭

11. 三大操作 Flush Compact Split Write path Background chores Write begin Write WAL Log Compact Flush MemStore Flush WAL log Need Compact Need Split Update MemStore flush queue compact queue Need Flush Split

12. flush Flush的过程是什么样的？ hbase.hregion.memstore.flush.size参数的误区

13. hbase.hregion.memstore.flush.size 这个参数的注解有点误导人，看起来好像是一个memstore的大小限制，而实际上是基于一个region中所有memstores大小之和，可以看一下蓝色的代码部份。

14. Flush程序路径 加入flush queue

15. Flush程序路径 判断是否是metaregion,以及是否超过文件个数，以便以后启动compact

16. Flush程序路径

17. flush 源文件地址： rgpacheadoopbaseegionserverRegion.java

18. flush 真正处理flush memstore的函数是internalFlushcache rgpacheadoopbaseegionserverRegion.java

20. split source：rgpacheadoopbaseegionserverompactSplitThread.java Split的过程有一定的事务性，一定程度上可以回滚

21. Hlog的改进想法

22. Hbase中的Log 研究Hbase的利器，学会查看分析各种日志： Master log Region server log Zookeeper log 每种操作(ddl, flush, compact, split, etc…)，看相应的日志，理解各角色(region server,zookeeper,master)的交互过程。

23. Hbase工具 RegionSplitter How to export and import a table

24. RegionSplitter The RegionSplitter class provides several utilities to help in the administration lifecycle for developers who choose to manually split regions instead of having HBase handle that automatically. The most useful utilities are: Create a table with a specified number of pre-split regions Execute a rolling split of all regions on an existing table

25. RegionSplitter

26. RegionSplitter

27. How to export and import a table Map-reduce job

28. Q/A thanks