Rethinkdb,Tokudb,research ,database,ssd,solid-state drive,mysql

1. RethinkDB & TokuDB调研测试报告 梁智超 liangzhichao.pt@taobao.com

2. 大纲 闪存和磁盘 压力测试方法 RethinkDB简介及测试 TokuDB简介及测试 总结

3. 大纲 闪存和磁盘 压力测试方法 RethinkDB简介及测试 TokuDB简介及测试 总结

4. 闪存和磁盘

5. 闪存和磁盘的差异 闪存： 1）读/写/擦除三种操作 2）操作速度不一致(读为10微秒级，写为100微秒级，擦除为毫秒级) 3）覆盖写之前需要擦除 4）擦除次数有限 5）操作粒度不一致，读和写以页为单位，擦除以块为单位 优势： 1）更快的读写速度 2）尺寸小重量轻 3）抗震省电 磁盘： 1）读/写两种操作 2）读写速度基本一致 3）可原位覆盖写 4）写次数不限 5）读写粒度一致

7. 闪存的使用寿命 闪存的写寿命：闪存上能够写的最大数据量

8. 闪存的使用寿命 闪存的写寿命：闪存上能够写的最大数据量 60GB X 5000 =300TB 40TB (60GB drive)

9. 闪存的使用寿命 闪存的写寿命：闪存上能够写的最大数据量 60GB X 5000 =300TB 避免小的写以及随机写既能提高系统性能又能延长闪存的使用寿命！ 闪存上的数据天然就具有多个版本！ 40TB (60GB drive) 37TB (80GB drive)

10. 大纲 闪存和磁盘 压力测试方法 RethinkDB简介及测试 TokuDB简介及测试 总结

11. 压力测试工具 memaslap是Memcached服务器的压力测试工具。 - 产生可配置压力，线程、并发、连接、运行时间、覆盖、命中率、key的长度、value的长度等 - 支持数据确认、失效时间确认、UDP、二进制协议等操作 mysqlslap是MySQL服务器的压力测试工具，测试过程包括三个部分。 - 创建Schema、Table以及其他存储程序或者数据(单客户端连接) - 运行加载测试(多客户端连接) - 结束测试如关闭连接、删除Table(单客户端连接)

12. 系统监测工具 Socktop是由Systemtap提供的一个工具，位于/usr /share/doc/systemtap/examples/network目录下。 Tcprstat是Percona提供的一个免费开源的TCP分析工具，可以观测网络流量并计算网络请求和响应之间的延迟。 Nmon工具是IBM提供的免费监控AIX系统和Linux系统资源的工具，它可将系统资源的耗用情况收集起来并输出到一个特定的文件。

13. 测试方法 测试工具+监测工具 对于key-value数据库，使用libmemcached进行测试，生成数据为字符串key和value; 对于MySQL数据库，使用libmysql进行测试，首先生成字符串key和value，然后将key和value并入到SQL语句中。 获取测试配置参数，设定测试线程数，每个线程执行的操作数，key的最小长度和最大长度，value的最大长度和最小长度 获取配置参数 生成加载数据 对于key-value数据库，调用接口memcached_set或者memcached_get; 对于MySQL数据库，调用接口mysql_real_query。 Tcprstat Socktop Nmon 创建测试线程开始测试 释放加载数据空间结束测试

14. 测试程序中的问题 测试程序成了计算密集型而非IO密集型。 测试程序并发压力不够。 - 单独为线程生成测试数据 - 每启动一个测试线程之前先为其生成数据 - 解决方案：一次性生成所有测试数据，测试线程启动之后直接获取数据 文件句柄打开数受限。 -在shell下用ulimit -n 32768操作不允许 -修改/etc/security/limits.conf文件 测试程序运行前的CPU利用率 测试程序运行时的CPU利用率

15. 大纲 闪存和磁盘 压力测试方法 RethinkDB简介及测试 TokuDB简介及测试 总结

17. RethinkDB的特点：-随CPU个数线程扩展 -SSD上速度快十倍 - 节省内存空间 - 断电后及时恢复 - 细化的持久性控制 - 支持上万的并发连接数 - 支持裸盘设备，多磁盘上自动数据分区

20. 闪存具有良好的随机读性能，所以B树和cluster index变得不再重要。

21. 基于以上判断，RethinkDB采用append-only的方式来管理数据和索引，消除闪存上的随机写操作。append-only究竟带来了什么？

24. RethinkDB的随机插入性能

25. RethinkDB的随机查询性能

26. 大纲 闪存和磁盘 压力测试方法 RethinkDB简介及测试 TokuDB简介及测试 总结

28. TokuDB的特点：- 插入性能加快20到80倍 - 压缩数据减少存储空间 - 数据量可扩展到几个TB - 不会产生索引碎片 - 支持Hot Column Addition, Hot Indexing和MVCC

31. Fractal Tree结构特点：- 由多个有序的数组构成，大小呈指数级增长 - 数组要么全空，要么全满 - 数据插入到最小的数组，如果空间不够就将数据进行Merge

32. Fractal Tree的建立 创建临时存储 插入15

33. Fractal Tree的建立 (cont.) 插入7 Merge

34. Fractal Tree的建立 (cont.) Merge

35. Fractal Tree上的查询 数组有序！ 二分查找？ 1)数组之间添加冗余元素 2)数组中的元素不必全满 3)横向和纵向指向冗余元素 4) Fractional Cascading

37. TokuDB的随机插入性能

38. TokuDB的随机查询性能

39. TokuDB占用的存储空间

41. 如果你的记录数量过亿，使用TokuDB；

42. 如果你注重update的性能，不要使用TokuDB，它没有Innodb快；

43. 如果你要存储旧的记录，使用TokuDB；

47. 学会了Linux下很多常用的命令。

49. 参考文献 [5] TokuDB v5.0.4 with Fractal Tree Indexing for MySQL v5.1.52 Quick Start Guide for linux. May 9, 2011. [6] Leif Walsh, VyacheslavAkhmechet, and Mike Glukhovsky. RethinkDB—Rethinking Database Storage. July 21, 2009. [7] Libmemcached v0.50 documentation. http://docs. libmemcached.org/ [8] MySQL 5.1 Reference Manual. http://dev.mysql.com/doc /refman/5.1/en/ [9] VadimTkachenko. Detailed review of Tokutek storage engine. April 28, 2009. [10] MySQL sandboxes. http://forge.mysql.com/wiki/ MySQL_Sandbox#The_MySQL_Sandbox

50. 参考文献 [11] TokuView. http://www.tokutek.com/tokuview/. [12] RethinkDB Blog. http://blog.rethinkdb.com/. [13] RethinkDB Documentation Release 1.0. July 18, 2011. [14] Linux下方便的socket读写查看器socktop. http://blog. yufeng.info/archives/1280. [15] 调查服务器响应时间的利器 tcprstat. http://blog.yufeng. info/archives/963. [16] 老生常谈: ulimit问题及其影响. http://blog.yufeng.info /archives/1380. [17] 说说TokuDB与Fractal Tree Index. http://www.fcicq.net/ wp/?p=892 [18]

51. Q & A Thanks！