1. Comment: the UGC system 2. Pages/Channels that use the comment system 3. The architecture 4. The APIs and Entries 5. MongoDB and ObjectId 6. Comments "Gailou" 7. Indexes of the big tables

1. 站内评论与留言系统
技术部 kim

2. 目的
• 介绍现状
• 分享开发过程

3. 评论？
• UGC
• 基础模块
• 二级内容

4. 播放页

5. 专题

6. 留言

7. 我收到的

8. 美女视频

9. 瀑布流1

10. 瀑布流2

11. 瀑布流3

12. 相片（旧）

13. 相片（新）

14. 精彩跟帖

15. 负载
• PV 大于播放页
• 日增10-15万
• Nagios 监控

16. 现状
• PHP 3台
• Memcached 18个节点
• TT 12个节点
• Redis 18个节点
• MongoDB 2台机，6端口，48个库，每库2个
表

17. 页面入口
• 主脚本 objcmt.js
• 主样式 objcmt.importStyle()
• 模板 JavaScript+Html

18. 程序入口
• 多入口
• 站内 api/commentApi.php
• 站外 e.g. api/renren/，api/sina/

19. 回推

20. 旧版
• 单库单表，1.4亿
• Mysql Scheme
• Enum字段
• 代码混乱
• JavaScript Template

21. Why重构
• 存储
• Read/Write 性能
• Bugs
• 业务拓展

22. How?
• MongoDB
• 开发环境
• 数据结构
• 数据迁移
• 程序重构

23. MongoDB
• ReplicaSet
• Sharding VS 分库
• 如何监控

24. MongoDB
• Group/MapReduce 性能
• Btree 索引
• PHP extension 不稳定

25. 开发环境
• 本地模拟 ReplicaSet 架构
• 辅助工具 Rockmongo

26. 数据结构（冗余架构）
• 视频相关 VS 用户相关
• 双表冗余
• 哈希
• Observer模式

27. ID问题
• ObjectId：4e7020cb 7cac81 af71 36236b
• 数字id：226166216
• 1/3内存
• 稳定性，移植性
• ID生成器

28. ID问题
• CREATE TABLE IF NOT EXISTS `comment_id` (
• `id` bigint(20) NOT NULL
AUTO_INCREMENT,
• PRIMARY KEY (`id`)
• ) ENGINE=InnoDB DEFAULT CHARSET=latin1
AUTO_INCREMENT=200000000 ;

29. content问题
• 最大1k
• Db size 与查询效率
• 理论上，非排序和条件字段都可放key/value
• 比如，放TT里
• 优化？

30. 盖楼问题
• MongoDB::getDBRef
• 楼层标识：tower_index
• 递归的使用
• 重复楼层的隐藏问题
• 上限？

32. 数据迁移
• 脚本，求简
• 先迁移，后索引
• No safe insert
• 1k/s 写入，白天单线程，晚上6线程，前后
共计1星期

33. 索引
• Free scheme 的优势
• 多值 OR 查询的修复：
• status:y/n/d -> status:1/0 and visible:1/0

34. 索引
• 慢查询0容忍
• 日志的重要性

35. 大表索引
• ReplicaSet 架构下的大表索引问题

36. 缓存
• 列表，Redis list
• 总数，key/value
• 失效的时机
• 更高的命中率

37. 分页
• LIMIT 的噩梦
• 排序，cursor 的应用
• LIMIT 0，稳定的翻页

38. F&Q

39. 谢谢！