淘宝Hadoop数据分析实践

1. 淘宝Hadoop数据分析实践 淘宝 数据平台与产品部 周敏（周忱）

2. 数据分析选型历程 Hadoop简介 系统架构 集群介绍 近期对Hadoop的改造实践 主要内容

3. 淘宝数据分析选型历程 webalizer awstat 般若 & Oracle Atpanel & Oracle RAC 日志最高达250GB/天 最高达约50道作业 每天运行20小时以上 Oracle RAC集群最多20个节点 Hadoop Hive

4. Hadoop是什么

5. 目前架构 天网调度系统 Oracle 备库 爬虫数据 MySQL备库 日志系统 TimeTunnel DataExchange DataSync Gateway Servers Hadoop Cluster:云梯1 Map Reduce Java Jobs Streaming Jobs Hive Jobs 数据平台 搜索 支付宝 B2B 云梯2 口碑 广告 BI 数据魔方 量子统计 淘数据 推荐系统 搜索排行 …

6. 规模 总容量27.79PB, 利用率51.06% 总共1600+台机器 约6.6千万个文件 每台机器12 TB/24TB 约40000道作业/天 扫描数据约1.7PB/天 产生数据约255 TB/天 用户数820人, 用户组67个

8. Heartbeat锁粒度降低

9. JobHistory页面分离

10. Log4j配置及使用优化

12. 存储优化 极限存储 采用增量存储表数据 建立聚簇索引定位某天/某段时间内的快照 压缩核心表在云梯的存储空间, 平均比率1/30 已经节省3PB空间 压缩 历史数据采用BZip2压缩 已经开发LZMA2压缩, 等待上线 Hadoop RAID 源于Facebook的版本, 添加Placement Mover 正在上线, 预计可再节省3PB空间

13. 小作业优化 避免JobClient/TaskTracker上传、下载相同文件 Reduce 数目自适应 Hadoop Job Hooks CRC32 小作业优化 Shuffle线程sleep 5秒 OOB heartbeat setup/cleanup task消除 LocalJobRunner

14. 链接 淘宝数据魔方 http://data.taobao.com 淘宝数据平台团队博客 http://www.tbdata.org/ 个人 http://coderplay.javaeye.com http://twitter.com/minzhou

15. Thank you! Q&A