Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Mesos-based Data Infrastructure @ Douban
Similaire à Mesos-based Data Infrastructure @ Douban (20)
Mesos-based Data Infrastructure @ Douban
- 2. 关于豆瓣 • 豆瓣于2005年3月上线 • 以技术和产品为核心、生活和 文化为内容的创新网络服务 • Python 为主要工作语言
- 3. 挑战 多样化 的需求 业务数 据分析 广告智 能投放 反垃圾 反水军 个性化 推荐 社交网 络分析 • 每月 100TB+ 日志 • 海量音视频, UGC 数据 • 大量用户个性化数据 数据量大 • 大规模机器学习 • 复杂网络分析和模拟 • 实时数据流分析 计算量大 • 充分利用资源 • 公平合理的调度任务 • 节省成本 高效率
- 4. 如何应对 ? 大数据 高性能 计算 机器学习 • 共享统一的核心基础设施 • 整合各领域最佳的解决方案 • 增强跨领域互操作性 • 方便易用, 提升开发效率
- 5. 核心基础设施
- 6. Hadoop ? • 与 Python 整合困难 • 只适合传统大数据分析业务 • 难以整合高性能计算方案 • 机器学习? 深度学习? • 数据访问困难 • 学习推广成本高 Hadoop Hive 数 据 分 析 HDFS
- 7. MooseFS • 分布式文件系统 • 类 GFS 架构 • 支持 Fuse 方式访问 • 完整的权限与用户组支持 • 性能优良 • 解决数据共享存储问题 • 日志, 数据, 备份 • 镜像文件 • 代码 • …… • 历程 @douban • 2009.12 测试 MooseFS v1.5.12 • 2009.12 上线 MooseFS v1.6.7 • 现状 @douban • v3.0.92 • 6 个集群 • 数据 6.2 PB+ • 文件 96.7 M+ • 事件峰值 每秒 133 K+
- 8. Apache Mesos • Benjamin Hindman, et al "Mesos: A Platform for Fine- Grained Resource Sharing in the Data Center." • 分布式资源调度系统 • wDRF - 公平高效的分配算法 • 灵活的两级调度模型 • 开放的资源调度接口 • 高质量的代码实现 • 隔离, 资源限制, Container, … • 弹性私有云 • 历程 @douban • 2011.10 测试 Mesos v0.3 • 2011.12 上线 Mesos v0.4 • 现状 @douban • v1.2.0 & v1.3.0 • 3 个集群 • CPU 5000+ • Mem 5 TB+ • 每日 3 M+ 任务
- 9. PyMesos • https://github.com/douban/pymesos • Mesos Scheduler/Executor Driver 的纯 Python 实现 • 使用 Mesos HTTP v1 API • 支持 CPython 2.7/3.5 以及 PyPy • 内置基于 Zookeeper 的 Master 发现机制 • 提供 subprocess 接口的辅助函数
- 10. 大数据解决方案
- 11. DPark • https://github.com/douban/dpark • Apache Spark 的 Python 克隆 • Resilient Distributed Dataset • 更好的支持迭代计算 • 更好的支持 Python • 复用 Python 代码和 C 扩展 • 整合 NumPy, SciPy, Pandas, … • 多租户支持 • 实时流计算 Dstream from dpark import DparkContext ctx = DparkContext('mesos') stopwords = set([ 'the', 'to', 'of', 'for', 'in', 'a', 'with', 'this', 'that', 'be‘ ]) rdd = ctx.textFile('shakespeare.txt') rdd = rdd.flatMap( lambda line: line.rstrip().split() ).map( lambda word: word.lower() ).filter( lambda word: word not in stopwords ) for word, cnt in rdd.hot(10): print word, cnt
- 12. 位置感知 • Mesos, MooseFS 集群重叠部署 • 优先将任务发往数据所在节点 • 本地 MooseFS 直接读取 • 网络 IO 转化为本地 IO TaskTask Agent Data MooseFS Master Mesos Master DPark Scheduler Task TaskTaskTask Agent Data Agent Data Agent
- 13. Docker 支持 • 目的: • 适应线上服务化架构 • 保持环境一致 • 资源隔离 • 加快启动速度 • Docker Containerizer • Mesos v0.20.0 • 自动镜像构建 • 自动镜像发布和部署 • 自动 Volume 相关路径路径
- 14. 大数据解决方案 • 原生 Python 支持 • 支持更多业务类型 • 灵活, 轻量 • 内部系统整合 • 直接读取数据备份 • 计算结果自动上线 • 资源隔离与审计 • 公平调度 Mesos DPark 数 据 分 析 反 垃 圾 实 时 分 析 MooseFSDocker
- 15. 高性能计算解决方案
- 16. MPI 整合方案 • Mrun • https://github.com/douban/dpark/blob/master/tools/mrun • 支持从 Mesos 动态分配 MPI 资源 • 支持 MPI Hydra Launcher • 支持 MPICH2, MPICH3 以及 MVAPICH2 • 高性能计算工具箱 • 相似度计算 • 逻辑回归 • 聚类, 谱聚类 • ……
- 17. GPU 加速 • Docker Containerizer • Nvidia Docker • 必须使用镜像 • 流程 1. GPU 作为自定义资源注册 2. Master 分配资源给 Scheduler 3. Scheduler 查询 Nvidia Docker 4. Nvidia Docker 返回 GPU 参数 5. Scheduler 提交任务 6. Master 通过 Agent 启动任务 Scheduler Mesos Master Mesos Agent Nvidia Docker Plugin 2 1 3 4 5 6
- 18. GPU 加速 • Mesos Unified Containerizer • GPU Isolator • 是否使用镜像可选 • 自动分配 GPU 资源 • 流程 1. 注册 GPU 信息到 Master 节点 2. Scheduler 获得 GPU 资源 3. Scheduler 提交 GPU 计算任务 4. Master 通过 Agent 启动 GPU 计算任务 Scheduler Mesos Master Mesos Agent 2 1 3 4
- 19. InfiniBand 集成 • 高速, 低延迟 • FDR 56Gb/s • EDR 100Gb/s • 消除分布式计算的带宽瓶颈 • 计算任务多机并行扩展 • 构建高性能计算云 • Mesos 设备白名单 • [MESOS-6791] by Douban • 打开 GPU Isolator 时可以访问 InfiniBand 设备 • Mesos v1.3.0 • MVAPICH2-GDR • 支持 InfiniBand 的 MPI-3 实现 • 与 MPICH2 二进制兼容 • GPUDirect RDMA
- 20. GPUDirect RDMA GPU CPU IB HCA CPU GPU IB HCA PCI x4 PCI x4 InfiniBand GPU Mem Mem Mem GPU Mem Without GDR With GDR
- 21. GPU-GPU Benchmark 1.0E+01 1.0E+02 1.0E+03 1.0E+04 0 1000 2000 3000 4000 5000 6000 7000 LATENCY(US) BANDWIDTH(MB/S) PACKET SIZE (BYTE) Bandwidth Latency 测试环境 • MVAPICH2-GDR 2.2 • Mellanox OFED 4.0 • CUDA 8.0 • nv_peer 内核驱动 • gdrcopy 内核驱动 • OSU Benchmark GPUDirect RDMA Threshold
- 22. 高性能计算解决方案 • 支持新一代硬件加速设备 • 充分发挥底层硬件性能 • 消除并行计算带宽瓶颈 • 分布式高性能矩阵计算 MooseFS Mesos DPark 数 据 分 析 反 垃 圾 实 时 分 析 Docker MPI 推 荐 系 统 广 告 投 放 GPU + IB
- 23. 机器学习解决方案
- 24. Paracel • https://github.com/douban/paracel • Jeffrey Dean, et al. "Large scale distributed deep networks." • 参数服务器思想 • 分布式机器学习框架 • 使用 MPI 框架通信 • Stale Synchronous Parallel Parameter Server 𝜔′ = 𝜔 − 𝜂Δ𝜔 𝜔 Δ𝜔 Model Replicas Data Shards
- 25. DMLC on Mesos • Distributed (Deep) Machine Learning Community • 机器学习工具箱 • MXNet • XGBoost • Mesos Support for dmlc-core • dmlc/dmlc-core#241 by Douban • Powered by PyMesos • Fallback to mesos-execute • XGBoost on Mesos • 获得近似线性加速能力
- 26. Tensorflow • Tensorflow • 深度学习框架 By Google/DeepMind • 自动求导 • GPU 加速 • Distributed Tensorflow • Tensorflow v0.8 • gRPC 实现的参数服务器 • In-Graph/Between-Graph 训练 模式 • Tensorflow RDMA • Remote Direct Memory Access • tensorflow/tensorflow#8943 by Yahoo • 使用 verbs 接口访问 IB 设备 • gRPC 协议 • Tensorflow v1.2.0
- 27. TFMesos • https://github.com/douban/tfmesos • Distributed Tensorflow on Mesos • 支持 GPU • 支持 Docker • tfrun 工具适配 Between-Graph 模式 import tensorflow as tf from tfmesos import cluster jobs_def = [ {"name": "ps", "num": 2}, {"name": "worker", "num": 2}, ] with cluster(jobs_def) as c: with tf.device('/job:ps/task:0'): a = tf.Variable(10) with tf.device('/job:ps/task:1'): b = tf.Variable(32) with tf.device("/job:worker/task:1"): op = a + b grpc_url = c.targets['/job:worker/task:0'] with tf.Session(grpc_url) as sess: sess.run(tf.global_variables_initializer()) print sess.run(op) add a b /job:ps/task:0 /job:ps/task:1 /job:worker/task:1
- 28. 机器学习解决方案 • 集成先进机器学习平台 • 从机器学习走向深度学习 • 解决大规模复杂问题 MooseFS Mesos DPark 数 据 分 析 反 垃 圾 实 时 分 析 Docker MPI 推 荐 系 统 广 告 投 放 GPU + IB 自 然 语 言 理 解 复 杂 网 络 分 析 Paracel DMLC Tensorflow
- 29. 总结与展望
- 30. 成果 大数据 高性能 计算 机器学习 • 基于 Mesos 的统一基础设施 • 整合了各领域最佳解决方案 • 跨解决方案的互操作性 • 充分挖掘高性能硬件的潜能 • 多租户弹性计算云 • 大规模多机并行深度学习
- 32. Q & A Or: AMA (Ask Me Anything)