中国の最新 GPU ディープラーニング事例のご紹介
•
16 j'aime•2,177 vues
このスライドは 2017 年 1 月 17 日 (火)、ベルサール高田馬場で開催された「NVIDIA Deep Learning Institute 2017」にて、「中国の最新 GPU ディープラーニング事例のご紹介」と題し、エヌビディア中国 GPU応用市場総監 侯宇涛が講演したものです。 中国での先進的な GPU ディープラーニングの事例をご紹介します。
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 中国の最新 GPU ディープラーニング事例のご紹介
Similaire à 中国の最新 GPU ディープラーニング事例のご紹介 (20)
Plus de NVIDIA Japan
Plus de NVIDIA Japan (20)
中国の最新 GPU ディープラーニング事例のご紹介
- 2. 2
- 3. 阿里云HPC介绍 • 中国首个推出公共云上的HPC产品 • 中国首个推出云上Maxwell架构的Tesla GPU，单节点单精度计算能力超过16Tflops • 阿里云HPC团队 • 集团内客户GPU集群建设、客服服务和应用优化 • 公共云上HPC运营、客户服务和应用优化 • 异构云平台预研 • 致力于满足深度学习用户的高性能计算需求 • 初创型新兴用户：随着人工智能市场的蓬勃发展，创业企业如雨后春笋般涌现出来，他们对高性能计算的需 求非常强烈 • 互联网企业也加入深度学习的浪潮，对高性能计算的需求与日俱增 • 传统GPU用户 + 深度学习：渲染（虚拟现实）、游戏、图形图像处理、视频处理 • 传统HPC用户 + 深度学习：气象、医疗图像处理、计算金融、碰撞模拟、流体力学、基因测序等 阿里云HPC加速人工智能的发展
- 4. 阿里深度学习业务场景 • 商品分类 • 商品风格预测 • 商品质量控制 • 拍照购 • 反黄 • 人脸识别 • 图像搜索 • OCR • ICDAR Robust Reading top1 • 语音识别 • 阿里小Ai
- 5. 阿里深度学习集群 • 业务 • 大规模深度学习训练 • 在线、离线预测 • 建设统一化资源管理、调度、监控 • 规模: 上千片K40/M40 GPU，Infiniband 网络 • 资源调度系统 • 弹性: docker容器服务 • 多租户隔离 • 部署自动化训练、预测服务 • 部署针对特定GPU架构的深度学习优化实现
- 6. 深度学习性能优化 • 系统层面 • 多机多卡训练优化 • 预测的吞吐量优化 • 通信优化（MPI overlap、Direct RDMA） • 针对GPU优化 • CUDA Kernel优化 • Multi-stream优化 • PTX、Native指令优化 • 显存节约 • 数据传输优化 • 工具增强优化
- 7. GPU极致性能优化工具-AsKepler • 世界唯一公开Kepler原生汇编器 • 目前支持SM35，SM37 • 自由使用原生指令 • 自由寄存器映射 • 自由控制指令调度 • 了解微架构，进而指导人工优化或编译器后 端优化
- 8. Kepler GPU上2D卷积性能优化 • 目前Kepler GPU上世界最快 • Native指令直接实现Img2col + sgemm，减少数据中转 • 尽量使用shared memory，减少全局内存访问 • 循环展开：增加shared memory的使用，指令并行 • 寄存器数量和shared memory的权衡，提高occupancy • 充分利用dual issue • 边界处理，避免warp内分支 • 性能： • ourConv_sass vs. cuDNNv2: 2.1倍 • ourConv_sass vs. cuDNNv3_FFT: 1.75倍
- 9. 语音识别优化案例 • 语音识别应用 • 客服电话语音识别 • YunOS语音识别 • 云栖大会语音识别 • 难点 • 只有CPU代码，需要向GPU移植 • 需要GPU上多路语音并行 • CPU、GPU数据传输频繁 • GPU计算效率低 • 优化方法 • 移植到GPU：创建CUDA相关矩阵类，封装CUDA相 关矩阵操作 • 并行优化：不同路语音绑定到不同的CUDA stream 上 • 数据传输优化：减少CPU、GPU数据传输次数 • 微架构优化：提高矩阵乘法、矩阵向量乘法效率 • LSTM凑batch优化：把不同请求的语言凑在一起过 网络 • 优化结果 • 双M40卡比32核CPU 5倍路数比 • 云栖大会语音识别 • 小Ai机器人 1 5 0 1 2 3 4 5 6 CPU GPU 语音识别路数对比 路数比
- 10. 阿里云HPC深度学习基础设施 • CPU + GPU + ECS计算服务 + 阿里云众多产品服务 • OSS，分布式存储 • NAS，并行文件系统 • ODPS，实现高性能计算和大数据计算结合 • ECS，在线预测服务器 • CDN，图像、视频在线、离线预测 • SLB，高吞吐在线预测 深度学习基础设施 CPU + GPU + ECS 计算服务 RDS 数据库 …… ODPS 大数据 SLB 负载均衡 OSS/NAS 存储 CDN 内容分发
- 11. 阿里云HPC深度学习资源编排 • 一键资源编排 • 打通深度学习上下游，形成数据闭环链路 离线训练 离线预测 在线预测 特征 提取 标注 离线 训练 训练的模型 分类 分类 分类 训练的 模型 原始 数据 分类数据 分类 数据
- 12. 阿里云HPC深度学习工具开箱即用 • 通过主机自带或者Docker镜像提供 • Caffe • cuDnn v4 • Tensorflow • Mxnet • Torch • Theano • 易用性高 • 按量计费 • 资源编排 • 一键部署 • 弹性伸缩
- 13. 阿里云HPC加速深度学习 Tesla M40 DNN – all fully connected layers CNN – some convolutional layers RNN – recurrent neural network, LSTM
- 17. 机器人问答：数据的逻辑 花呗什么还款？ 密码忘了怎么办？ 余额宝收益什么时候到？ 原始对话记录 用户问题 答案 人工客服对话 机器人客服对话 数据挖掘 运营专家 问题，答案 问题匹配 知识生产 知识库 知识消费 优化反馈
- 19. 完整的对话机器人 聊天 Q: 世界最高峰是什么？ A: 珠穆朗玛 通用知识问答 Q：怎么才能变漂亮？ A：多读书多看报,少吃零食多睡 觉。 Q: 花呗怎么还款？ A: 花呗还款有这几种方式 … 产品知识问答 Q: 我想订明天的飞机票 A: 请问你想到哪里？ 完成任务 Q: 我20岁，是个学生，该买什么保险？ A: 请问您的月消费是多少？ 金融服务 多目标系统 拟人化 智慧 解决问题 个人助手 普惠服务 版权归属于蚂蚁金服
- 20. 多技术融合 聊天 通用知识问答 产品知识问答 完成任务 金融服务 深度学习 信息检索数据挖掘 自然语言处理 知识表示 金融模型 人工智能技术 版权归属于蚂蚁金服
- 21. 参数服务器：超大DNN训练 参数矩阵 稀疏输入 计算节点 1 参数服务器 1 参数服务器 2 计算节点 3计算节点 2 按需参数传递 DNN模型 (in Caffe) 搜索、推荐、广告 超大规模的离散稀疏向量输入。一亿个参数到千亿个参数
- 22. JD.com is China’s largest online retailer and its biggest overall retailer. It offers customers the best online shopping experience. The company is a member of the Fortune Global 500.
- 34. 人工智能嘴巴-语音合成 2006-2013 比赛语种英语 2012年英语合成自然度首次超过普通发音人 2014-2015 比赛语种印地语 2016 英文故事合成多维度主观感受全面领先 4.7 4.2 3.6 3.5 3.1 2.5 2.3 2.3 2.3 1.7 1.5 0 1 2 3 4 5 A C I F B G D H J K E 自然语音 自 然 度 科大讯飞：唯一自然度大于4分的系统 30 32 34 36 38 40 愉悦感 停顿节奏 重读 声调 情感 耐听性 L讯飞系统 第二名系统 《Hansel And Gretel》 That night, Gretel had nightmares about monsters in the woods. "I'm scared," she said, from under the covers. "What are we going to do?“ "Don't worry," said Hansel, who was lying wide awake. "I have an idea." Quietly, he tiptoed outside. STOP
- 36. 客服机器人-晓嫚 、 软银Pepper机器人 • 产品特点： 情绪识别、智能语音、关节灵活； 根据场景可定制机器人显示屏APP功能 • 应用场所： 软银营业厅：迎宾、促销员 商场、超市：促销活动、导览 旅游游客中心：介绍景点信息 • 效果反馈：Softbank东京银座营业厅，在放置Pepper机器人 后，客流量较放置前提高了87% 晓曼向总书记问好 2016.04.26 2016.05.22 2016.07.01 晓曼给刘总当秘书 晓曼参与录制人工智能 系列纪录片 晓曼在中国智能客服峰 会首次担当主持人 大堂经理“晓曼” 的”大智慧“获得新 闻联播的垂青 2016.07.22 2016.07.23 - 讯飞“晓曼”机器人： • 成为业界关注度最高的首个 实用服务机器人
- 38. 最新进展：口语评测机器可替代老师 0.987 0.979 0.978 0.977 0.977 0.977 0.976 0.976 0.976 0.975 0.975 0.968 0.97 0.972 0.974 0.976 0.978 0.98 0.982 0.984 0.986 0.988 机器分 评分员7 评分员2 评分员1 评分员10 评分员6 评分员5 评分员4 评分员8 评分员9 评分员3 总分相关度 1.98 2.38 2.38 2.4 2.43 2.45 2.45 2.47 2.5 2.52 2.52 0 0.5 1 1.5 2 2.5 3 机器分 评分员1 评分员7 评分员2 评分员10 评分员6 评分员8 评分员5 评分员4 评分员9 评分员3 总分平均误差 口语评测技术已在广东省高考英语口语考试中大规模应用
- 40. 开放平台带动语音云快速增长 讯飞云总用户数 日均交互次数 第三方合作伙伴或创业团队 7亿 20亿 15万 4.4亿 4.8亿 3万2015.3 2016.6 +59% +317% +400%
- 43. 并行算法优化
- 44. 加速比 1 3.7 15 27 55 0 10 20 30 40 50 60 1 4 14 32 64 加速比 GPGPU数量
- 45. 基础函数优化 Torch TensorFlow CNTK Caffe …… Tesla K20m Tesla K40 Tesla M40 Tesla P40 …… 参考了大量的开源代码 深入学习不同GPGPU的架构 阅读了大量的论文
- 47. 在线语音云 Tesla K8 Tesla M4 Tesla M40 单节点机器500+路的并发！