Recommandé
Contenu connexe
En vedette
En vedette (16)
Similaire à 短视频和云存储
Similaire à 短视频和云存储 (20)
短视频和云存储
- 2. Outline • 短视频行业的痛点 • 云存储行业如何解决这些痛点 • 数据在这个时代的意义
- 3. 2014: 短视频爆发年 • 美拍 • GIF 快手 • 逗拍 • 微信视频 • 小偶 • 玩拍 • 微拍 • 秒拍 • 小看 • 小影 • 乐秀 • 美视 • 多拍 • 优酷美点 • 爱拍 • 趣拍
- 4. 为什么？ • 带宽 – 移动 4G 开始推广，直接把一半多的手机用户 从 2G 时代拉到了 4G 时代 – 手机流量包增加 : 现在手机普遍月流量在 1GB 以上， 3GB 以上的也不罕见 – 家用带宽的增加， 10Mb ~ 100Mb 成为家用带 宽的主流
- 5. 为什么？ • 娱乐为王的时代已经来临 – 硬件的革新 : 从照相机，到数码相机，到手机拍照 ，再到手机视频，手机像素增多，质量变高，减少 了从拍摄到分享的时间，提高了体验 – 产品的革新 : 模板，配乐，大头，。。。 – 从论坛到微博和微信的社交模式的转变 • 实名社交和熟人社交：可以跟你的朋友分享你的成果和 感受，享受你跟朋友的互动 • 传播效应更显著、且质量与转发量成正相关，让大家努 力创作高质量内容，且高转发下有更高的荣誉感
- 6. 短视频产品的痛点 • 疯狂增长 – 如果你对产品打磨得足够好，那么用户使用量 会疯狂增长，比如逗拍上线几天后就成为 iOS 免费榜第一名 – 疯狂增长会给你的全线带来压力，数据库，缓 存，业务逻辑，存储，上传，分发都会受到很 大的冲击
- 7. 短视频的痛点 • 有压力，常规的服务如何解决？ – 数据库 : 尽量使用 SSD 硬盘，增大数据库处理 能力 – 缓存层 : memcache 或者 redis ，水平扩张 – 业务层 : 消除服务状态，然后水平扩张 – 接入层 : nginx/tengine ，水平扩张，用 heartbeat 或者 LVS 来做高可用 – 网络 : 尽量使用 BGP 机房，如果只走元数据， 那么流量成本还可以接受 • 麻烦的是数据的部分
- 8. 短视频产品的痛点 • 上传 – 短视频上传大部分都是移动端，网络不稳定， 10s 的视频需要 1M 以上， 60s 的需要 6M 以 上，一次性上传成功率很低，最好能设计一个 分片 – 不使用分片上传 1M 文件的失败已经很高了， 6M 或者更大的图片失败率就会上升到很难接 受的水平。 – 如何设计一个好的分片上传方法会成为一个难 点
- 9. 短视频产品的痛点 • 上传 – 网络覆盖问题：数据放在高规格 BGP 机房是 一个不划算的事情，那么如何保证每个客户都 能得到一个很好的上传体验呢？ – 域名劫持问题 : 这个比较简单，准备多套上传 域名或者直接通过 IP 来上传都是很好的应对方 式
- 10. 短视频产品的痛点 • 存储 – 我用什么存储软件？ mogilefs 还是 fastdfs, 我的团队是否有足够的经验来运维它？ – 我需要准备多大的存储？如果要支持 1PB 就需 要 70 台 2U12 盘的存储机（按 3 份冗余计算 ） – 我的运维团队是否准备好了？流量冲击，磁盘 损坏，机器当机，交换机故障，。。。
- 11. 短视频的痛点 • 数据处理集群 – 截图：短视频截一个图作为封面 – 水印：图片和视频都要水印，在服务器打水印 还是在客户端打好传上来 – 审查 : 审查一般外包给第三方，发送原始视频 会占用大量带宽，导致审查效率下降，是否先 把视频裁剪后再来审查？ – 流式播放 : 如果视频比较长，直接播放的效果 不太好，是否要用 HLS 模式来播放？
- 13. 短视频的痛点 • 分发 – 挑选哪家 CDN ？ • 有没有独立的多媒体平台？ • 是否支持 mp4 拖拽？ • 是否存在多次回源，到我的机房是否有连通性问题 ？ • 大文件回源是不是有优化？ • 小运营商覆盖情况如何？
- 14. 总结 • 传统架构的瓶颈常在数据库，但随着 SSD 的 广泛应用，数据库的处理能力已经提升了 2-3 个数量级，架构瓶颈反而容易出在数据存储层 面 • 数据上传 – 如何设计分片？如何保证网络覆盖？如何降低流量 成本？如何防止 DNS 劫持？ • 数据存储 – 使用何种存储技术？如何避免一次性投入过高？如 何运维大规模集群？
- 15. 总结 • 数据处理 – 如何设计处理集群？如何避免高峰冲击？如何 降低处理成本？ • 数据分发 – 如何拿到好的 CDN 节点？如何防止域名劫持 ？ • 其实不是说以上问题研发团队都没法解决 ，更多的情况是在急剧增长的情况下，你 不舍得把你最好的技术人员放在这上边
- 16. 云存储行业能帮上什么忙？ • 数据上传 – 如何设计分片？如何保证网络覆盖？如何降低 流量成本？ • 分片 : 很多云存储都支持 • 网络覆盖 : 上传节点很多，覆盖面广 • 降低流量成本 : 经常是免费
- 17. 云存储行业能帮上什么忙？ • 数据存储 – 使用何种存储技术？如何避免一次性投入过高 ？如何运维大规模集群？ • 使用云存储后这些都不用担心了， yeah
- 18. 云存储行业能帮上什么忙？ • 数据处理 – 如何设计处理集群？如何避免高峰冲击？如何降低 处理成本？如何避免安全漏洞？ • 很多云存储都提供音视频处理服务，而且由于 云存储本身处理容量大，你的峰值冲击对他们 就很小了 • 而且云存储供应商有独立的安全团队来做安全 保障 • 音视频转码一般按使用量来付费，通常成本比 自建便宜，毕竟云提供商的机器利用率更高。
- 19. 云存储行业能帮上什么忙？ • 审查 – 我们就帮客户设计过审查用的转码 : 双倍速， 分辨率 150x150, 去掉声音，降低码率， 10s 的视频只需 40KB 左右 – 审查员一个网页上可以放多个视频，一起播放 ，大幅度提高了审查速度 – 降低码率之后审查所需的带宽也大幅度下降， 审查网页更流畅，唐马儒表示审查体验大幅度 提高
- 20. 云存储行业能帮上什么忙？ • 数据分发 – 如何选择好的 CDN ？如何防止域名劫持？ • 云存储 – 帮你挑选 CDN – 智能调度优化 CDN ，避免 CDN 故障时服务不 可用 – 多域名甚至 IP 下载来避免域名劫持
- 22. 数据的意义 • 短视频这波风潮的兴起可以说恰好赶在了 移动、宽带、娱乐的风口上，也可以说是 必然的 • 带宽的持续提升正在改变我们的沟通方式 – 从文字到图片，到声音，再到视频，随着技术 的进步，也许会有更多的沟通形式出现，比如 全息投影或者虚拟世界 – 新的沟通方式会催生很多新的产品出现
- 23. 数据的意义 • 我们每个人产生数据的能力越来越强 – 每天你拍的照片、录的视频 – 每天你访问了哪些网站？去了哪些地方？ – 每天你的身体状况 ( 智能穿戴设备 ) ，你的车 辆状况，你的房间的温度湿度，监控探头 – 还有大量的第三方摄像头在看着你？ • 这些数据能变成价值么？我不知道未来会 怎样？但我对答案很乐观。
- 24. 数据的意义 • Google 的出现把互联网成功从 1.0 升级 到 2.0 – 收集网页变成搜索功能来满足用户 – 收集用户的搜索和访问行为变成广告投放引擎 来满足客户 – 这些都是数据价值的体现 – 值多少： 3000 多亿美金
- 25. 数据的意义 • 未来的世界，数据越来越重要 – 你能不能贷款买房，决定的不是你的客户经理 ，而是背后的数据 – 你获取用户的能力，不再仅仅决定于你的智慧 和直觉，而更多是你的数据挖掘能力 – 你的公司的盈利提升，也将更多取决于你的在 数据上能挖掘得多深。