SlideShare une entreprise Scribd logo
1  sur  60
淘宝网架构变迁和挑战
About  me ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
内容提要 ,[object Object],[object Object],[object Object]
淘宝网的架构变迁
技术里程总览 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
V1.0 :小而快   2003.5 – 2004.5
简介   ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],简单的结构,但符合当时需求
V2.0 :多层次结构,开始做自己的软件   2004.2 – 2008.3
需求 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
简介 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],因应业务的增多,用户的激增,架构也日趋多层化
问题  I ,[object Object],[object Object],[object Object],V2 单一代码模块的设计( Denali ) 代码复杂难维护
问题  II ,[object Object],[object Object],[object Object],[object Object],Oracle 数据库 太多的应用机器 有限的链接池 需要数据库连接
V3.0 :产品化思维及服务导向框架   2007.10-2009.11
需求 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
结构   ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],鬆耦合,服务导向的架构
V4.0 :系统化、智能化、专业化   2009.8-
现状 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
技术里程回顾 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
通用的基础产品
计算机组成 计算机硬件结构图  外存 内存 运算 器 控制 器 输入设备 输出设备 数据、程序  CPU 主机 数据、程序   数据、程序   冯 . 诺依曼型计算机
计算机系统的本质 ,[object Object],[object Object],[object Object]
网站结构示意图 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
Web 框架 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
中间件 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
服务框架 ,[object Object],[object Object],[object Object],[object Object]
服务框架 ,[object Object],[object Object],[object Object],[object Object]
服务框架 ,[object Object],[object Object],[object Object],[object Object]
服务框架 调用者 服务提供者 调用者 服务提供者 服务注册查找中心
中间件 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
消息中间件 ,[object Object],[object Object],[object Object],[object Object],[object Object]
消息中间件 传统方式 使用消息中间件方式
消息中间件 ,[object Object],业务系统 Do something 业务 DB 定时程序 获取任务 Do action
消息中间件 ,[object Object],[object Object],[object Object],[object Object],[object Object]
中间件 LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
数据层
数据层 User User1 User2 User1-M User2-M User2-S User1-S 分库分表 读写分离 数据库架构的演进
数据层 User1-M User2-M User2-S User1-S TAtomDataSource TGroupDataSource TDataSource 数据源的三层重构 业务可以灵活选择
数据层 ,[object Object],[object Object],[object Object],[object Object]
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
分布式缓存 ,[object Object],[object Object]
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
分布式存储 ,[object Object],[object Object],[object Object],[object Object]
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
搜索系统 ,[object Object],[object Object]
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
Hadoop ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
FourInOne ,[object Object],[object Object],Master Worker Worker Worker
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
CSP 业务架构
CSP 逻辑单元 逻辑单元 逻辑单元 逻辑单元 逻辑单元 收集 分析器 db 应用 系统 收集 分析器 db 收集 分析器 db 收集 分析器 db 收集 分析器 db 控制 服务 中心 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统
CSP 的一些数据 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
哈勃系统架构 ,[object Object]
系统特点 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
哈勃运行状况 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
运维平台 ,[object Object],[object Object],[object Object],[object Object]
LoadBalancer WebApp WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
我们面临的挑战
面临的挑战
Thanks !

Contenu connexe

Tendances

盛大游戏运维体系
盛大游戏运维体系盛大游戏运维体系
盛大游戏运维体系Ken Liu
 
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobaoterryice
 
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud eraAccelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud eraJunchi Zhang
 
淘宝Java中间件之路
淘宝Java中间件之路淘宝Java中间件之路
淘宝Java中间件之路mysqlops
 
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析Leechael
 
豆瓣数据架构实践
豆瓣数据架构实践豆瓣数据架构实践
豆瓣数据架构实践Xupeng Yun
 
MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例郁萍 王
 
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 SaacChao Zhu
 
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011Yiwei Ma
 
MySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 ReviewMySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 Review郁萍 王
 
Selling sybase hds solution for banking
Selling sybase hds solution for bankingSelling sybase hds solution for banking
Selling sybase hds solution for bankingfocusbi
 
MySQL 網路參考架構
MySQL 網路參考架構MySQL 網路參考架構
MySQL 網路參考架構郁萍 王
 
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程areyouok
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践Wensong Zhang
 
分布式系统日志处理调研
分布式系统日志处理调研分布式系统日志处理调研
分布式系统日志处理调研klandor
 
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zhengBdwf11 netezza james_zheng
Bdwf11 netezza james_zhengbigdatawf
 
Memcached vs redis
Memcached vs redisMemcached vs redis
Memcached vs redisqianshi
 
开源应用日志收集系统
开源应用日志收集系统开源应用日志收集系统
开源应用日志收集系统reinhardx
 
数据访问层开发实践
数据访问层开发实践数据访问层开发实践
数据访问层开发实践xcq
 
MySQL5.6新功能
MySQL5.6新功能MySQL5.6新功能
MySQL5.6新功能郁萍 王
 

Tendances (20)

盛大游戏运维体系
盛大游戏运维体系盛大游戏运维体系
盛大游戏运维体系
 
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao
 
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud eraAccelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud era
 
淘宝Java中间件之路
淘宝Java中间件之路淘宝Java中间件之路
淘宝Java中间件之路
 
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
 
豆瓣数据架构实践
豆瓣数据架构实践豆瓣数据架构实践
豆瓣数据架构实践
 
MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例
 
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
 
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
 
MySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 ReviewMySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 Review
 
Selling sybase hds solution for banking
Selling sybase hds solution for bankingSelling sybase hds solution for banking
Selling sybase hds solution for banking
 
MySQL 網路參考架構
MySQL 網路參考架構MySQL 網路參考架構
MySQL 網路參考架構
 
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
 
分布式系统日志处理调研
分布式系统日志处理调研分布式系统日志处理调研
分布式系统日志处理调研
 
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zhengBdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
 
Memcached vs redis
Memcached vs redisMemcached vs redis
Memcached vs redis
 
开源应用日志收集系统
开源应用日志收集系统开源应用日志收集系统
开源应用日志收集系统
 
数据访问层开发实践
数据访问层开发实践数据访问层开发实践
数据访问层开发实践
 
MySQL5.6新功能
MySQL5.6新功能MySQL5.6新功能
MySQL5.6新功能
 

Similaire à 淘宝网架构变迁和挑战(Oracle架构师日)

Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境drewz lin
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林corlin chen
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维guiyingshenxia
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维colderboy17
 
Solution apc 4.0
Solution apc 4.0Solution apc 4.0
Solution apc 4.0ahnlabchina
 
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程George Ang
 
深入研究雲端應用程式平台-AppFabric
深入研究雲端應用程式平台-AppFabric深入研究雲端應用程式平台-AppFabric
深入研究雲端應用程式平台-AppFabricJohn Chang
 
开源应用日志收集系统
开源应用日志收集系统开源应用日志收集系统
开源应用日志收集系统klandor
 
民间秘方
民间秘方民间秘方
民间秘方dynasty
 
达尔文信息云平台
达尔文信息云平台达尔文信息云平台
达尔文信息云平台SmartData
 
构建高可用数据库监控系统
构建高可用数据库监控系统构建高可用数据库监控系统
构建高可用数据库监控系统haiyuan ning
 
构建高性能MySQL系统
构建高性能MySQL系统构建高性能MySQL系统
构建高性能MySQL系统jackbillow
 
Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云Cheng Zhang
 
+++º+ ¦¦ ¦ ¦¦ ¦+ =
+++º+ ¦¦  ¦ ¦¦ ¦+ =+++º+ ¦¦  ¦ ¦¦ ¦+ =
+++º+ ¦¦ ¦ ¦¦ ¦+ =guesta6295f3
 
Challenges and opportunities computing Kuo-Yi Chen
Challenges and opportunities computing   Kuo-Yi ChenChallenges and opportunities computing   Kuo-Yi Chen
Challenges and opportunities computing Kuo-Yi Chenkuoyichen
 
01.ofm11g概览
01.ofm11g概览01.ofm11g概览
01.ofm11g概览Meng He
 
数据采集中间件技术交流
数据采集中间件技术交流数据采集中间件技术交流
数据采集中间件技术交流jerry tom
 
信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressApp信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressAppzhoujg
 

Similaire à 淘宝网架构变迁和挑战(Oracle架构师日) (20)

Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
 
Mocha Bsm
Mocha BsmMocha Bsm
Mocha Bsm
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
 
SWsoft_Prim@Telecom
SWsoft_Prim@TelecomSWsoft_Prim@Telecom
SWsoft_Prim@Telecom
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
 
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
 
Solution apc 4.0
Solution apc 4.0Solution apc 4.0
Solution apc 4.0
 
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程
 
深入研究雲端應用程式平台-AppFabric
深入研究雲端應用程式平台-AppFabric深入研究雲端應用程式平台-AppFabric
深入研究雲端應用程式平台-AppFabric
 
开源应用日志收集系统
开源应用日志收集系统开源应用日志收集系统
开源应用日志收集系统
 
民间秘方
民间秘方民间秘方
民间秘方
 
达尔文信息云平台
达尔文信息云平台达尔文信息云平台
达尔文信息云平台
 
构建高可用数据库监控系统
构建高可用数据库监控系统构建高可用数据库监控系统
构建高可用数据库监控系统
 
构建高性能MySQL系统
构建高性能MySQL系统构建高性能MySQL系统
构建高性能MySQL系统
 
Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云Teched 2012 60分钟构建私有云
Teched 2012 60分钟构建私有云
 
+++º+ ¦¦ ¦ ¦¦ ¦+ =
+++º+ ¦¦  ¦ ¦¦ ¦+ =+++º+ ¦¦  ¦ ¦¦ ¦+ =
+++º+ ¦¦ ¦ ¦¦ ¦+ =
 
Challenges and opportunities computing Kuo-Yi Chen
Challenges and opportunities computing   Kuo-Yi ChenChallenges and opportunities computing   Kuo-Yi Chen
Challenges and opportunities computing Kuo-Yi Chen
 
01.ofm11g概览
01.ofm11g概览01.ofm11g概览
01.ofm11g概览
 
数据采集中间件技术交流
数据采集中间件技术交流数据采集中间件技术交流
数据采集中间件技术交流
 
信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressApp信息系统开发平台OpenExpressApp
信息系统开发平台OpenExpressApp
 

淘宝网架构变迁和挑战(Oracle架构师日)

Notes de l'éditeur

  1. 每日承载接近 200 亿次的调用
  2. Hadoop,ZK,MQ , Cache
  3. 其实监控系统有个特点,就是被监控的系统他们的关系是完全独立的 由于该系统中没有出现需要集中式的数据,所以采用完全分布式方案 1 、充分利用 db 和应用的特性,将 db 也部署在 appserver 上 2 、收集 app 、 db 、被监控系统的关联完全控制服务中心控制