SlideShare une entreprise Scribd logo
1  sur  20
Télécharger pour lire hors ligne
OceanBase千亿级海量数据库,[object Object],2011.5,[object Object],日照:rizhao.ych@taobao.com,[object Object],1,[object Object]
Agenda,[object Object],[object Object]
Oceanbase技术方案
收藏夹应用案例
系统展望2,[object Object]
在线存储需求,[object Object],[object Object]
数据规模:百TB级,百台机器
OLTP:几十万QPS,几万TPS
OLAP:支持千万级记录实时计算
支持事务
强一致性 (vs. 弱一致性、最终一致性)
可用性:5个9
运维简单性:不再拆库,自动扩容3,[object Object]
现有存储方案对照,[object Object],4,[object Object],HBase,[object Object],Bigtable,[object Object],数据规模,[object Object],Megastore,[object Object],万亿记录(十PB),[object Object],OceanBase,[object Object],千亿记录(百TB),[object Object],Dynamo,[object Object],Cassandra,[object Object],十亿记录(TB),[object Object],RDBMS,[object Object],千万记录(百GB),[object Object],事务与数据一致性,[object Object],最终一致,[object Object],单行事务,[object Object],跨行跨表事务,[object Object],[object Object]
数据容量大、可扩展性好、容错能力强
没有跨行跨表事务、数据一致性弱,[object Object]
海量数据存储特点的进一步分析
数据量大但修改量较小,一千亿 * 1%* 100B = 100G
区分最新修改的增量数据和以前的基准数据?
OceanBase = RDBMS + 云存储

Contenu connexe

Tendances

海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOXaleafs
 
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaOcean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaknuthocean
 
Hdfs introduction
Hdfs introductionHdfs introduction
Hdfs introductionbaggioss
 
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用列式存储、位图技术研究及应用
列式存储、位图技术研究及应用3908282
 
基于Hbase的实时计算分享
基于Hbase的实时计算分享基于Hbase的实时计算分享
基于Hbase的实时计算分享yiihsia
 
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push ServicesUsing Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push ServicesAlluxio, Inc.
 
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统hdhappy001
 
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercuryZoom Quiet
 
Redis 介绍 -田琪
Redis 介绍 -田琪Redis 介绍 -田琪
Redis 介绍 -田琪Shaoning Pan
 
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践Min Zhou
 
Distributed Data Analytics at Taobao
Distributed Data Analytics at TaobaoDistributed Data Analytics at Taobao
Distributed Data Analytics at TaobaoMin Zhou
 
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术hdhappy001
 
分布式构架简介 草稿
分布式构架简介 草稿分布式构架简介 草稿
分布式构架简介 草稿guestd7133d1
 
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用Shaoning Pan
 
Hadoop大数据实践经验
Hadoop大数据实践经验Hadoop大数据实践经验
Hadoop大数据实践经验Schubert Zhang
 
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群hdhappy001
 

Tendances (19)

海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
 
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaOcean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
 
Hdfs introduction
Hdfs introductionHdfs introduction
Hdfs introduction
 
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用列式存储、位图技术研究及应用
列式存储、位图技术研究及应用
 
基于Hbase的实时计算分享
基于Hbase的实时计算分享基于Hbase的实时计算分享
基于Hbase的实时计算分享
 
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push ServicesUsing Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push Services
 
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
 
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
 
Hdfs
HdfsHdfs
Hdfs
 
Hdfs
HdfsHdfs
Hdfs
 
Redis 介绍 -田琪
Redis 介绍 -田琪Redis 介绍 -田琪
Redis 介绍 -田琪
 
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
 
Distributed Data Analytics at Taobao
Distributed Data Analytics at TaobaoDistributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
 
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
 
分布式构架简介 草稿
分布式构架简介 草稿分布式构架简介 草稿
分布式构架简介 草稿
 
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用
 
Dfs ning
Dfs ningDfs ning
Dfs ning
 
Hadoop大数据实践经验
Hadoop大数据实践经验Hadoop大数据实践经验
Hadoop大数据实践经验
 
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
 

En vedette

Implementação de um PMO em Lisarb
Implementação de um PMO em LisarbImplementação de um PMO em Lisarb
Implementação de um PMO em LisarbMarco Coghi
 
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01Marco Coghi
 
Tx history-ch-20.3
Tx history-ch-20.3Tx history-ch-20.3
Tx history-ch-20.3AvantK
 
Propuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digitalPropuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digitalMarianHucul114
 
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Capítulo 3   o sistema solar_Fundamentos da AstronomiaCapítulo 3   o sistema solar_Fundamentos da Astronomia
Capítulo 3 o sistema solar_Fundamentos da AstronomiaBeatriz Furtado
 

En vedette (7)

Implementação de um PMO em Lisarb
Implementação de um PMO em LisarbImplementação de um PMO em Lisarb
Implementação de um PMO em Lisarb
 
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01
 
Tutorial de ajax
Tutorial de ajaxTutorial de ajax
Tutorial de ajax
 
Tx history-ch-20.3
Tx history-ch-20.3Tx history-ch-20.3
Tx history-ch-20.3
 
Horta Urbana
Horta UrbanaHorta Urbana
Horta Urbana
 
Propuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digitalPropuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digital
 
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Capítulo 3   o sistema solar_Fundamentos da AstronomiaCapítulo 3   o sistema solar_Fundamentos da Astronomia
Capítulo 3 o sistema solar_Fundamentos da Astronomia
 

Similaire à Ocean base --千亿级海量数据库-lamper_日照

开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践Wensong Zhang
 
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015Streaming architecture zx_dec2015
Streaming architecture zx_dec2015Zhenzhong Xu
 
Selling sybase hds solution for banking
Selling sybase hds solution for bankingSelling sybase hds solution for banking
Selling sybase hds solution for bankingfocusbi
 
Hbase架构简介、实践
Hbase架构简介、实践Hbase架构简介、实践
Hbase架构简介、实践Li Map
 
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdfmarkmind
 
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具Amazon Web Services
 
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured StreamingDelta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured StreamingXiao Li
 
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析isnull
 
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析Leechael
 
Tup2 人人网张铁安
Tup2 人人网张铁安Tup2 人人网张铁安
Tup2 人人网张铁安yongboy
 
大型互联网广告应用系统架构
大型互联网广告应用系统架构大型互联网广告应用系统架构
大型互联网广告应用系统架构Shaoning Pan
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践Wensong Zhang
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践drewz lin
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践lovingprince58
 
网站存储经验谈pdf
网站存储经验谈pdf网站存储经验谈pdf
网站存储经验谈pdfYu Lin
 
网站存储经验谈-pdf
网站存储经验谈-pdf网站存储经验谈-pdf
网站存储经验谈-pdfYu Lin
 

Similaire à Ocean base --千亿级海量数据库-lamper_日照 (20)

Hantuo openstack
Hantuo openstackHantuo openstack
Hantuo openstack
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
 
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
 
Selling sybase hds solution for banking
Selling sybase hds solution for bankingSelling sybase hds solution for banking
Selling sybase hds solution for banking
 
Hbase架构简介、实践
Hbase架构简介、实践Hbase架构简介、实践
Hbase架构简介、实践
 
Altibase介绍
Altibase介绍Altibase介绍
Altibase介绍
 
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
 
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
 
Hbase
HbaseHbase
Hbase
 
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured StreamingDelta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
 
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
 
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
 
Tup2 人人网张铁安
Tup2 人人网张铁安Tup2 人人网张铁安
Tup2 人人网张铁安
 
大型互联网广告应用系统架构
大型互联网广告应用系统架构大型互联网广告应用系统架构
大型互联网广告应用系统架构
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
Taobao base
Taobao baseTaobao base
Taobao base
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
网站存储经验谈pdf
网站存储经验谈pdf网站存储经验谈pdf
网站存储经验谈pdf
 
网站存储经验谈-pdf
网站存储经验谈-pdf网站存储经验谈-pdf
网站存储经验谈-pdf
 

Ocean base --千亿级海量数据库-lamper_日照