Soumettre la recherche
Mettre en ligne
Ocean base --千亿级海量数据库-lamper_日照
•
3 j'aime
•
1,082 vues
K
knuthocean
Suivre
Signaler
Partager
Signaler
Partager
1 sur 20
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
05 杨志丰
05 杨志丰
锐 张
淘宝Ocean base云存储实践 2011架构师大会
淘宝Ocean base云存储实践 2011架构师大会
knuthocean
Oceanbase-淘宝云存储实践
Oceanbase-淘宝云存储实践
mysqlops
淘宝分布式数据处理实践
淘宝分布式数据处理实践
isnull
Ocean base 千亿级海量数据库-日照
Ocean base 千亿级海量数据库-日照
Shaoning Pan
浅析分布式存储架构—设计自己的存储- 58同城徐振华
浅析分布式存储架构—设计自己的存储- 58同城徐振华
zhuozhe
#Lamp人#淘宝数据魔方的系统架构 -长林
#Lamp人#淘宝数据魔方的系统架构 -长林
drewz lin
云计算环境中Ssd在cassandra测试的性能表现
云计算环境中Ssd在cassandra测试的性能表现
july19850903
Contenu connexe
Tendances
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
aleafs
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
Hdfs introduction
Hdfs introduction
baggioss
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用
3908282
基于Hbase的实时计算分享
基于Hbase的实时计算分享
yiihsia
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push Services
Alluxio, Inc.
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
hdhappy001
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Zoom Quiet
Hdfs
Hdfs
baggioss
Hdfs
Hdfs
baggioss
Redis 介绍 -田琪
Redis 介绍 -田琪
Shaoning Pan
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Min Zhou
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
Min Zhou
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
hdhappy001
分布式构架简介 草稿
分布式构架简介 草稿
guestd7133d1
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用
Shaoning Pan
Dfs ning
Dfs ning
Andy Shi
Hadoop大数据实践经验
Hadoop大数据实践经验
Schubert Zhang
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
hdhappy001
Tendances
(19)
海量统计数据的分布式MySQL集群——MyFOX
海量统计数据的分布式MySQL集群——MyFOX
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
Hdfs introduction
Hdfs introduction
列式存储、位图技术研究及应用
列式存储、位图技术研究及应用
基于Hbase的实时计算分享
基于Hbase的实时计算分享
Using Alluxio in Tencent's News and Personalized Push Services
Using Alluxio in Tencent's News and Personalized Push Services
查礼 -大数据技术如何用于传统信息系统
查礼 -大数据技术如何用于传统信息系统
110412 kningsoft-mongo db-intro-usage-in-mercury
110412 kningsoft-mongo db-intro-usage-in-mercury
Hdfs
Hdfs
Hdfs
Hdfs
Redis 介绍 -田琪
Redis 介绍 -田琪
淘宝Hadoop数据分析实践
淘宝Hadoop数据分析实践
Distributed Data Analytics at Taobao
Distributed Data Analytics at Taobao
刘书良:基于大数据公共云平台的Dsp技术
刘书良:基于大数据公共云平台的Dsp技术
分布式构架简介 草稿
分布式构架简介 草稿
海量用户数据处理及其在一淘广告和推荐中的应用
海量用户数据处理及其在一淘广告和推荐中的应用
Dfs ning
Dfs ning
Hadoop大数据实践经验
Hadoop大数据实践经验
罗李:构建一个跨机房的Hadoop集群
罗李:构建一个跨机房的Hadoop集群
En vedette
Implementação de um PMO em Lisarb
Implementação de um PMO em Lisarb
Marco Coghi
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01
Marco Coghi
Tutorial de ajax
Tutorial de ajax
Clayton Silva
Tx history-ch-20.3
Tx history-ch-20.3
AvantK
Horta Urbana
Horta Urbana
Marco Coghi
Propuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digital
MarianHucul114
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Beatriz Furtado
En vedette
(7)
Implementação de um PMO em Lisarb
Implementação de um PMO em Lisarb
Projeto LISARB para TODOS - Rev01
Projeto LISARB para TODOS - Rev01
Tutorial de ajax
Tutorial de ajax
Tx history-ch-20.3
Tx history-ch-20.3
Horta Urbana
Horta Urbana
Propuesta para contribuir a disminuir la brecha digital
Propuesta para contribuir a disminuir la brecha digital
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Capítulo 3 o sistema solar_Fundamentos da Astronomia
Similaire à Ocean base --千亿级海量数据库-lamper_日照
Hantuo openstack
Hantuo openstack
OpenCity Community
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
Zhenzhong Xu
Selling sybase hds solution for banking
Selling sybase hds solution for banking
focusbi
Hbase架构简介、实践
Hbase架构简介、实践
Li Map
Altibase介绍
Altibase介绍
小新 制造
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
markmind
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
Amazon Web Services
Hbase
Hbase
baggioss
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Xiao Li
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
isnull
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
Tup2 人人网张铁安
Tup2 人人网张铁安
yongboy
大型互联网广告应用系统架构
大型互联网广告应用系统架构
Shaoning Pan
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Wensong Zhang
Taobao base
Taobao base
mysqlops
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
drewz lin
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
lovingprince58
网站存储经验谈pdf
网站存储经验谈pdf
Yu Lin
网站存储经验谈-pdf
网站存储经验谈-pdf
Yu Lin
Similaire à Ocean base --千亿级海量数据库-lamper_日照
(20)
Hantuo openstack
Hantuo openstack
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Streaming architecture zx_dec2015
Streaming architecture zx_dec2015
Selling sybase hds solution for banking
Selling sybase hds solution for banking
Hbase架构简介、实践
Hbase架构简介、实践
Altibase介绍
Altibase介绍
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
深入淺出 AWS 大數據工具
深入淺出 AWS 大數據工具
Hbase
Hbase
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
Delta Lake Architecture: Delta Lake + Apache Spark Structured Streaming
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Tup2 人人网张铁安
Tup2 人人网张铁安
大型互联网广告应用系统架构
大型互联网广告应用系统架构
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
Taobao base
Taobao base
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
网站存储经验谈pdf
网站存储经验谈pdf
网站存储经验谈-pdf
网站存储经验谈-pdf
Ocean base --千亿级海量数据库-lamper_日照
1.
2.
3.
Oceanbase技术方案
4.
收藏夹应用案例
5.
6.
7.
数据规模:百TB级,百台机器
8.
OLTP:几十万QPS,几万TPS
9.
OLAP:支持千万级记录实时计算
10.
支持事务
11.
强一致性 (vs. 弱一致性、最终一致性)
12.
可用性:5个9
13.
14.
15.
数据容量大、可扩展性好、容错能力强
16.
17.
海量数据存储特点的进一步分析
18.
数据量大但修改量较小,一千亿 * 1%*
100B = 100G
19.
区分最新修改的增量数据和以前的基准数据?
20.
OceanBase = RDBMS
+ 云存储
21.
增量数据(增删改操作):单机之内存+SSD
22.
基准数据:静态B+树,多机
23.
数据读取 :基准数据+增量数据
24.
数据写入 :增量数据
25.
26.
27.
增量数据服务器UpdateServer:主+备,实时修改(内存+SSD)
28.
基准数据服务器ChunkServer:多台,B+树叶子节点(磁盘或SSD)
29.
30.
随机读,不支持范围查询;
31.
Hash划分均匀;
32.
两种Hash:取模Hash与一致性Hash
33.
实例:Tair,Memcache,Dynamo,Cassandra
34.
分布式B+ Tree
35.
随机读和顺序扫描,支持范围查询;
36.
顺序划分不均匀,需要叶子节点分裂合并
37.
实例:Bigtable & HBase,Google
Megastore
38.
Oceanbase数据结构
39.
增量数据:单机B+树
40.
基准数据:分布式B+树
41.
42.
43.
基准数据服务器ChunkServer
44.
机器动态上下线
45.
增量数据服务器UpdateServer
46.
内存+SSD服务,多网卡,万兆网卡
47.
备提供读服务
48.
可靠性
49.
基准数据服务器ChunkServer
50.
数据存储多份,一般为3份
51.
增量数据服务器UpdateServer
52.
Commit log +
RAID 1磁盘
53.
实时本地热备(主+备) + 准实时异地热备
54.
定位服务器RootServer
55.
56.
57.
单机写事务 +分布式读事务
58.
支持跨表事务
59.
一致性选择
60.
弱一致性
61.
最终一致性
62.
强一致性
63.
64.
65.
RootServer总体协调
66.
负载均衡因素:内存,磁盘等资源占用,读写负载等;
67.
数据迁移:迁移过程不影响对外服务
68.
读写分离
69.
ChunkServer只读,简化设计并提高读性能
70.
UpdateServer采用copy-on-write数据结构,写不影响读
71.
72.
73.
在线修改schema
74.
没有随机写,SSD友好
75.
内置数据压缩,减少机器数量和网络数据流量
76.
77.
78.
内存容量
79.
新增的记录:1千万条/天,1KB/条10GB/天
80.
记录的修改:1亿条/天,100B/条10GB/天
81.
网络:100,000QPS,100B/条10MB/s
82.
磁盘
83.
Commit log
(bin log):Group commit
84.
改进方案
85.
SSD
86.
多网卡、万兆网卡
87.
88.
89.
需求:查找一个用户的所有收藏的所有商品详情
90.
收藏信息表保存收藏信息条目,40亿+
91.
收藏商品表保存收藏的商品详细信息,4亿+
92.
执行两张表的暴力Join?一个用户可以收藏数千商品
93.
94.
95.
收藏夹数据 = 基准数据
+ 增量数据
96.
基准数据:收藏信息表冗余存储商品详情信息
97.
增量数据:收藏信息表和商品详情表分别存放到UpdateServer内存中
98.
99.
100.
101.
4 ChunkServer,
2 * E5520 @2.27HZ, 10 * 300GB SAS, 16GB
102.
103.
104.
2 * E5520
@ 2.27HZ, 24G, 千兆网卡
105.
待优化点
106.
优化网络框架内存分配:优化后 QPS >
10W
107.
减少任务队列导致的上下文切换:优化后 QPS >
20W
108.
109.
110.
数据拷贝:Direct IO,权衡接口模块化与性能
111.
内存分配:内存池,线程缓存
112.
锁:线程缓存,减少Cache锁冲突,copy-on-write数据结构
113.
上下文切换:替换基于任务队列的网络模型
114.
多UpdateServer?
115.
不求大而全,但求明晰的技术发展路线图
116.
117.
118.
列式存储
119.
Blob支持
120.
MapReduce
121.
TPC-E
122.
代码开源
123.
124.
Télécharger maintenant