Soumettre la recherche
Mettre en ligne
Level db
•
2 j'aime
•
1,548 vues
宗志 陈
Suivre
Technologie
Signaler
Partager
Signaler
Partager
1 sur 18
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Leveldb background
Leveldb background
宗志 陈
Google LevelDB Study Discuss
Google LevelDB Study Discuss
everestsun
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
iammutex
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Ceph Community
Ftn存储设计
Ftn存储设计
gzterrytan
Mr&ueh数据库方面
Mr&ueh数据库方面
Tianwei Liu
Recommandé
Leveldb background
Leveldb background
宗志 陈
Google LevelDB Study Discuss
Google LevelDB Study Discuss
everestsun
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
iammutex
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
分布式Key Value Store漫谈
分布式Key Value Store漫谈
Tim Y
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Building the Production Ready EB level Storage Product from Ceph - Dongmao Zhang
Ceph Community
Ftn存储设计
Ftn存储设计
gzterrytan
Mr&ueh数据库方面
Mr&ueh数据库方面
Tianwei Liu
Database.Cache&Buffer&Lock
Database.Cache&Buffer&Lock
Lixun Peng
redis 适用场景与实现
redis 适用场景与实现
iammutex
分布式存储的元数据设计
分布式存储的元数据设计
LI Daobing
对MySQL的一些改进想法和实现
对MySQL的一些改进想法和实现
Lixun Peng
Cephfs架构解读和测试分析
Cephfs架构解读和测试分析
Yang Guanjun
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
frogd
数据库内核分享——第一期
数据库内核分享——第一期
frogd
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
frogd
Buffer pool implementaion inno db vs oracle
Buffer pool implementaion inno db vs oracle
frogd
Mesos intro
Mesos intro
dennis zhuang
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
frogd
硬件体系架构浅析
硬件体系架构浅析
frogd
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
Ceph perf-tunning
Ceph perf-tunning
Yang Guanjun
InnoDB Transaction Lock and MVCC
InnoDB Transaction Lock and MVCC
frogd
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局
Alex Lau
Oracle rac资源管理算法与cache fusion实现浅析
Oracle rac资源管理算法与cache fusion实现浅析
frogd
SMACK Dev Experience
SMACK Dev Experience
Chih-Hsuan Hsu
MongoDB SHARE
MongoDB SHARE
zhangyunyang1985
MySQL多机房容灾设计(with Multi-Master)
MySQL多机房容灾设计(with Multi-Master)
Lixun Peng
openTSDB - Metrics for a distributed world
openTSDB - Metrics for a distributed world
Oliver Hankeln
Log experience
Log experience
宗志 陈
Contenu connexe
Tendances
Database.Cache&Buffer&Lock
Database.Cache&Buffer&Lock
Lixun Peng
redis 适用场景与实现
redis 适用场景与实现
iammutex
分布式存储的元数据设计
分布式存储的元数据设计
LI Daobing
对MySQL的一些改进想法和实现
对MySQL的一些改进想法和实现
Lixun Peng
Cephfs架构解读和测试分析
Cephfs架构解读和测试分析
Yang Guanjun
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
frogd
数据库内核分享——第一期
数据库内核分享——第一期
frogd
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
frogd
Buffer pool implementaion inno db vs oracle
Buffer pool implementaion inno db vs oracle
frogd
Mesos intro
Mesos intro
dennis zhuang
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
frogd
硬件体系架构浅析
硬件体系架构浅析
frogd
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Joshua Zhu
Ceph perf-tunning
Ceph perf-tunning
Yang Guanjun
InnoDB Transaction Lock and MVCC
InnoDB Transaction Lock and MVCC
frogd
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局
Alex Lau
Oracle rac资源管理算法与cache fusion实现浅析
Oracle rac资源管理算法与cache fusion实现浅析
frogd
SMACK Dev Experience
SMACK Dev Experience
Chih-Hsuan Hsu
MongoDB SHARE
MongoDB SHARE
zhangyunyang1985
MySQL多机房容灾设计(with Multi-Master)
MySQL多机房容灾设计(with Multi-Master)
Lixun Peng
Tendances
(20)
Database.Cache&Buffer&Lock
Database.Cache&Buffer&Lock
redis 适用场景与实现
redis 适用场景与实现
分布式存储的元数据设计
分布式存储的元数据设计
对MySQL的一些改进想法和实现
对MySQL的一些改进想法和实现
Cephfs架构解读和测试分析
Cephfs架构解读和测试分析
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
数据库内核分享第二期(Inno db 日志 回滚段 & 崩溃恢复实现详解)
数据库内核分享——第一期
数据库内核分享——第一期
Mvcc (oracle, innodb, postgres)
Mvcc (oracle, innodb, postgres)
Buffer pool implementaion inno db vs oracle
Buffer pool implementaion inno db vs oracle
Mesos intro
Mesos intro
My sql 5.6新特性深入剖析——innodb引擎
My sql 5.6新特性深入剖析——innodb引擎
硬件体系架构浅析
硬件体系架构浅析
Hacking Nginx at Taobao
Hacking Nginx at Taobao
Ceph perf-tunning
Ceph perf-tunning
InnoDB Transaction Lock and MVCC
InnoDB Transaction Lock and MVCC
應用Ceph技術打造軟體定義儲存新局
應用Ceph技術打造軟體定義儲存新局
Oracle rac资源管理算法与cache fusion实现浅析
Oracle rac资源管理算法与cache fusion实现浅析
SMACK Dev Experience
SMACK Dev Experience
MongoDB SHARE
MongoDB SHARE
MySQL多机房容灾设计(with Multi-Master)
MySQL多机房容灾设计(with Multi-Master)
En vedette
openTSDB - Metrics for a distributed world
openTSDB - Metrics for a distributed world
Oliver Hankeln
Log experience
Log experience
宗志 陈
Beanstalk
Beanstalk
宗志 陈
bada-data-beautiful
bada-data-beautiful
宗志 陈
Mario
Mario
宗志 陈
Pika
Pika
宗志 陈
Disk and page cache
Disk and page cache
宗志 陈
Monitoring @ scale over diverse data sources @ PayPal - Druid, TSDB, Hadoop
Monitoring @ scale over diverse data sources @ PayPal - Druid, TSDB, Hadoop
Senthil Pandurangan
高可用性系统设计与实现
高可用性系统设计与实现
everestsun
高可用性系统设计与实现
高可用性系统设计与实现
everestsun
Ocean base 破解数据库高可用难题
Ocean base 破解数据库高可用难题
everestsun
BigTable PreReading
BigTable PreReading
everestsun
OceanBase-破解数据库高可用难题
OceanBase-破解数据库高可用难题
everestsun
百度消息队列设计和实现总结
百度消息队列设计和实现总结
everestsun
Leveled compaction
Leveled compaction
seki_intheforest
PFZ WorkshopDay Linux - Advanced
PFZ WorkshopDay Linux - Advanced
Joshua Thijssen
PFZ WorkshopDay Linux - Basic
PFZ WorkshopDay Linux - Basic
Joshua Thijssen
15 protips for mysql users pfz
15 protips for mysql users pfz
Joshua Thijssen
Paxos introduction
Paxos introduction
宗志 陈
涨客资,用推策 推策产品介绍
涨客资,用推策 推策产品介绍
Baidu
En vedette
(20)
openTSDB - Metrics for a distributed world
openTSDB - Metrics for a distributed world
Log experience
Log experience
Beanstalk
Beanstalk
bada-data-beautiful
bada-data-beautiful
Mario
Mario
Pika
Pika
Disk and page cache
Disk and page cache
Monitoring @ scale over diverse data sources @ PayPal - Druid, TSDB, Hadoop
Monitoring @ scale over diverse data sources @ PayPal - Druid, TSDB, Hadoop
高可用性系统设计与实现
高可用性系统设计与实现
高可用性系统设计与实现
高可用性系统设计与实现
Ocean base 破解数据库高可用难题
Ocean base 破解数据库高可用难题
BigTable PreReading
BigTable PreReading
OceanBase-破解数据库高可用难题
OceanBase-破解数据库高可用难题
百度消息队列设计和实现总结
百度消息队列设计和实现总结
Leveled compaction
Leveled compaction
PFZ WorkshopDay Linux - Advanced
PFZ WorkshopDay Linux - Advanced
PFZ WorkshopDay Linux - Basic
PFZ WorkshopDay Linux - Basic
15 protips for mysql users pfz
15 protips for mysql users pfz
Paxos introduction
Paxos introduction
涨客资,用推策 推策产品介绍
涨客资,用推策 推策产品介绍
Similaire à Level db
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
Will Huang
Something about Kafka - Why Kafka is so fast
Something about Kafka - Why Kafka is so fast
ViSenze - Artificial Intelligence for the Visual Web
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Michael Zhang
Exadata那点事
Exadata那点事
freezr
Kvmopt osforce
Kvmopt osforce
meecheng
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Sky Jian
Track1dongsiying4
Track1dongsiying4
drewz lin
Sth About SSD
Sth About SSD
XueZhang Wu
美团技术团队 - KVM性能优化
美团技术团队 - KVM性能优化
美团点评技术团队
開放原始碼 Ch2.4 app - oss - db (ver 1.0)
開放原始碼 Ch2.4 app - oss - db (ver 1.0)
My own sweet home!
Introduction to Nand Flash interface (chinese)
Introduction to Nand Flash interface (chinese)
Sneeker Yeh
分布式Key-value漫谈
分布式Key-value漫谈
lovingprince58
Taobao casestudy-yufeng-qcon
Taobao casestudy-yufeng-qcon
Yiwei Ma
Douban qcon2009 beijing
Douban qcon2009 beijing
drewz lin
Ceph bluestore-tiering-2018-11-15
Ceph bluestore-tiering-2018-11-15
Jiaying Ren
Hantuo openstack
Hantuo openstack
OpenCity Community
1.4 go在数据存储上面的应用—毛剑
1.4 go在数据存储上面的应用—毛剑
Leo Zhou
Dynamo db
Dynamo db
Andy Dai
H base 使用初体验
H base 使用初体验
兴 施
百度前端技术交流会--搜搜前端架构演变与优化
百度前端技术交流会--搜搜前端架构演变与优化
tiantianli
Similaire à Level db
(20)
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
開發人員必須知道的 Kubernetes 核心技術 - Kubernetes Summit 2018
Something about Kafka - Why Kafka is so fast
Something about Kafka - Why Kafka is so fast
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Q con shanghai2013-[刘海锋]-[京东文件系统简介]
Exadata那点事
Exadata那点事
Kvmopt osforce
Kvmopt osforce
基于MySQL开放复制协议的同步扩展
基于MySQL开放复制协议的同步扩展
Track1dongsiying4
Track1dongsiying4
Sth About SSD
Sth About SSD
美团技术团队 - KVM性能优化
美团技术团队 - KVM性能优化
開放原始碼 Ch2.4 app - oss - db (ver 1.0)
開放原始碼 Ch2.4 app - oss - db (ver 1.0)
Introduction to Nand Flash interface (chinese)
Introduction to Nand Flash interface (chinese)
分布式Key-value漫谈
分布式Key-value漫谈
Taobao casestudy-yufeng-qcon
Taobao casestudy-yufeng-qcon
Douban qcon2009 beijing
Douban qcon2009 beijing
Ceph bluestore-tiering-2018-11-15
Ceph bluestore-tiering-2018-11-15
Hantuo openstack
Hantuo openstack
1.4 go在数据存储上面的应用—毛剑
1.4 go在数据存储上面的应用—毛剑
Dynamo db
Dynamo db
H base 使用初体验
H base 使用初体验
百度前端技术交流会--搜搜前端架构演变与优化
百度前端技术交流会--搜搜前端架构演变与优化
Level db
1.
LevelDB 介绍 陈宗志 Friday, October
18, 13
2.
简介 • 背景介绍 • 结构介绍 •
读写过程 • 可改进点 Friday, October 18, 13
3.
背景介绍 • Leveldb是google 源的一个单机K/V存储系统。 从项目的contributor(sanjay,jeff beans)来 看,很多人认为它是bigtable在单个节点上的实 现,即类似于tablet Friday,
October 18, 13
4.
整体结构 Friday, October 18,
13
5.
Friday, October 18,
13
6.
log file • Log file:
32KB, 以Block 为单位 Friday, October 18, 13
7.
Sst file • 一个Block的大小是 4k •
一个sst文件的大小可 以配置.默认都是2M Friday, October 18, 13
8.
Memtable • 一个Skiplist的实现 • Immutable 与 Memtable 是一样的 Friday,
October 18, 13
9.
Manifest • Manifest文件列出了每个level的排序表, 对应的key范围和其他重要的metadata. 每 次db被重新打 的时候,
生成一份新的 MANIFEST. manifest的格式类似log Friday, October 18, 13
10.
CURRENT • 列出了最新的manifest名字 Friday, October
18, 13
11.
LOCK • 保证一个进程只有一个levelDB实例的文 件 • 通过fcntl判断这个文件是否打 Friday,
October 18, 13 来实现
12.
读写过程 Friday, October 18,
13
13.
Write Friday, October 18,
13
14.
Read Friday, October 18,
13
15.
Compaction • Compaction机制是leveldb的核心, leveldb 之所以叫”leveldb”
就是因为compaction带 来的层级结构 Friday, October 18, 13
16.
Compaction • Level 0:
无序的多路归并 • 其他Level: 有序的多路归并 • 策略: 轮流合并, 限制级 大小 Friday, October 18, 13
17.
可改进点 • 可以提供自己的比较函数来重载原有的 比较函数 • 封装了底层的文件系统,
可以用任意的文 件系统替换 • 一些参数的配置, 级 据SSD盘进行优化 Friday, October 18, 13 文件大小, 应该根
18.
Thank You Friday, October
18, 13
Télécharger maintenant