mmap 有是操作系统自带的页面置换,那还需要再实现一层 buffer pool 来控制页面的置换吗?
mmap 有是操作系统自带的页面置换,那还需要再实现一层 buffer pool 来控制页面的置换吗?
|
louettagfhDec 14, 2020
1
假如只考虑写 mmap 和 buffer pool 的作用是一样的,但数据库还有读.
数据库实现者认为数据库来控制内存比操作系统控制效率更好, 所以很少看到数据库实现是靠 mmap 来做. |
|
xiaoyaocmxDec 15, 2020
2
早期 mongodb 好像是 mmap 。。dbms 比 os 更懂需要 cache 什么,所以用自己的 buffer pool manager 更好一点
|
|
dndxDec 15, 2020
3
有这么做的,比如 LMDB 就是靠 mmap 和操作系统来管理 page buffer 的。
|
|
chihiro2014Dec 15, 2020
4
mmap 不太行,因为 DBMS 自己最懂自己,所以都是自己实现 buffer pool
|
|
gzdaijieDec 15, 2020
5
bbolt 也是 mmap
|
|
allAboutDbmssDec 15, 2020
6
mmap 以后再 buffer manager 需要看如何实现 如果我们的实现支持页面到磁盘的读写,那实际上就是正常的 buffer manger, 但是 mmap 看起来帮助不大。
用 mmap 的主要目的就是放弃控制权(也放弃了高性能) 使用操作系统已经给我们的东西。 https://cakebytheoceanluo.github.io/2020/03/11/CMU-15445-Lec03/#Why-not-use-the-OS |
|
wellscDec 15, 2020 via iPhone
7
Rocksdb/leveldb 也是 mmap,mmap 适合那种读少写多的场景
|
|
GoldilocksDec 15, 2020 via Android
8
MySQL 有两个主流引擎。MyISAM 和 InnoDB 。前者用 mmap 管理数据页,后者自己管理内存池。孰优孰劣,历史为鉴
|
|
9
@louettagfh
@xiaoyaocmx @dndx @chihiro2014 @gzdaijie @allAboutDbmss @wellsc @Goldilocks 大家误会我的意思了,我知道数据库最好自己管理数据页而不是用 mmap(cmu 那个公开课老师说了),我是想问问,mmap 和我们自己实现的缓冲池这两者冲突吗?我咋感觉 mmap 本身也就是个 page 的缓冲池的样子 是不是说如果用 mmap,就不用 buffer pool 了? 因为我对这些结构还不是特别熟悉,想通过做一个小玩具数据库来加深印象 |
|
10
@louettagfh 你好 不太能理解这句话 ,可以解释一下吗,读和写对 mmap 以及 buffer pool 的影响不一样吗
|
|
lambdafateDec 15, 2020
12
DBMS vs. OS
|
|
13
1. 是不是说如果用 mmap,就不用 buffer pool 了?
是的。 2. mmap 和我们自己实现的缓冲池这两者冲突吗 是的。这个叫做双倍缓冲,浪费内存。如果数据库如果自己有缓冲池,那么操作文件的时候一般都使用 direct io,绕过系统的 cache 层。 |
|
14
@Goldilocks 谢谢 我大概清楚了
|
|
louettagfhDec 15, 2020
15
@zxCoder 假如是考虑写, mmap 和 buffer pool 的作用一样,一个是系统级的 Page Cache, 一个是应用级的 Page Cache, 操作系统和 buffer pool 一样可以设置刷脏阈值, 本质上没有特别大的区别。
读场景例如 InnoDB 采用的不是朴素的 LRU,里面将 LRU 区分为 old + young 区域, 目的是为了不让一个随机读的 Page 打乱 LRU, 读这块数据库可以做的很多. 一般使用 Buffer Pool, 都是尽可能多的占用内存, 数据库可以自己考虑刷脏的时机等等.. |
|
16
@louettagfh 懂了 感谢
|