zxCoder
V2EX  ›  数据库

数据库如果使用了 mmap,是否还需要页面的 buffer pool 呢

  •  
  •   zxCoder · Dec 14, 2020 · 3071 views
    This topic created in 2162 days ago, the information mentioned may be changed or developed.

    mmap 有是操作系统自带的页面置换,那还需要再实现一层 buffer pool 来控制页面的置换吗?

    16 replies  •  2020-12-15 14:16:00 +08:00
    louettagfh
    louettagfh
    Dec 14, 2020
    1
    假如只考虑写 mmap 和 buffer pool 的作用是一样的,但数据库还有读.

    数据库实现者认为数据库来控制内存比操作系统控制效率更好, 所以很少看到数据库实现是靠 mmap 来做.
    xiaoyaocmx
    xiaoyaocmx
    Dec 15, 2020
    2
    早期 mongodb 好像是 mmap 。。dbms 比 os 更懂需要 cache 什么,所以用自己的 buffer pool manager 更好一点
    dndx
    dndx
    Dec 15, 2020
    3
    有这么做的,比如 LMDB 就是靠 mmap 和操作系统来管理 page buffer 的。
    chihiro2014
    chihiro2014
    Dec 15, 2020
    4
    mmap 不太行,因为 DBMS 自己最懂自己,所以都是自己实现 buffer pool
    gzdaijie
    gzdaijie
    Dec 15, 2020
    5
    bbolt 也是 mmap
    allAboutDbmss
    allAboutDbmss
    Dec 15, 2020
    6
    mmap 以后再 buffer manager 需要看如何实现 如果我们的实现支持页面到磁盘的读写,那实际上就是正常的 buffer manger, 但是 mmap 看起来帮助不大。

    用 mmap 的主要目的就是放弃控制权(也放弃了高性能) 使用操作系统已经给我们的东西。

    https://cakebytheoceanluo.github.io/2020/03/11/CMU-15445-Lec03/#Why-not-use-the-OS
    wellsc
    wellsc
    Dec 15, 2020 via iPhone
    7
    Rocksdb/leveldb 也是 mmap,mmap 适合那种读少写多的场景
    Goldilocks
    Goldilocks
    Dec 15, 2020 via Android
    8
    MySQL 有两个主流引擎。MyISAM 和 InnoDB 。前者用 mmap 管理数据页,后者自己管理内存池。孰优孰劣,历史为鉴
    zxCoder
    zxCoder
    OP
    Dec 15, 2020
    9
    @louettagfh
    @xiaoyaocmx
    @dndx
    @chihiro2014
    @gzdaijie
    @allAboutDbmss
    @wellsc
    @Goldilocks

    大家误会我的意思了,我知道数据库最好自己管理数据页而不是用 mmap(cmu 那个公开课老师说了),我是想问问,mmap 和我们自己实现的缓冲池这两者冲突吗?我咋感觉 mmap 本身也就是个 page 的缓冲池的样子

    是不是说如果用 mmap,就不用 buffer pool 了?

    因为我对这些结构还不是特别熟悉,想通过做一个小玩具数据库来加深印象
    zxCoder
    zxCoder
    OP
    Dec 15, 2020
    10
    @louettagfh 你好 不太能理解这句话 ,可以解释一下吗,读和写对 mmap 以及 buffer pool 的影响不一样吗
    zxCoder
    zxCoder
    OP
    Dec 15, 2020
    11
    @wellsc 你好 mmap 适合读少写多的场景 可以解释一下吗
    lambdafate
    lambdafate
    Dec 15, 2020
    12
    DBMS vs. OS
    Goldilocks
    Goldilocks
    Dec 15, 2020❤️1
    13
    1. 是不是说如果用 mmap,就不用 buffer pool 了?

    是的。

    2. mmap 和我们自己实现的缓冲池这两者冲突吗

    是的。这个叫做双倍缓冲,浪费内存。如果数据库如果自己有缓冲池,那么操作文件的时候一般都使用 direct io,绕过系统的 cache 层。
    zxCoder
    zxCoder
    OP
    Dec 15, 2020
    14
    @Goldilocks 谢谢 我大概清楚了
    louettagfh
    louettagfh
    Dec 15, 2020
    15
    @zxCoder 假如是考虑写, mmap 和 buffer pool 的作用一样,一个是系统级的 Page Cache, 一个是应用级的 Page Cache, 操作系统和 buffer pool 一样可以设置刷脏阈值, 本质上没有特别大的区别。

    读场景例如 InnoDB 采用的不是朴素的 LRU,里面将 LRU 区分为 old + young 区域, 目的是为了不让一个随机读的 Page 打乱 LRU, 读这块数据库可以做的很多.

    一般使用 Buffer Pool, 都是尽可能多的占用内存, 数据库可以自己考虑刷脏的时机等等..
    zxCoder
    zxCoder
    OP
    Dec 15, 2020
    16
    @louettagfh 懂了 感谢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2456 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 11:34 · PVG 19:34 · LAX 03:34 · JFK 06:34
    ♥ Do have faith in what you're doing.