thomaswang
V2EX  ›  问与答

mysql 写的量比较大每日 20 亿次, 读写比是 1:20, 如何设计数据库的架构

  •  
  •   thomaswang · Jul 18, 2019 · 4571 views
    This topic created in 2498 days ago, the information mentioned may be changed or developed.
    22 replies    2019-07-19 09:24:32 +08:00
    glacer
        1
    glacer  
       Jul 18, 2019
    换 MongoDB
    dapang1221
        2
    dapang1221  
       Jul 18, 2019
    什么业务这么大量的写…读对实时性有要求吗…
    dongisking
        3
    dongisking  
       Jul 18, 2019 via Android
    先关注一下,看楼下发言
    luckyrayyy
        4
    luckyrayyy  
       Jul 18, 2019
    楼下不会...
    aaahhh123
        5
    aaahhh123  
       Jul 18, 2019
    ma yixai
    stockCHEN
        6
    stockCHEN  
       Jul 18, 2019
    物联网吗?
    zidian9
        7
    zidian9  
       Jul 18, 2019
    分库分表写,每过一段时间把老的数据(不怎么用的)移到数据仓库里面去
    数据仓库里面读的时候加个缓存
    sujin190
        8
    sujin190  
       Jul 18, 2019
    这种数据是不是不适合存数据库,这么大量,保存下来似乎也没多大用,索引太大查询不了,最好就是 kafaka 然后 flink 直接计算结果就是了,没必要保存吧,需要保存最好就纯文本文件存入 hdfs,需要统计啥的直接 hadoop 或者 flink 读出来直接计算更快吧

    mysql 在索引太大无法使用,需要直接读取磁盘全表扫描的时候似乎读取磁盘速度很慢,而纯文本顺序 io 读出来直接计算更快
    c0878
        9
    c0878  
       Jul 18, 2019
    写入量大没问题 关键看这些数据后续要来做什么 然后根据数据消费的情况 选择不同的存储引擎 可能 mysql 不是最好的选择
    thomaswang
        10
    thomaswang  
    OP
       Jul 18, 2019
    @stockCHEN 你的回到真的亮了, 去物联网公司面试, 面试官提的问题
    thomaswang
        11
    thomaswang  
    OP
       Jul 18, 2019
    @dongisking 我不会,在请教, 咱们一起看大神的留言吧
    rockyou12
        12
    rockyou12  
       Jul 18, 2019
    物联网用个屁的 mysql,上时时序数据库。估计是面试官故意给你埋雷
    zhchyu999
        13
    zhchyu999  
       Jul 18, 2019
    可以试试分布式数据库,比如 Tidb 之类的
    xiaoyang7545
        14
    xiaoyang7545  
       Jul 18, 2019
    这些数据要是丢 mysql 完全没有可读取性 ,不就是废数据了。
    crossoverJie
        15
    crossoverJie  
       Jul 18, 2019
    楼上提到了 确实不能用 MySQL,我们现在就是这个物联网场景,写远远大于读,建议上 MongoDB.
    scalaer
        16
    scalaer  
       Jul 18, 2019
    看你的描述我觉得 Hbase 挺适合的, 极端情况下,基于 LSM 树实现的 HBase 的写性能比 Mysql 高了一个数量级,读性能低了一个数量级。
    zhangjessey
        17
    zhangjessey  
       Jul 18, 2019
    可以考虑上时序数据库。
    taotaodaddy
        18
    taotaodaddy  
       Jul 18, 2019 via Android
    时序数据库+1
    agdhole
        19
    agdhole  
       Jul 18, 2019 via Android
    时序数据库
    XiaoXiaoNiWa
        20
    XiaoXiaoNiWa  
       Jul 18, 2019 via Android
    RocketMQ + MangoDB
    hzfyjgw
        21
    hzfyjgw  
       Jul 18, 2019 via Android
    TDengine
    feiyunruyue
        22
    feiyunruyue  
       Jul 19, 2019
    时序数据库,这么大量,不知道 prometheus 能不能行。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4784 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 66ms · UTC 04:01 · PVG 12:01 · LAX 21:01 · JFK 00:01
    ♥ Do have faith in what you're doing.