V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
sxinsuoyu20
V2EX  ›  MySQL

mysql 一年新增 800 多万条数据,如果是单表的话请问服务器能支撑吗?各位有什么好的办法吗?

  •  
  •   sxinsuoyu20 · 8 天前 · 9206 次点击
    有个室温采集系统,一共 1686 个住户,每小时取一次数,供热季从 10 月份取到明年 4 月份,大约
    1686*24*30*7=8,497,440 条数据,后期涉及到统计,分组排序等。
    目前想到的办法是一年新建一张表,存储历史,然后做个配置表去管理查询哪张表。各位有在实际中遇到过相似问题的吗?有更好的办法吗?
    第 1 条附言  ·  6 天前
    首先感谢各位 v 友给出的建议,我总结了下
    1 、mysql 单表几千万上亿都没啥问题,不用考虑那么多(也可以索引、分区、分表)
    2 、使用数据库 pgsql
    3 、使用时序数据库
    服务器没真实跑过这么大的数据,我云服务器跑几百万条数据就很慢了(当然配置也比较低),既然大家都说 mysql 没问题的话,那我就先实际运行试试,有问题再说,再次感谢各位 V 友们!
    119 条回复    2024-12-06 09:44:59 +08:00
    1  2  
    lancelock
        101
    lancelock  
       7 天前
    你这种数据只有插入和查询,没有删改,本来就用时序数据库更合适。当然一年 800 万这个数据量,mysql 也绰绰有余了
    me1onsoda
        102
    me1onsoda  
       7 天前   ❤️ 1
    我很好奇。OP 好像没说配置啊,各位为什么能那么笃定?还是说与硬件配置无关?
    xiaoguaishou92
        103
    xiaoguaishou92  
       7 天前
    PG 数据库,单表 1 亿查询很快。 机器模型 32C64G
    whaixrst
        104
    whaixrst  
       7 天前
    关于 mysql 的刻板印象需要更新了。我司生产环境一张单表 10 亿行数据,1.6TB ,毫无压力
    encro
        105
    encro  
       7 天前
    @me1onsoda

    因为基本最基础的 2h4g 配置都能扛起几亿的数据,复杂查询和高并发才需要配置好。
    RandomJoke
        106
    RandomJoke  
       7 天前
    你这个数据基本都是不可变的,统计部分不要从这个表出,不是随便存
    me1onsoda
        107
    me1onsoda  
       7 天前
    @encro #105 说了啊,要分组排序统计,我给你配置翻两倍吧,count sum 一下,宽容一点 5s 内能返回吗
    ala2008
        108
    ala2008  
       7 天前
    现在表按亿算都没啥问题,不放心可以换成 postgrepsql
    ythunder
        109
    ythunder  
       7 天前
    asdasd
    lmshl
        110
    lmshl  
       7 天前
    4C8G 的生产 PG 数据库表示单表两亿行不痛不痒, 你还可以再用点力.
    支撑 100+TPS 的时候瞄了一眼 CPU 占用率还不到 1 核
    zhangqian99
        111
    zhangqian99  
       7 天前
    @Xhack 用的 id, 加了 3 个索引字段
    encro
        112
    encro  
       7 天前
    @me1onsoda

    既然要 count ,索引建立好 5s 是没问题的,你加配置也没有什么用。
    如果是统计项目比较多,那么需要统计表,是数据库设计问题,对资源要求不大,你加资源也不太影响性能。

    需要 olap 或者自己搞统计表,不是加机器。
    encro
        113
    encro  
       7 天前
    我一个阿里云最便宜的几百一年的 mysql rds ,有一个表里存了 2 亿数据。
    还是个主表。用户需要经常查询和修改的。
    SuperNPC
        114
    SuperNPC  
       7 天前
    题主真就一条不回
    meinjoy
        115
    meinjoy  
       7 天前
    @wbrobot 5 刀 vps 配置不高吧,能撑到 5 亿数据?!
    zhhmax
        116
    zhhmax  
       7 天前
    才这点数据,你是瞧不起谁呢
    cz5424
        117
    cz5424  
       7 天前
    @dynastysea 就是很贵,存储有点费钱
    sxinsuoyu20
        118
    sxinsuoyu20  
    OP
       6 天前
    首先感谢各位 v 友给出的建议,我总结了下
    1 、mysql 单表几千万上亿都没啥问题,不用考虑那么多(也可以索引、分区、分表)
    2 、使用数据库 pgsql
    3 、使用时序数据库
    服务器没真实跑过这么大的数据,我云服务器跑几百万条数据就很慢了(当然配置也比较低),既然大家都说 mysql 没问题的话,那我就先实际运行试试,有问题再说,感谢各位 V 友们!
    t2musiccn
        119
    t2musiccn  
       6 天前
    着啥急 ,单表过亿后我才考虑分表的
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1063 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 18:23 · PVG 02:23 · LAX 10:23 · JFK 13:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.