mysql 一年新增 800 多万条数据,如果是单表的话请问服务器能支撑吗?各位有什么好的办法吗?

37 天前
 sxinsuoyu20
有个室温采集系统,一共 1686 个住户,每小时取一次数,供热季从 10 月份取到明年 4 月份,大约
1686*24*30*7=8,497,440 条数据,后期涉及到统计,分组排序等。
目前想到的办法是一年新建一张表,存储历史,然后做个配置表去管理查询哪张表。各位有在实际中遇到过相似问题的吗?有更好的办法吗?
10127 次点击
所在节点    MySQL
119 条回复
lancelock
36 天前
你这种数据只有插入和查询,没有删改,本来就用时序数据库更合适。当然一年 800 万这个数据量,mysql 也绰绰有余了
me1onsoda
36 天前
我很好奇。OP 好像没说配置啊,各位为什么能那么笃定?还是说与硬件配置无关?
xiaoguaishou92
36 天前
PG 数据库,单表 1 亿查询很快。 机器模型 32C64G
whaixrst
36 天前
关于 mysql 的刻板印象需要更新了。我司生产环境一张单表 10 亿行数据,1.6TB ,毫无压力
encro
36 天前
@me1onsoda

因为基本最基础的 2h4g 配置都能扛起几亿的数据,复杂查询和高并发才需要配置好。
RandomJoke
36 天前
你这个数据基本都是不可变的,统计部分不要从这个表出,不是随便存
me1onsoda
36 天前
@encro #105 说了啊,要分组排序统计,我给你配置翻两倍吧,count sum 一下,宽容一点 5s 内能返回吗
ala2008
36 天前
现在表按亿算都没啥问题,不放心可以换成 postgrepsql
ythunder
36 天前
asdasd
lmshl
36 天前
4C8G 的生产 PG 数据库表示单表两亿行不痛不痒, 你还可以再用点力.
支撑 100+TPS 的时候瞄了一眼 CPU 占用率还不到 1 核
zhangqian99
35 天前
@Xhack 用的 id, 加了 3 个索引字段
encro
35 天前
@me1onsoda

既然要 count ,索引建立好 5s 是没问题的,你加配置也没有什么用。
如果是统计项目比较多,那么需要统计表,是数据库设计问题,对资源要求不大,你加资源也不太影响性能。

需要 olap 或者自己搞统计表,不是加机器。
encro
35 天前
我一个阿里云最便宜的几百一年的 mysql rds ,有一个表里存了 2 亿数据。
还是个主表。用户需要经常查询和修改的。
SuperNPC
35 天前
题主真就一条不回
meinjoy
35 天前
@wbrobot 5 刀 vps 配置不高吧,能撑到 5 亿数据?!
zhhmax
35 天前
才这点数据,你是瞧不起谁呢
cz5424
35 天前
@dynastysea 就是很贵,存储有点费钱
sxinsuoyu20
35 天前
首先感谢各位 v 友给出的建议,我总结了下
1 、mysql 单表几千万上亿都没啥问题,不用考虑那么多(也可以索引、分区、分表)
2 、使用数据库 pgsql
3 、使用时序数据库
服务器没真实跑过这么大的数据,我云服务器跑几百万条数据就很慢了(当然配置也比较低),既然大家都说 mysql 没问题的话,那我就先实际运行试试,有问题再说,感谢各位 V 友们!
t2musiccn
35 天前
着啥急 ,单表过亿后我才考虑分表的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1094825

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX