mysql 一年新增 800 多万条数据,如果是单表的话请问服务器能支撑吗?各位有什么好的办法吗?

36 天前
 sxinsuoyu20
有个室温采集系统,一共 1686 个住户,每小时取一次数,供热季从 10 月份取到明年 4 月份,大约
1686*24*30*7=8,497,440 条数据,后期涉及到统计,分组排序等。
目前想到的办法是一年新建一张表,存储历史,然后做个配置表去管理查询哪张表。各位有在实际中遇到过相似问题的吗?有更好的办法吗?
10114 次点击
所在节点    MySQL
119 条回复
THESDZ
36 天前
与其担心这个,不如担心备份问题。
julyclyde
36 天前
1 不需要解决
2 用 tsdb 更合适
3 时间长了就可以删了。你又不是气象局,留那么远期的数据干啥?
johnlin
36 天前
我们 2000w 条数据都存一张表的,800w 可以的。不跨年查询的话,你一下子建 20 张表 [20 年] ,然后建立一个字典,每个年度一张表,后期都不用你维护的
cccvno1
36 天前
单表直接存,室温数据分布应该挺密集的,只要索引加好,普通机械硬盘都没有问题。
0x663
36 天前
一年才 800 万至于分表?
0x663
36 天前
而且一看你这个系统名称我就明白了是绩效项目,《室温采集系统》
估计热不过两年领导升上去了就不会管了。
JZen
36 天前
800w 应该可以随便跑,以前我的双核垃圾服务器存 2000w 行的表都不慌,要做复杂统计可以把数据 dump 出来,在其他性能更高的机器上做。
luciankaltz
36 天前
看起来还是一个时序指标的场景
不知道历史的统计要不要频繁查询,不过愿意等的话查询语句写的好应该问题也不大
数据直接存对象存储上,800w/年 的数据放个几年问题都不大(甚至再来几倍都

懒得写重复的回答了,ref https://www.v2ex.com/t/1093560#r_15605476
encro
36 天前
一年 800 万,啥都不用干分表分区分库都不用管,3 年后再看就是了。。。

统计专门做统计表。


建议采用 postgresql ,哈哈。
wangyzj
36 天前
你这个类似 iot 场景了,不适合 mysql
gerryzhu0033
36 天前
不想麻烦的,直接用 mysql + 分区表,统计分组的话后面加个 clickhouse ,妥妥的
go522000
36 天前
看到大家的数据都到亿了,真强大。
我之前一台轻量服务器,2C4G ,MYSQL 是那种官网直接下载安装的,没有修改配置,单表超过 200M 就会卡,是需要什么优化吗?
chengxiao
36 天前
是不是看多了那个什么单表 2000w ,思维固化了
要知道技术和硬件这些年都在进步 ,单表 2000w 都快 10 年前的事了
fengpan567
36 天前
Mysql:看不起谁呢?
GreenHand
36 天前
我记得十年前我们单表就存了 10 亿级别的数据了
FightPig
36 天前
800w 没问题吧,我没怎么用 mysql,我们的 pg 现在单表上亿,没发现什么毛病
soul11201
36 天前
这点数据很多吗?
RangerWolf
36 天前
我们单点 mysql 存储了 1T+的数据(没有分布式、也没有主从,只要每天备份)
只要不是频繁用来做数据分析,加上索引设计合理,800W 一年应该毫无压力
ksc010
36 天前
一年 800w 不算事
realpg
36 天前
我的单表一天就八百万数据
不过会把 30 天后的转到归档表

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1094825

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX