求友们帮助,每天亿级数据怎么储存

2020-05-27 09:06:19 +08:00
 rapperx2

项目是 GPS 业务,每天有约 2w+台车传数据到我们这里储存。每天数据量大概在 1 亿左右。

数据主要用于做报表,查询历史轨迹(查询频率高,基本上每次查出过万的数据)

没做过这么大数据量的业务场景,想问下这场景应该怎么做?感谢

7791 次点击
所在节点    问与答
51 条回复
soulzz
2020-05-28 10:13:02 +08:00
@0987363 这个要看应用场景,实时状态存库的话数据库压力非常高
caotian
2020-05-28 12:46:32 +08:00
TDEngine
chinvo
2020-05-28 12:53:34 +08:00
TimescalaDB
rapperx2
2020-05-29 11:14:27 +08:00
@yjhatfdu2 我根据车牌 查询时间范围一个月的数据

58516 rows in set. Elapsed: 19.415 sec. Processed 23.93 million rows, 2.17 GB (1.23 million rows/s., 111.70 MB/s.)

这个查询时间属于正常的吗?
yjhatfdu2
2020-05-29 11:38:16 +08:00
@rapperx2 不正常,方便看一下表定义和查询嘛?
yjhatfdu2
2020-05-29 11:42:14 +08:00
@rapperx2 渐变语句要加上 oder by(车牌,时间),我怀疑你这边是直接按照日期排序了,这样找一辆车的数据也要扫全表,然后数据类型建议也再看一下车牌最好用个足够小的 int 作为,再建一张表用来存车牌和 ID 的映射,查询时使用 join,这样能显著减少查询的数据量( 2300w 行就 2.17GB 太大了),数据结构越高效性能越高
rapperx2
2020-05-29 11:50:57 +08:00
@yjhatfdu2 能方便加个 V 吗?
yjhatfdu2
2020-05-29 12:03:26 +08:00
@rapperx2 qq 吧,base64:MjUxNjUwMjky
Huayx9
2021-01-15 16:34:19 +08:00
@rapperx2 请问最后你选用了什么技术方案,方便加个 v 么,我的 vx 是 base64:Zm9yX215Xzc3
rapperx2
2021-01-18 09:01:27 +08:00
@Huayx9 加你了
raywong
2023-03-01 16:12:11 +08:00
楼主后续选了什么方案,遇到相似的场景,方便加个 qq 么。base64: MTU1MjkzNzAwMA==

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/675826

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX