请教下,物联网的大量数据采集如何保存数据

[Essaim]

公司突然要求做行车轨迹,而且还不调用地图软件的开放 api.然后让我这个半年开发经验,没有任何物联网数据的蔡狗子来搞.一点头绪都没有.
简单的以公司 10W 个设备来计算,每天平均 3 小时在线,每 10 秒钟采集一条数据,那么一天的数据量就能达到上亿条.那么 mysql 等关系数据库肯定是不行了.但是实际数据大小肯定不大,一个设备 ID,一个经纬度信息,一个时间戳.
简单的想了个思路:
以一段路程作为一个单位,从起点开始采集数据,将数据放在 nosql 缓存中,然后当设备发送结束路径请求的时候,将数据打包序列化到文件中,通过 fastdfs 存储起来,然后在 mysql 中存储一条文件索引记录,因为系统的查询量比较少,所以性能应该还是过得去的.
大佬们有没有更好的想法,或者我这个想法有什么不可行的地方,希望大家斧正.

[largecat]

找半年经验的，对 boss 威胁小，
哈哈

[Essaim]

@largecat 2333,我偶尔也会这么想.
@opengps 老哥怎么联系.

[janxin]

influxdb 了解一下

[janxin]

@liprais 卧槽这个操作是怎么想到的，真神了

[opengps]

@Essaim v 站 id 同微信 id

[opengps]

@liprais 666，这是我见过最安全的操作方式

[opengps]

更正 18 楼数据，iops 指标，闲时 100 多，忙时 500 左右，并发 tcp 在线连接数 20 万

[ponymaggie]

openTDB 可以看看

[youngce]

@opengps 我想请教一下，在大概 15 亿行数据后， 假如需要调取某辆，某一天的某个时间段的轨迹数据，大概需要耗费多少时间？

[kim01]

车联网行业做 GPS 定位的同仁路过，不好评价！！！

[cszchen]

行车轨迹一般要纠偏，也就是 gps 数据会有误差，一般采用地图 api 接口，自己搞会有点难度。

[tmac6740]

之前做过 把位置数据绘制一张图片 存起来

[opengps]

@youngce 很快，跟单表性能相差很小，因为做了表分区 https://www.opengps.cn/Blog/View.aspx?id=284

[opengps]

@cszchen 自己做个纠偏库就很好办了，也有同行是输出时候做一次批量转化

[goodleixiao]

HBase 是一个开源的非关系型分布式数据库（ NoSQL ），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。

[youngce]

@opengps 感谢大佬的回复，博客看了很有启发。谢谢，祝工作顺利：）

[opengps]

@youngce 实际应用更建议分库分表，因为数据库文件到了一定量，由于存储太大会不方便扩展，我当时是到了 700G，然后把轨迹部分单独换作 nosql 类型处理，现在则又走回 mysql 的老路，选用阿里云 drds 了

[wplct]

先出方案和成本，调研也是做事情的基本
老板不会怪罪你的

[rockyou12]

别用关系库，虽然上面有人做过方案但是和专门的时序数据库没得比。哪怕在时序数据库里，influxdb 这种自己实现底层存储的都强国 opentsdb 这种依赖 hbase 的好几倍。

我之前在做服务器监控的时候顺带研究过这块，最开始用的 elasticsearch 做采集，一天的数据有 20g，后来换成了 promethus 一天就 500m 都没有。由于关系库不会像专门的时序数据库这样有很多优化与压缩，所以至少存储上你会很快遇到压力。

promethus 和 infuxdb 有很多设计上的相似，所以可以期望 infuxdb 至少在存储上也有这样大的优势。而且有大量 benchmark 都说明了综合看 infuxdb 是性能最好的了，唯一缺点就是集群要收费。

[izoabr]

postgres 的 gis 了解一下