求教——物联网项目如何处理每小时生成的 100W 行数据？

[youngce]

大佬们，请问目前有 1000 个硬件设备，总共每小时产生 100W 行历史数据到 web 服务器，应该如何保存？ 目前项目用的 redis 作为缓存和队列+mysql 数据库 后期主要用来作为历史记录查询，不会涉及修改、删除数据 大家有什么好的处理办法吗？ 本菜鸡拜谢- -

[liyer]

elasticsearch

[jadec0der]

关键词：Time series database

[996635]

分表就完了 1 小时 一百万 没多少数据

[youngce]

@liyer 简略的看了一下，似乎很强的样子，晚上研究研究，谢谢大佬赐教

[lastpass]

上 elasticsearch，如果只是缓存上 kafka。

[maemual]

一小时一百万，那么存储压力其实没有多大，怎么搞都可以。
问题在于你到底有什么样的查询需求，这个比较影响数据怎么存储组织。

[youngce]

@jadec0der 时序性数据库吗？我不太了解这方面的，学习了
@996635 分表就可以吗，我研究下，谢谢

[youngce]

@maemual 实际情况是，查找某段时间内的某个设备的历史数据，并形成相应的报表

[qq316107934]

@youngce #8 hbase + hive + grafana，完美解决你的需求

[hilbertz]

时序数据库就是帮你自动分表而已，再引入一套东西，没啥太大意义

[runningman]

@qq316107934 我空了试试

[scalaer]

kafka+druid

[cheava]

“主要用来作为历史记录查询，不会涉及修改、删除数据 ” ，典型的时序数据
可以上时序数据库加可视化组件，例如 opentsdb+grafana
如果不搞集群，可以用 TICK 一件套(influxDB 单机开源)，省心省事。
6 楼说到点上了，感觉时序数据库对存储的优化还是很好的，查询需求比较影响用什么数据库

[mywaiting]

这个时候为什么不上战斗民族出品的 ClickHouse，只要你带宽足够，机器足够，目测一分钟 100W 都没有问题

[leeyuzhe]

influx db

[coloz]

我也做物联网，同样的需求，考虑用时序数据库，但做后台的同事说 mongoDB 也满足需求

[Raymon111111]

mysql 分库分表直接搞定

[xuanchi]

每小时 100W，一天 2400W，每月 7.2 亿条，这个放在 mysql 上妥妥不合适，数据量太大，当然分库分表数据量的问题可以解决，但是由于每月修改和删除，使用 mysql 这种关系型数据库没什么好处。
每小时 100W，每分钟是 1.67W ，每秒钟 278 条，这个量级没什么压力，只要是个数据库，机器配置过得去都能抗住。
从理论角度分析，时序数据库是首选，然后根据需求也可以把数据库同步到 mysql。hbase 查询有些问题，不建议用 habase，但是在实际中，搞个时序数据库不方便，总的来说 MongoDB 到时候挺合适的

[dorothyREN]

随便上个商业数据库就解决了

[fengxuejianshi]

航发？