技术求助帖，关于 redis 大 value 存储的问题

[hehe12980]

这是我在 V2EX 的第一个帖子

最近遇到一个业务场景，外部接口每隔 5 秒种会给我一批温度参数, 分别为每个机器上的不同温度,需要在前台动态曲线图实时显示，前台 每次 只能 看某 1 天和某一个机器的 温度参数, 历史数据曲线图 可以查询

技术上我做了分表,每一天的数据建一张表，大概 100 台左右的机器数量，每一天的数据 172 万, 单台机器的温度数据每天大概为 1.7 万

前置条件： 任何一台机器温度数据一旦生成是不会变的，我的思路能不能放缓存中，这样就不用去 100 多万条数据，拿机器编号去匹配了

但是我尝试把 1.7 万条数据 放入 redis 中，这个时候 redis 直接报了个命令超时，应该是 value 过大，导致性能下降，IO 瓶颈太大

所以 这种场景的需求究竟要怎么处理呢？ 感觉 我这个需求和股票的实时曲线很像 好难啊 呜呜呜

[6IbA2bj5ip3tK49j]

每台机器的 1.7 万条数据，放到一个 list/zset 里面去。

[hehe12980]

一条一条放 取的时候 批量取么

[hehe12980]

@xgfan 一条一条放 取的时候 批量取么

[6IbA2bj5ip3tK49j]

@hehe12980 采集一次放一次呗。取的时候批量取。
看起来用 zset 比较合适。用生成时间做为 score，也方便清理过时数据。

[Jooooooooo]

大 key 简单的做法是打散

散到 100 个 sub key 里去, 然后捞这个 key 数据的时候直接 pipeline 去捞这 100 个 sub key 然后组装起来

[XDJI]

可以切下 比如机器 1 切 10 个 key 存的时候批量存 取得时候批量取就是

[pushback]

可以参考 hashmap 的切法

[qwerthhusn]

时序数据库是不是更适合。。

[sagaxu]

历史数据存 db，不用缓存，一张表存明细，一张表每行是一个设备一天所有数据。

实时数据存 hashmap，key 为设备 ID，field 为时间 slot(0 到 17280)，绘制实时曲线的时候，首次取整个 hash，之后只要取比上次最大 slot 更大的值。

[dynastysea]

为什么用 redis ？你的查询量多大？

[chengz]

应该是拿 redis 当缓存用
存入可以数据可以实时存
读取数据分批量取，还有大 key 就考虑将大 key 拆分

[lyy16384]

你的机器编号没索引的吗

[hehe12980]

@lyy16384 有索引你也是得扫 1.7 万啊

[hehe12980]

@dynastysea 没啥查询量 就是历史数据 去数据库查 感觉慢, 历史数据是固定的

[rrfeng]

建议上个时间序列数据库，influxdb 或者直接上个 prometheus （如果不要求持久化的话）

[rrfeng]

这数据量对专业的 TSDB 来说是小儿科~

[hehe12980]

@rrfeng 上新数据库应该不考虑了 毕竟引一个数据库 就干这么一个事 ==

[rrfeng]

1.7w 个 float 也没多大啊，改一下超时时间呗

[hehe12980]

@rrfeng 不止温度一个字段，有 6 个业务字段，绘制 6 条曲线，实时的，所以放 redis 没问题，取的时候 设置 3s 超时 直接爆了 感觉 还没 mysql 快 感觉 redis 用的有问题==

[hehe12980]

@sagaxu 历史数据存 mysql, 查的时间大概是 0.5s 到 1.1 秒之间，感觉这个响应时间还是有点慢了