物联网设备上报的数据,非结构化数据。目前是序列化后直接以时间戳做文件名写 NFS 共享里。然后定时合并压缩到云厂商的对象储存,然后删除本地 。查询的时候 是 NFS 和对象储存一起查询。
感觉不是很合理的样子,本来想自建时序数据库,又不想增加运维复杂度。所以想用云厂商的方案。
直接写入对象储存的话,因为实时数据太小,压缩没啥意义。数据不压缩的话,总体积比较大。
了解到云厂商有表格储存,看起来适合我这个场景。但是没有看明白 CU 单价之类的,所以也就没明白费用到底会有多少。
不知道各位彦祖,有没有其他的方案推荐?
1
ashuai 318 天前
这数据有啥用?有没有过期策略?还是想永久保留? OSS 有存档存储类型好像超便宜
|
3
liprais 318 天前 via iPhone
写到 sqlite 里面传到 oss 上
|
4
mightybruce 318 天前
如果你可以花钱的话,可以使用 EMQX 企业版,兼容多种数据库存储。
还支持大文件数据上传。 它提供了 MQTT 协议文件传输能力,允许设备上传大文件数据并将其存储到本地磁盘或 S3 存储 |
5
joyanhui OP @liprais 这个不适合。因为一直有新数据,总不能一直重传 sqlite 文件。如果是依旧分割 sqlite 文件,和我们现在方案没差。
@mightybruce 可能我描述的不清楚。我们已经储存到本地磁盘了,只是在考虑同步到云厂商的储存。方便整理和查询。另外我们是私有协议,已经弃用 mqtt ,并且本地已经落盘,再把数据转发给 emqx 多此一举了。 |