V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
joyanhui
V2EX  ›  程序员

写多读少的大量 kv 数据 用云厂商的啥方案比较合理?

  •  1
     
  •   joyanhui · 336 天前 · 1546 次点击
    这是一个创建于 336 天前的主题,其中的信息可能已经有所发展或是发生改变。

    物联网设备上报的数据,非结构化数据。目前是序列化后直接以时间戳做文件名写 NFS 共享里。然后定时合并压缩到云厂商的对象储存,然后删除本地 。查询的时候 是 NFS 和对象储存一起查询。

    感觉不是很合理的样子,本来想自建时序数据库,又不想增加运维复杂度。所以想用云厂商的方案。

    直接写入对象储存的话,因为实时数据太小,压缩没啥意义。数据不压缩的话,总体积比较大。

    了解到云厂商有表格储存,看起来适合我这个场景。但是没有看明白 CU 单价之类的,所以也就没明白费用到底会有多少。

    不知道各位彦祖,有没有其他的方案推荐?

    第 1 条附言  ·  336 天前
    数据是设备的历史数据。
    5 条回复    2023-12-23 15:13:20 +08:00
    ashuai
        1
    ashuai  
       336 天前
    这数据有啥用?有没有过期策略?还是想永久保留? OSS 有存档存储类型好像超便宜
    joyanhui
        2
    joyanhui  
    OP
       336 天前
    @ashuai 没有过期策略,永久保存,基本不会删除。查询较少。
    liprais
        3
    liprais  
       336 天前 via iPhone
    写到 sqlite 里面传到 oss 上
    mightybruce
        4
    mightybruce  
       336 天前
    如果你可以花钱的话,可以使用 EMQX 企业版,兼容多种数据库存储。
    还支持大文件数据上传。
    它提供了 MQTT 协议文件传输能力,允许设备上传大文件数据并将其存储到本地磁盘或 S3 存储
    joyanhui
        5
    joyanhui  
    OP
       336 天前
    @liprais 这个不适合。因为一直有新数据,总不能一直重传 sqlite 文件。如果是依旧分割 sqlite 文件,和我们现在方案没差。

    @mightybruce 可能我描述的不清楚。我们已经储存到本地磁盘了,只是在考虑同步到云厂商的储存。方便整理和查询。另外我们是私有协议,已经弃用 mqtt ,并且本地已经落盘,再把数据转发给 emqx 多此一举了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2755 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 09:43 · PVG 17:43 · LAX 01:43 · JFK 04:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.