V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
daijinming
V2EX  ›  问与答

物联网大数据用什么数据存储方案

  •  
  •   daijinming · 2019-08-28 14:00:32 +08:00 · 3776 次点击
    这是一个创建于 1674 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果要搭建物联网大数据平台,接收来自众多设备的时许数据,以及分析查询,预警等功能,这样的要求需要采用什么样的数据存储方案,sql 数据库还适用吗

    15 条回复    2019-08-28 18:07:21 +08:00
    nnnToTnnn
        1
    nnnToTnnn  
       2019-08-28 14:06:54 +08:00
    推荐使用 apache hadoop 当然 mysql cluster 也能支撑,但是生态没有 hadoop 的强,这是我了解到的
    chucongqing
        2
    chucongqing  
       2019-08-28 14:08:21 +08:00
    hdfs
    qihao
        3
    qihao  
       2019-08-28 14:17:48 +08:00
    influxdb、opentsdb 时序数据库
    daijinming
        4
    daijinming  
    OP
       2019-08-28 14:22:39 +08:00 via Android
    @qihao 朋友这种数据库好用吗,相对 sql 而言
    netnr
        5
    netnr  
       2019-08-28 14:35:26 +08:00
    说个文件数据库方案,用 sqlite,按设备按日期分文件(夹)存储
    可以用常规的关系型数据库存储设备列表,每一个设备所产生的数据,分文件夹,分月或周或天存储,分的颗粒度较小时,可以间隔一段时间生成中间统计(按天存储时,一个月完,生一张月统计表,一年完生成一张年表,方便后续查询统计)
    freeznet
        6
    freeznet  
       2019-08-28 16:51:20 +08:00   ❤️ 1
    时序数据的话无脑推 timescale db
    huiyifyj
        7
    huiyifyj  
       2019-08-28 16:52:18 +08:00
    hadoop 系列 HBase 数据库
    funky
        8
    funky  
       2019-08-28 16:53:38 +08:00   ❤️ 1
    无脑 timescaledb +1
    daijinming
        9
    daijinming  
    OP
       2019-08-28 17:06:20 +08:00
    @huiyifyj 听到 HBase 感觉好重呀,好上手吗,我们这边都是 SQL 数据库,真是有点闭塞了
    huiyifyj
        10
    huiyifyj  
       2019-08-28 17:11:08 +08:00
    @daijinming #9
    HBase 是列式数据库,与平常的数据库有些反向,所以只要懂过这之中的区别就应该可以上手。
    ccl945
        11
    ccl945  
       2019-08-28 17:53:23 +08:00
    druid,clickhouse (来自一个大数据之神的建议)
    kifile
        12
    kifile  
       2019-08-28 18:03:16 +08:00
    看数据量级,每日大文件增量(GB 单文件),上 HDFS.
    小文件增量,数据总量 TB 级别,考虑分布式部署,使用 Greenplum,
    小文件增量,数据总量 TB 级别,单机可以支撑,使用 ClickHouse
    kifile
        13
    kifile  
       2019-08-28 18:04:33 +08:00
    ps: 如果时序数据监控,influxdb 有一整套监控方案
    kifile
        14
    kifile  
       2019-08-28 18:04:54 +08:00
    就是开源版本不能分布式部署
    Ley
        15
    Ley  
       2019-08-28 18:07:21 +08:00 via Android
    可以看一下 Microsoft Azure HD Insights,他的文档里介绍了一些解决方案
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1009 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:58 · PVG 03:58 · LAX 12:58 · JFK 15:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.