V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
Jackyxiaoc
V2EX  ›  云计算

请问是否有廉价的云储存方案(仅为归档储存)。详细需求如下

  •  1
     
  •   Jackyxiaoc · 2018-10-24 08:59:38 +08:00 · 9393 次点击
    这是一个创建于 1982 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近接到老板的需求,要把监控视频永久储存。请问各位 v 友是否有廉价可靠的储存方案提供。

    测试环境情况如下:
    摄像头数:4
    摄像头每周产生的数据:550g
    一年数据:26.5T
    十年数据:265T

    实际环境摄像头数量数百个。

    目前考虑过以下几个方案:
    1.自建——成本太高
    2.G Suite ——成本可以接受,需要梯子
    3.百度网盘——成本与自建差不多
    4.OSS 、COS、S3 ——成本太高
    5.欢迎各位推荐...不剩感激。
    142 条回复    2018-10-30 18:58:06 +08:00
    1  2  
    ScotGu
        1
    ScotGu  
       2018-10-24 09:01:37 +08:00
    磁带机考虑下吧。
    毕竟也不是天天看录像。
    ShareDuck
        2
    ShareDuck  
       2018-10-24 09:04:26 +08:00 via Android
    永久是多久?你就直接把成本告诉老板就好,让他自己决定。
    其实,磁带是个更好的选择。这种明显档案类的东西,还是不建议放云上。
    xivisi
        3
    xivisi  
       2018-10-24 09:06:29 +08:00
    又不是 要历史数据一直在线。自建成本可以比较低的
    azh7138m
        4
    azh7138m  
       2018-10-24 09:10:37 +08:00 via Android
    300T 下来,硬盘成本大概是 500 * 2 * 100,10w,这个算是成本高吗。。。。
    我比较喜欢 Backblaze 的机箱设计,可惜这个不适合家用,4U 可以放 480T
    lihua
        5
    lihua  
       2018-10-24 09:12:26 +08:00
    Amazon Glacier?
    geekvcn
        6
    geekvcn  
       2018-10-24 09:12:32 +08:00
    硬盘仅仅保留三个月,一般出事情三个月内的录像基本就能满足调查需求,三个月以上的用磁带归档,磁带就是初次购买一套设备成本高于硬盘,但是后续只要买磁带就行了
    helone
        7
    helone  
       2018-10-24 09:13:18 +08:00
    几家云服务也有归档存储的业务,也是用磁带机存储的,如果仅存储不频繁读写的话,价格也不算高,可以看下
    xiaoheshang
        8
    xiaoheshang  
       2018-10-24 09:14:26 +08:00
    感觉还是磁带存储比较省了。。。
    binux
        9
    binux  
       2018-10-24 09:14:39 +08:00
    每两个月换一块 4T 硬盘就行了。多简单的事啊。
    mangoDB
        10
    mangoDB  
       2018-10-24 09:22:34 +08:00
    BOS 冷频存储,考虑一下?
    sarices
        11
    sarices  
       2018-10-24 09:22:56 +08:00
    不贵吧,一个 4t 紫盘 899 (京东价),大量购买更便宜,换其他类型硬盘更便宜,按照 600 一个算,一个月也就半个硬盘,两个月一个硬盘,600*6=3600 而已,做 raid1 也就翻倍而已
    wanwaneryide
        12
    wanwaneryide  
       2018-10-24 09:23:06 +08:00
    这种数据量太大了,自建的成本可能是最低的。目前来说,考虑部署的方便性 和价格 4T 的硬盘应该是最实用的。还有惠普的磁带 15T 才 1500,也能考虑下
    wanwaneryide
        13
    wanwaneryide  
       2018-10-24 09:26:43 +08:00
    @sarices 你说的一个月半块硬盘是测试的数据量,实际环境是有上百个摄像头的,一个月不得十多块硬盘
    liuxu
        14
    liuxu  
       2018-10-24 09:27:38 +08:00
    h265 编码,DVD 存储
    turnipwang
        15
    turnipwang  
       2018-10-24 09:51:19 +08:00
    这个量肯定要压缩吧,国内就阿里云腾讯云两家,直接开工单让他们出方案吧
    lfzyx
        16
    lfzyx  
       2018-10-24 09:54:31 +08:00
    AWS S3 挺好的,存在上面还能用 Amazon Elastic Transcoder 进行转码与合并
    trueGate
        17
    trueGate  
       2018-10-24 09:56:39 +08:00
    在某云,负责监控视频归档存储产品线,楼主有没有兴趣勾搭一下
    foxhunt
        18
    foxhunt  
       2018-10-24 09:57:08 +08:00
    蓝光光盘库
    lsylsy2
        19
    lsylsy2  
       2018-10-24 09:58:32 +08:00 via Android
    粗略计算了一下,摄像头视频码率 1.8M ,这个分辨率足以支持 720p 的在线视频(电影电视剧那种)
    摄像头内容理应有很多的静止内容(比如背景建筑物),是否有压缩空间?
    lsylsy2
        20
    lsylsy2  
       2018-10-24 09:59:51 +08:00 via Android
    五百个摄像头就是 1g 带宽,gsuite 名义上无限实际是限速的,使用别的存储方案带宽也很难支撑(或者极贵)
    kiinlam
        21
    kiinlam  
       2018-10-24 10:02:27 +08:00
    这么多人拿 300T 来计算的?那个是测试环境好吧。
    真实环境上百个,怎么说也得用 1000T 来计算吧。
    shapl
        22
    shapl  
       2018-10-24 10:03:42 +08:00
    低频存储。。
    c0878
        23
    c0878  
       2018-10-24 10:06:45 +08:00
    自建是一次性成本高 按设备 5 年折旧摊一下再算算成本
    云厂商的归档类存储价格应该是最低了 但是是持续成本
    个人感觉发个招标让厂商互相砍价最后给个低价应该是最便宜的
    boluo
        24
    boluo  
       2018-10-24 10:07:08 +08:00
    gsuite 10 刀不限量你值得拥有
    swulling
        25
    swulling  
       2018-10-24 10:09:35 +08:00
    磁带机吧,这个云上肯定没有磁带机便宜
    trueGate
        26
    trueGate  
       2018-10-24 10:09:42 +08:00
    不知道楼主 boss 说“永久存储”的时候是不是经过深思熟虑了,就这个需求来说,存储的特性就很明显了
    1、随着时间推移,存储需要扩容;(扩容性也是买云的好处)
    2、对于存储介质,只进行一次写入,不存在重复写入或擦除;
    3、极度低频的使用场景,写少读少;

    所以,从成本考虑,必须从介质层面进行突破。无论自建或是买云,建议楼主研究一下 SMR HDD,可以到单盘 18TD
    skylancer
        27
    skylancer  
       2018-10-24 10:13:01 +08:00
    冷存储很便宜,不过等你下载的时候价格就很呵呵了
    所以这个需求是要看你怎么评估

    如果说你可能一年遇不到几次下载的机会比如用途是防盗录像什么的,那完全无所谓了
    Rheinmetal
        28
    Rheinmetal  
       2018-10-24 10:15:19 +08:00
    存储达到几百 tb 级别之后 磁带归档 每 tb 成本 就比硬盘便宜了
    而且考虑到“永久”存储
    磁带存储时间比较长 设计寿命几十年
    HDD 寿命就不行了
    lijinpeng57456
        29
    lijinpeng57456  
       2018-10-24 10:16:11 +08:00
    @Jackyxiaoc OSS COS 我们可以按照你的需求来做
    Rheinmetal
        30
    Rheinmetal  
       2018-10-24 10:16:31 +08:00   ❤️ 1
    Gsuite 的”不限量“也是有限制的 150t 以上就限速了
    ChrisShutDoor
        31
    ChrisShutDoor  
       2018-10-24 10:16:57 +08:00   ❤️ 1
    之前接触过的一个案例,帮客户搭建
    客户有 3000 个摄像头采集数据
    55Gbps 的数据写入量
    10PB 的存储量
    两个数据中心分担存储,某个故障,另一个必须能承接所有的摄像头并发写入,数据中心之间还要有 10Gbps 的通道
    ucanuup
        32
    ucanuup  
       2018-10-24 10:27:21 +08:00
    想知道对于这个情况,上云真的比自建便宜吗?不是很了解
    每天流量这么大,带宽费也很贵吧,还有像上面说的,上云容易,下云的时候估计价格也很贵。
    msg7086
        33
    msg7086  
       2018-10-24 10:28:09 +08:00
    大规模的使用环境下都是自建最便宜。

    因为

    你说的

    2 3 4


    他们,都是自己建的。
    jccg90
        34
    jccg90  
       2018-10-24 10:41:16 +08:00
    这明显是伪需求啊。。。又要成本低,又要安全的永久存储,不存在的
    通常的做法是,几个月内的存储用公有云的 oss、s3 这类的保证数据安全,历史数据直接扔本地硬盘做归档,丢了就丢了
    找老板从新确认需求去吧。
    lshero
        35
    lshero  
       2018-10-24 10:51:14 +08:00
    每周刻录一次光盘
    blankme
        36
    blankme  
       2018-10-24 10:55:15 +08:00
    监控视频属于垃圾数据,保留大量垃圾数据,这明显是拍脑袋拍出来的需求。。。
    relaxchen
        37
    relaxchen  
       2018-10-24 11:00:28 +08:00
    数百个摄像头,按照 300 个来算,根据测试环境的数据,每天的数据量大概在 6TB 左右。
    考虑一下 LTO 7(6TB/pcs)或者 LTO 8(12TB/pcs)的磁带系统?
    作为永久存档,肯定是比硬盘更靠谱和便宜的方案,而且 HPE/Dell EMC 都有成熟的方案可供选择。
    scofieldpeng
        38
    scofieldpeng  
       2018-10-24 11:01:09 +08:00
    用云?阿里云这些不是有归档存储么,蛮便宜的
    NotNil1
        39
    NotNil1  
       2018-10-24 11:07:57 +08:00
    可以找一些小的做存储的公司来给你们建设的
    imn1
        40
    imn1  
       2018-10-24 11:17:47 +08:00
    永久
    这两个字,建议和下面这个字

    不要一起使用,除非你是云主(包括从硬件到软件都是)
    jadec0der
        41
    jadec0der  
       2018-10-24 11:22:40 +08:00 via Android
    Glacier 每年每 T 300 块吧,读取另收费
    xcstream
        42
    xcstream  
       2018-10-24 11:35:38 +08:00
    二手移动硬盘
    Jackyxiaoc
        43
    Jackyxiaoc  
    OP
       2018-10-24 11:41:02 +08:00
    @trueGate 可以呀,我的微信 wnjacky
    ryd994
        44
    ryd994  
       2018-10-24 11:42:49 +08:00 via Android
    自建也不是一次性成本啊,可以逐渐扩展的
    但是说实话,自建的可靠性,离永久还很远
    Amazon glacier
    都有底气要求永远了,这点钱也算钱?
    fxxkgw
        45
    fxxkgw  
       2018-10-24 12:10:08 +08:00
    磁带机
    Jackyxiaoc
        46
    Jackyxiaoc  
    OP
       2018-10-24 12:31:15 +08:00
    @Rheinmetal 大神 请问您知道 150T 后限速多少吗?
    cy97cool
        47
    cy97cool  
       2018-10-24 12:34:12 +08:00
    摄像头每周产生的数据:550g
    这是经过压缩编码的嘛?猜测摄像头大部分时间内容是一致的,应该能做到更小一点的编码存储方式
    Jackyxiaoc
        48
    Jackyxiaoc  
    OP
       2018-10-24 12:35:47 +08:00
    @lsylsy2
    @ucanuup
    带宽这个不是问题,摄像头是分散的,每个地方都有独立的网络,足够上传。
    Jackyxiaoc
        49
    Jackyxiaoc  
    OP
       2018-10-24 12:36:34 +08:00
    @cy97cool 这个没有经过压缩 都是从监控硬盘直接拿出来未经处理的数据大小。
    Tink
        50
    Tink  
       2018-10-24 12:47:29 +08:00 via iPhone
    历史数据保存十年???
    Jackyxiaoc
        51
    Jackyxiaoc  
    OP
       2018-10-24 12:52:12 +08:00
    @Tink 二十年以上
    tailf
        52
    tailf  
       2018-10-24 12:53:52 +08:00
    蓝光光盘了解一下。
    Tink
        53
    Tink  
       2018-10-24 12:57:07 +08:00 via iPhone   ❤️ 1
    那你还是自建吧,阿里云 10 年倒闭了你的数据还不要了?
    Jackyxiaoc
        54
    Jackyxiaoc  
    OP
       2018-10-24 12:57:48 +08:00
    @tailf 维护起来太麻烦 容量太小
    Jackyxiaoc
        55
    Jackyxiaoc  
    OP
       2018-10-24 12:58:32 +08:00
    @Tink 倒闭前总要给个机会拿下来吧...
    dtsover
        56
    dtsover  
       2018-10-24 13:01:16 +08:00
    云盘是为了互联网分享用的,不是为了存储低访问量的巨量数据,凭啥阿里又带冗余,还比你自己买硬盘 成本低?
    dtsover
        57
    dtsover  
       2018-10-24 13:02:06 +08:00
    这么大的上传数据量,百度云盘可以满足?你要买 VVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVIP 才行
    my3157
        58
    my3157  
       2018-10-24 13:09:14 +08:00
    如果只考虑归档, 不再读取 , 或者读需求趋近 0 的话 , 可以试试磁带机
    SCGabriel
        59
    SCGabriel  
       2018-10-24 13:54:56 +08:00 via Android
    这个需求,基本就只有磁带机成本最低了吧,只能顺序读取,保存可以到 30 年
    KIC
        60
    KIC  
       2018-10-24 14:00:08 +08:00   ❤️ 2
    以你老板现在 30 岁算,他活到 100 岁,还有 70 年。
    一年数据:26.5T/4 个 单个产生 6.625
    100 个一年数据极速 662.5T 70 年就是 46375T

    长期考虑建议建个中等规模的数据中心,如果短期就买硬盘吧,一年的量 任何一个机房都不便宜
    KingEngine
        61
    KingEngine  
       2018-10-24 14:04:52 +08:00
    6400 买 4 个 8T 的希捷移动硬盘,刚好一年,实惠
    zacharyjia
        62
    zacharyjia  
       2018-10-24 14:07:59 +08:00   ❤️ 1
    我有一同学在搞光存储,用光盘存数据。
    一个机柜就可以做到上 PB 的数据了。而且光盘这玩意儿相对磁带之类的介质还是容易保存的。
    有兴趣可以跟他们聊一下啊,看看他们的方案
    KingEngine
        63
    KingEngine  
       2018-10-24 14:08:43 +08:00
    要不买一百个百度网盘账号,轮着用,哈哈,成本不高
    Jackyxiaoc
        65
    Jackyxiaoc  
    OP
       2018-10-24 14:15:53 +08:00
    Jackyxiaoc
        66
    Jackyxiaoc  
    OP
       2018-10-24 14:18:14 +08:00
    @KingEngine 自己买硬盘成本不高,但是维护成本高,百度网盘 500 2T。
    地址如上
    Jackyxiaoc
        67
    Jackyxiaoc  
    OP
       2018-10-24 14:18:57 +08:00
    @zacharyjia 好呀,可以的。我的微信是 wnjacky,可以交流一下。
    xenme
        68
    xenme  
       2018-10-24 14:26:05 +08:00
    随便找个给交警队提供监控和数据存储方案的集成商,大概聊聊架构和价格。

    1. 你这几百个带宽需要超大,上云的话,宽带费一年估计不便宜
    2. 摄像头数据是否需要专门经过处理,上面也提到,很多都是静止无用的数据
    3. 几百个,每年都是 PB 级别的数据了
    zacharyjia
        69
    zacharyjia  
       2018-10-24 14:28:36 +08:00
    @Jackyxiaoc ok,我帮你推荐下,让他加你聊一聊。
    他们好像搞的还不错,而且据说他们办公楼的监控的存储好像就是用的他们的产品。
    jswh
        70
    jswh  
       2018-10-24 14:41:56 +08:00
    大部分监控都只要求保留 3 个月半年就可以了吧。我觉得这个需求有问题。
    真的要存储的话,监控大部分时候是空的场景,比如大晚上的。 归档存储的时候,分析视频内容,空场景全部裁剪掉可能可以节省很大一部分空间。这个理论上应该可以做到的。
    KingEngine
        71
    KingEngine  
       2018-10-24 14:46:38 +08:00
    @Jackyxiaoc 百度云都是免费 2T 的(手机端免费扩容),增容 2T 才要花 499,另外额外扩容的话还不如开年费会员享 5T,只要两百多
    KingEngine
        72
    KingEngine  
       2018-10-24 14:47:03 +08:00
    只要账号多,就有多大
    Jackyxiaoc
        73
    Jackyxiaoc  
    OP
       2018-10-24 14:49:07 +08:00
    @KingEngine 账号多难维护。肯定都是在一个账号下的。

    @jswh 某些需要,所以不能剪辑,要保证视频的完整性。
    AX5N
        74
    AX5N  
       2018-10-24 14:57:39 +08:00
    完全不建议买磁带,只有大于 100TB 的时候磁带才会比硬盘便宜。
    每年 26.5T ,100TB 能顶 4 年,建议先尝试用 4 年硬盘再说,等有足够经验了,确定需要换磁带了,到时候再换磁带。
    压缩也是个办法,但压缩参数的选取也需要认真考虑,要想达到好效果、高压缩率、1 秒 24 帧的压缩速度,那电脑的价格可能都能买得了几百 TB 的硬盘了。
    jswh
        75
    jswh  
       2018-10-24 14:59:11 +08:00
    @Jackyxiaoc 不管用云也好,自建也好,最后数据肯定要落地到存储介质上。存储介质的成本,存储介质成本在这,只能说寻找有没有更便宜的存储介质。这个我觉得挺难的。
    存储介质可改善的有限,那就只能是从减少数据量方面入手可以多考虑一下,压缩,裁减,冷热分离。

    不然我真的觉得挺无解的,只能花钱硬抗了
    tutustream
        76
    tutustream  
       2018-10-24 15:18:46 +08:00
    廉价?开 N 个百度网盘。即使是初始 1G,一个月开仨就够了。
    JamesR
        78
    JamesR  
       2018-10-24 15:55:03 +08:00
    @blankme 说不定是银行呢,监控钞票什么的。
    Jackyxiaoc
        79
    Jackyxiaoc  
    OP
       2018-10-24 16:01:28 +08:00
    @JamesR 不是银行 但是确实是监控钱相关的...
    Moorj
        80
    Moorj  
       2018-10-24 16:08:29 +08:00 via iPhone
    硬盘就行了,再过五年价格又便宜了,现在不要买太多
    onecode
        81
    onecode  
       2018-10-24 16:09:57 +08:00
    你看看 Azure Storage,
    realpg
        82
    realpg  
       2018-10-24 16:31:32 +08:00
    坐标哪里?
    其实这种静态存储自建成本很低的 如果会玩的话
    jaleo
        83
    jaleo  
       2018-10-24 16:33:40 +08:00
    磁带现在不流行了 要么蓝光光盘库 要么分布式存储
    Jackyxiaoc
        84
    Jackyxiaoc  
    OP
       2018-10-24 16:52:33 +08:00
    @onecode 感谢。
    @realpg 广东 确实但是没玩过现在在找相关方案。
    @jaleo 蓝光光盘库确实可行。
    realpg
        85
    realpg  
       2018-10-24 17:01:17 +08:00
    @Jackyxiaoc #84
    太远了 哈哈
    类似东西无论是在数据中心存还是在自己单位存的方案都做过很多了 成本很低的
    任何云上都比自建要贵很多
    lneoi
        86
    lneoi  
       2018-10-24 17:01:56 +08:00
    蓝光光盘 这个寿命能到十年? 感觉很难
    akira
        87
    akira  
       2018-10-24 17:53:38 +08:00
    最便宜的方案应该是自建一个本地持久化存储中心了。
    natforum
        88
    natforum  
       2018-10-24 19:31:19 +08:00
    问了店家,是 30TB 的
    natforum
        89
    natforum  
       2018-10-24 19:32:38 +08:00
    价格低至 0.05 元 1GB
    likuku
        90
    likuku  
       2018-10-24 19:56:58 +08:00   ❤️ 1
    提到 “可靠” ,那么就没有很便宜的了...


    就算每月买 3 块 2TB 硬盘( 3 快盘就是存 3 个副本),
    存完分别放三个可靠的恒温恒湿防盗防火防水抗震带 24 小时监控的仓库,一年下来成本不低(不算人力呢)

    amazon 有用于存档的廉价可靠存储 Glacier,可以参考下(上传免费,提取要钱),aws 中区也有的:

    可以先走 S3 上传上去,S3 可以配置自动化规则,让上传完毕的数据自动转存成 Glacier (S3 当成中转站而已)

    Amazon Glacier_云归档存储服务-亚马逊 AWS 云服务 : https://www.amazonaws.cn/glacier/?nc2=h_l3_sc

    定期批量移动数据,aws 有 snowball (可租赁型 最小号标准版 50TB/80TB 的移动加固型 NAS) ,
    租过来就是个带高带宽光纤 /电口 的坚固 NAS (自带加密),接入你自己网络,直接给里面丢数据就行,存满了,让 aws 来拿回它们机房里,算物理迁移数据,最快了。

    去年时说当年底大陆就可用,现在... 哦,发觉现在 aws 中国也有了:
    AWS Snowball : https://www.amazonaws.cn/snowball/?nc2=h_l3_sc
    likuku
        91
    likuku  
       2018-10-24 20:04:26 +08:00   ❤️ 1
    真要自己长期保存,那么 #87 的磁带还是目前更合适。

    磁带存档技术非常成熟,是离线存储,只有读写时需要上电运转,保存时本身不耗能,也没有机械损耗。

    当然,一份数据多个副本,异地副本,都是很有必要。
    peterj
        92
    peterj  
       2018-10-24 20:58:16 +08:00
    请考虑一下上行带宽,再看公有云方案
    Wolfx
        93
    Wolfx  
       2018-10-24 21:03:42 +08:00
    现在有卖摄像头,送免费云存储的服务吗?
    natforum
        94
    natforum  
       2018-10-24 21:46:36 +08:00
    忽然想起一个谷歌硬盘教育版无限空间的,你可以试试,挂载到本地硬盘,国内的话考虑富强流量就行
    twl007
        95
    twl007  
       2018-10-24 21:56:45 +08:00 via iPhone
    其实 s3 的成本还行 1T 一个月 200 是吧
    dtsover
        96
    dtsover  
       2018-10-24 23:23:25 +08:00
    @Jackyxiaoc 你这个是存储的价格,考虑上传带宽没,一个普通账户是不是限速 80k ?
    bellchu
        97
    bellchu  
       2018-10-24 23:42:52 +08:00 via Android
    orangeff
        98
    orangeff  
       2018-10-24 23:58:13 +08:00 via iPhone
    视频这东西磁带挺适合的,就是磁带机不便宜
    moguiyu
        99
    moguiyu  
       2018-10-25 01:28:05 +08:00
    我自己在用 G 家的冷存储,300G 左右的数据,只存一份在云端,每个月不到 3USD 的费用。
    而且数据是通过 ARQ 的 AES 加密过,比较安全。
    保险的话应该要在不同的区域存 2 份。。。
    Jackyxiaoc
        100
    Jackyxiaoc  
    OP
       2018-10-25 08:09:38 +08:00
    @dtsover 百度买个会员一年 300 不到,这点成本就忽略了。
    @bellchu 感谢
    @orangeff 确实
    @moguiyu 数据量大了就贵了

    @twl007 成本小高

    @natforum 好的,我看看

    @Wolfx 送一年半载的好像 肯定不是永久
    @likuku

    @likuku 小贵
    @akira 自建的话带宽成本高

    @lneoi 这个没试过 感觉可以
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1257 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 23:26 · PVG 07:26 · LAX 16:26 · JFK 19:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.