探讨一种低成的本大文件存储和传输方案，目前没辙了

[yishibakaien]

场景描述

• 文件（主要是视频）大小在 2 - 30G 之间，平均大小在 12G 左右一个，目前每天大约有 20 个左右该大小文件被创建，也就是 240G 左右
• 文件需要被保留至少 30 天，也就是最小存储空间需要 240G * 30 = 7200G ，考虑到冗余需要 10T 左右空间
• 该文件需要在创建完之后提供给异地下载（批量或并发下载），或者通过某种方式传输给异地（跨省）

遇到的困难

• 存储文件成本较高
  • 如果使用 OSS 、COS 等方式，10T 一年存储费需要 ￥ 8700
• 下载（传输）成本较高
  • 走 CDN 下载（直接 OSS 下载更贵）需要支付两部分费用
    • 回源流量费用（从 CDN 回源到 OSS ），240G/天 * 0.15 元/G * 365 天 = ￥ 13140
    • CDN 流量费用，240G/天 * 0.2 元/G * 365 = ￥ 17520
• 如果存储在本地
  • QQ wx 等不支持如此大的文件传输，对传输总流量也有限制
  • 家庭带宽上行最多可以到 20M/S 左右，也无法满足文件传输需求（存在多人同时下载），（如果有办法把家庭带宽上行扩大到 100M/S ，勉强可以使用，听说公网 IP 多播可以做到，但是容易封号）
• 如果采购云服务器提供下载
  • 大带宽成本天价，不考虑

待解决核心问题

• 最核心的是如何解决文件传输流量问题，存储在本地成本较低，可以接受！

特此求助 V 站各位老师，有没有低成本传输如此大批量文件的方案，感激不尽！欢迎讨论！

[Eagleyes]

巨量数据异地传输，请快递硬盘

一辆满载硬盘的卡车的带宽，是任何光纤都无法比拟的。

[JuSH]

试试联通、电信的政企服务，比如联通云宽带 https://gec.10010.com/jl/product/1001009
可以定制宽带服务

[icyalala]

等一下。。RMVB ？这么老的编码，是怎么生成的？

[Huelse]

压缩分包处理，比如每个包 256M ，写个工具分批上传到多个云盘或 OSS （最好是支持接口的）并生成记录文件，后续根据记录文件下载或继续分发。

[tuotu]

@yishibakaien #6 一户可以多条宽带的

[wyx119911]

@yishibakaien #30 用对象存储是可以的，对象存储都支持流式上传。但像百度网盘是不支持流式上传的。
如果用云厂商的对象存储，可以同时采购他们的 CDN 服务，同一个厂商的 CDN 到对象存储是走的内网（例如腾讯云的 cos + cdn 方案，免回源流量费。
这样只需要接入流式上传 api 就可以了，方案简单可靠，也省去了你本地拉宽带的费用和 cdn 回源费用。

[kulous]

移动宽带还送网盘，4T

[byte10]

本地上传网盘慢？那你上传到 OSS 、COS 不也一样慢吗? 不管是什么方案都是要本地上传宽带快才行的。

拉几条宽带分包后上传吧，最优解了。用天翼网盘 可以拉满速度的，10T 的账号 才 250 元，再开个会员完事。

[alfawei]

直接办理直播宽带，大上传的

[JavaGym]

https://wormhole.app/ 这个就能解决了 最大支持 10G 文件传输即使文件流 可以设置分享条件 实现阅后即焚的效果 没有上传完对方也能通过分享链接下载

[c2const]

量还不够大，不然邮寄硬盘就行了 :)

[lakehylia]

网盘+运营商上传套餐

[InDom]

🤔 一天创建 24G 数据，如果是多个用户都要下载，是不是 P2P 方案更好？

普通家宽一天 100G 上传还是能做到的。

[Kinnice]

你需要的只是来个猛的 GPU 转码

[guazao]

打电话口述二进制

[wolfan]

你这个是监控视频吧，为什么要自己麻烦。
如果不涉及保密需求，你找找当地（国内）的网络服务商（电信、联通、移动、广电），他们是有网络监控服务的，多头好像只是安装价加设备费。

缺点就是只能使用他们提供的设备，如果你已有设备就麻烦点。

[cover]

热数据（网盘未上传完部分）走宽带或者 OSS +CDN ，冷备部分（ 7 天）走网盘，混合模式走一波，应该能节省不少成本

[hefish]

我觉着传输问题。。。还是买几个 U 盘或者 ssd 快递过去吧。也许更快些。

[maizero]

1 、没讲清楚数据多地同步的时效需求，如果是 T+1 ，那么总容量/时效=时效内上行带宽需求，评估下就可以知道 30M 家庭上行是否可以满足，如果不行，100M 的直播宽带是否可以满足？（电信 599 一个月，之前 299 ）；
2 、30 天的存量不超过 20T 的话，TO C 的阿里云盘都可以解决了，可以解决多点分发的下载需求；

总体思路是数据源》分发源的带宽 是否满足指定容量同步时效需求；
分发源的下行带宽，是白嫖 TO C 服务，还是选择商业化——取决于多端分发对端下行的带宽和时效需求；

核心问题解决了，其他无非方案选择罢了。

[8E9aYW8oj31rnbOK]

楼主没想到过开个百度网盘的会员吗？一个上传，几个下载，多开几个会员。一个会员一年也就二百左右吧。