求推荐云盘或其他方案用于分享数据集(2T)

[xyyandxyy]

学术工作需要开源对应的数据集,大小约 2T, 但不到 2T. 需要让其他使用者下载.

这个数据集开源后应该国内外都要可以下载, 国内计划直接用百度网盘(SVIP 过期后文件好像还是可以继续分享下载). 国外的话求大佬们推荐!

希望:

• 一个比较重要的点是希望能稳定存储很久很久, 省去毕业后还要维护
• 价格尽可能低

目前考虑提供国外下载服务的方式:

• 闲鱼找 google drive 2T 团队盘 (稳定性未知, 感觉不是很稳定)
• 开两个 onedrive 的号, 在淘宝买 1t 扩容, 分两个号存储. 35 块钱 1T1 年, 过期只保存三个月.
• ...

求大佬推荐!

[gaobh]

cf 的 r2 不行么，接上 cdn 我记得是免费的吧

[NewHere]

自己有服务器的话，放在服务器上就好了，弄一下 http 服务放在实验室网站上提供下别人下载

[xyyandxyy]

是这样的...

主要是组内一般只维护一个静态的官网, 对外开放的存储还没有人来做, 要做也得抓其他同学(会维护且愿意做的同学不多)或自己来做, 整个流程更麻烦(因为还要去和管理的老师对接), 不如我在自己的服务器上写一个.

我们领域有一些数据集是如佬所说的附属 edu/ac 机构页面, 也是比较大的数据集, 但是时间久了(5 年往上), 很多也断了维护, 或者是下载速度龟速. 也基本是靠社区分享才能获取. 确实审核也就维持个前一段时间的几年, 之后就不在了...

所以综合时间和精力成本还是自己来研究下... 寄希望能少折腾点. 数据集还是有价值的, 我希望能送到需要的研究者手上, 减少他们去翻找的痛苦. 但是大组可能确实不 care, 每年三大会一堆, 不差我一个小小数据集.

[xyyandxyy]

@gaobh 谢谢佬, 从你这才知道 cf 有这个, 看了一下好像我的数据这么大还是要比较高的费用的, 但是 mark 了!
@xianghaolin 嗯嗯我看了一下确实是

@NewHere 没有公网 IP 呜呜

@NSAgold
@IvanLi127
@XiLingHost
谢谢佬的建议! mark 了!

[yufeng0681]

@XiLingHost #18 这样的规则还不够细化，群主开一台机器成本也不低。 最好是弄成好几个地方的电脑不用关，或者说不会一起关的形态。 保证随时能下载到

[nakroy]

既然都开源了，那可以放在 huggingface 上，国内可以用同步的镜像站 hf-mirror.com 下载，很适合直接在服务器上用 huggingface-cli 命令行直接下载