求推荐云盘或其他方案用于分享数据集(2T)

124 天前
 xyyandxyy

学术工作需要开源对应的数据集,大小约 2T, 但不到 2T. 需要让其他使用者下载.

这个数据集开源后应该国内外都要可以下载, 国内计划直接用百度网盘(SVIP 过期后文件好像还是可以继续分享下载). 国外的话求大佬们推荐!

希望:

目前考虑提供国外下载服务的方式:

求大佬推荐!

2747 次点击
所在节点    问与答
26 条回复
1rv013c6aiWPGt24
124 天前
onedrive 有 1T 扩容?不是拼车吗?
xyyandxyy
124 天前
@UncleCAT4 淘宝上写的是扩容, 原理应该是拼车
kebamt
124 天前
如果去掉国内能访问选择方面会多很多
kebamt
124 天前
@UncleCAT4 此外 OneDrive 网页版国内也打不开,相当于不能访问
kebamt
124 天前
不是 Edu 版
kebamt
124 天前
比如 PikPak
1rv013c6aiWPGt24
124 天前
@kebamt 用文件管理器挂载就行了,基本上支持各种主流文件管理器
xyyandxyy
124 天前
@kebamt 可以完全不管国内访问, 因为国内访问我直接提供个百度云. 佬除了 PikPak 还有什么推荐吗? 自建也可以, 我是校园网, 校内有自己的服务器, 但是校外访问, 并下这个大个数据集, 没有想到怎么解决办法.
chesha1
123 天前
onedrive for business ,一个月 10 刀,5TB 空间,国内外都能用,国内有服务器,不用翻墙,这应该最方便的,但是价格有点小贵

或者放到 hugging face 上,不过国内就没法访问了,但是 2T 的数据集也不是谁都能用得了的,我感觉用得起这个数据集的团队应该不会吝啬梯子的钱。。。你在国内放一些常用子集的下载方式应该能满足 99%的同行的需求吧? Imagenet 不就这样吗? 1TB 多的 imagenet-21k 没多少人用,100GB 的 imagenet-1k 用的人就很多
1423
123 天前
开放数据交给 archive 吧..算是白嫖
xyyandxyy
123 天前
@chesha1 嗯嗯, 大佬说的有道理. 因为数据集涉及到一些隐私, 按照目前类似数据集的做法, 一般都是我做一个 request form, 然后审核 request 后发一个下载链接过去. 感觉 HF 可以研究一下怎么放上去, 刚刚查了一下好像没有上传大小限制.
xyyandxyy
123 天前
@1423 archive 是?
northbrunv
123 天前
2t 国内 vps 自建云盘 1k/三年
xyyandxyy
123 天前
@northbrunv 但是带宽成本感觉有点吓人
IvanLi127
123 天前
发 bt 种子,然后自己保种。
adrianzhang
123 天前
这种事难道不是 bt 最方便吗? resilosync 用 key 控制权限呢?
mcone
123 天前
看到你说要审核,你提到的这些网盘其实都不合适,网盘随手就转存了,你也就前期审核有点用,后期真的就只是形式主义而已。
我周边遇到的这种正经的审核,一般都是在附属 edu/ac 机构页面上,通过申请后的 pwd+简单鉴权的方式(甚至有的直接用了 nginx 鉴权),进入专门的下载页,有的为了省带宽就转到网盘或者云存储的下载直链上面去;我们课题组国内买的是科院的云盘服务,国外买的是 dropbox 直链服务。

另外,多吐槽一句,我是不理解,你所在机构和课题组都不愿意提供基本的存储、逼着通讯作者都想“省去毕业后还要维护”的一个数据集,证明除了你之外都认为这玩意没啥价值,有什么好审核的
XiLingHost
123 天前
做种,然后发磁链就行了
xianghaolin
123 天前
E5 25T 就是不稳
NSAgold
123 天前
b2 5 美元/月/T

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1060465

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX