天翼云盘很坑

2020-05-19 20:27:21 +08:00
 janssenkm

我做了一个很极端的测试:

测试环境:

电信宽带 300M ;

Intel i7-10710u, 64G DDR4-2400,1T SN550 SSD;

Synology DS1918+ w/ 4T 红盘*4 RAID5;

天翼云盘客户端( windows )当下最新版( v6.2.3 )

数据来源

通过 rsync 方式同步一份 http://mirror.rackspace.com/centos-vault 下的文件,因为比较大,所以我只选择了这几个子目录:

http://mirror.rackspace.com/centos-vault/6.6

http://mirror.rackspace.com/centos-vault/6.7

http://mirror.rackspace.com/centos-vault/6.8

http://mirror.rackspace.com/centos-vault/6.9

http://mirror.rackspace.com/centos-vault/7.3.1611

http://mirror.rackspace.com/centos-vault/7.4.1708

http://mirror.rackspace.com/centos-vault/7.5.1804

http://mirror.rackspace.com/centos-vault/7.6.1810

http://mirror.rackspace.com/centos-vault/7.7.1798

http://mirror.rackspace.com/centos-vault/8.0.1905

因为这些文件内有从 1kb 到 10Gb 的文件,可以模拟各种复杂的文件大小( yum 源使用就不说了)

上传数据到天翼云盘

因为天翼云盘很不稳定,上传出错后再点继续就会产生一堆被重命名的文件,这是我对其最吐槽的问题,“自作主张”。

所以我很小心逐个将 centos-vault 文件夹下各个子目录逐个拖进天翼云盘客户端,逐个传,如果哪个目录出现错误,或者断流,就整个子目录全部删除后重新再传,通过此行为保证我的操作不会产生重复文件,没办法,重命名整怕了,这是个天翼云盘的巨坑。

就这样连续不停地传我把它们都传到了天翼云盘服务器上了,不过也好,人不花时间,就是把机器一直开着就行了。

下载数据到本地

天翼云盘没有指定文件夹查看该文件夹下文件数量,占用空间,于是我就本地新建一个文件夹,将之前传上去的全部重新取下来,然后检查是否和原始上传文档一致

惨不忍睹的结果

结果大跌眼球:

上传信息

上传的总文件数量:986952 个

上传的总文件夹数量:4405 个

上传的总文件大小:1,324,237,916,221 字节(约 1.20TB )

下载信息

下载到总文件数量:994131 个

下载的总文件夹数量:4405 个

下载的总文件大小:1,325,886,283,254 字节(约 1.20TB )

结果

我控制着每次上传都不重复,所以按此来看应该不会产生被重命名的文件,可结果的确是,即便是我每个文件夹一次性成功上传,天翼云盘服务端也会产生一大堆貌似被检测到重名后自作主张进行重命名的文件,结果如下:

产生重名文件数量:7179 个

产生重名文件夹数量:0 个

不一致的字节数差距:1,648,367,033 字节(约 1.53GB )

部分被重命名的文件信息:

因为它重命名规则大概是:原始文件名(时间戳).原始后缀

所以搜索“(”或者")"就能找出来,结果大部分重命名了一次,也有一小堆(上百个)被重命名了超过 1 次:

如原始文件名:

at-spi-1.28.1-2.el6.centos.i686.rpm

传上去后变成三个:

at-spi-1.28.1-2.el6.centos.i686.rpm

at-spi-1.28.1-2.el6.centos.i686(20200518055049).rpm

at-spi-1.28.1-2.el6.centos.i686(20200518060307).rpm

这行为是什么意思?这是在同一个上传批次里产生的,一个文件居然重名两次!

这是一组较为暴力的测试,排除我很小心避免多次上传同一文件的条件下,还出现这种问题,只能说明天翼云盘在服务端的分布式存储也有很大的隐患(哈希对比,文件分片,文件合并等等)。 要拿来珍藏自己的宝贝的得当心了。

13725 次点击
所在节点    宽带症候群
56 条回复
wxlg1117
2020-05-22 20:43:42 +08:00
@2224121161 你这是什么网盘? 自己用什么程序搭建的?
HTSdTt3WygdgQQGe
2020-05-23 03:25:42 +08:00
我是 11 楼,测试百度盘的,已经下载到第 5 个文件了,各位稍等
jeeyong
2020-05-23 11:23:55 +08:00
刚和天翼云盘客服吵完架.退回了铂金会员的费用.
不会再用+1
Coioidea
2020-05-23 12:24:18 +08:00
还不都是最近大量白嫖的锅(

国内云盘自作主张的事情不少,甚至度盘丢普通文件也是日常,这种极端测试为什么要用网盘。
一般使用场景文件都比较大,很少会出现这种极端测试下的问题。
skyeycirno
2020-05-23 20:41:37 +08:00
我天翼云盘就备份个照片,真存东西还是世纪互联吧
linzh
2020-05-27 20:11:14 +08:00
我也遇到了,而且遇到的概率不小
传了 5 个文件有两个重了
https://kyun.ltyuanfang.cn/tc/2020/05/27/ade0ad20e0622.jpg
好消息是两个文件下载下来对照 hash 都是相同的,至少...没有丢文件...
linzh
2020-05-27 21:07:52 +08:00
天翼云传上去最后会再对一次 hash 值,如果不对则会重传(错误文件不会放到列表中),也就是说传上去的文件理论上都是正确的,要担心的只是长期存放会不会出事了,天翼应该像 115 那样弄个查重的功能
spediacn
2020-05-27 23:01:03 +08:00
我也试了一下上传了十万个文件,总共才 10 多 G,然后删掉,再传 10 万个文件,再删掉。

然后回收站就一地鸡毛了,点清空,一直提示“处理中,待删除文件较多,请稍后刷新查看结果”,手工全选,一次只能选 60 个... ... 总之,天翼云盘的回收站也被我玩残废了。哈哈

天翼云盘除了占着电信的便宜能够上行提速,其它都是如鸟如翔,废品一个。
spediacn
2020-05-27 23:19:15 +08:00
@linzh 115 重名也会被加个(1)之类的后缀,就是不会覆盖。
linzh
2020-05-28 09:17:00 +08:00
@spediacn 是的,看了下天翼云的逻辑应该是和羊毛盘一样的,用一个存储空间,账号里只记录文件 hash 之类的特征,查 hash 是否能秒传 --> 文件不存在就上传 --> 成功后重新查 hash 是否能秒传 --> 秒传成功,如果卡了本地多次请求就会出现多个文件,从这点来看至少上传是靠谱的,不会出现传坏的情况(因为坏了 hash 秒传失败会重新执行上传),就看会不会存坏文件了,不存坏还是可以备份一些大文件的
国内很多网盘都不会覆盖,百度网盘微云逻辑也是如此,无非就是后面加个(1)或者允许同名文件存在
kevinzang
2020-05-28 11:41:24 +08:00
@cxknmsl 404 了
bluehr
2020-05-29 11:21:33 +08:00
@cxknmsl 看到领导找 4 个美女拼车拼房海外 15 天深度旅游,我真的乐了,我寻思这是准备多人运动呢
cxknmsl
2020-05-29 12:00:26 +08:00
@bluehr ,而且他是发在公司的活动群里的,当时梁嘤说要进行 3 个月的 996,结果研发 996,产品运营到点下班
hwbasd2020
2020-06-02 00:16:49 +08:00
天翼云盘除了服务器好,产品本身做的非常的差,上传大视频都能发现有重复的文件,他还做同步盘,谁敢用。百度云盘也是很差,上传的文件下载后我对比 sha1 竟然发现不一致,难怪解压出错。同步资料毫无疑问 Dropbox 最可靠,国内的坚果也可以用用。天翼百度这些就拿来存片好了。
Qzier
2020-08-11 17:46:44 +08:00
有个 16 年申请的 10TB 账号,用起来太蛋疼,一直闲置着。
norland
2021-12-22 11:24:20 +08:00
上传个图片,iPhone 拍的,体积只有 1.24M ,觉得不太可能,发送到微信文件助手,原图发送,保存下来体积是 4M 多。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/673357

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX