有什么办法提高大量大量小文件复制/移动的速度没?

2014-12-14 14:11:49 +08:00
 aWangami
[缘由]
昨天备份手机上的tencent文件夹,你知道的微信和手Q都是很多很多的文件夹和小文件来管理资源的,于是,我不知道花了多久,昨天晚上开始备份,今天早上起来的时候算是结束了,Windows显示剩余6小时的时候我就哭了,于是改用Cygwin的mv命令,但是也花了很久,目测一两个小时吧
PS:读卡器直接读卡的,没有用USB数据线传
PPS:不排除我的卡读写速度比较慢

[文件信息]
1.50 GB (1,619,127,376 字节)
1.56 GB (1,678,778,368 字节)
44,137 个文件,15,137 个文件夹
其实文件和文件夹也不算多,这么看起来的话

[有什么办法没呢]
只是因为备份这个文件夹时想到的,并不是针对备份它而言

[另外想到的问题]
刚才说到TF卡,现在感觉8G的卡已经很不够用了,升级为16G的卡如何?
是不是TF卡读写次数多了,就会容易坏,反正我插到电脑上的时候Windows提示修复
那16G的卡不会比8G的卡更容易出问题吗,要是出问题了,资料损失的概率不就更大了=。=

原谅我想太多...
16566 次点击
所在节点    问与答
20 条回复
xiaogui
2014-12-14 14:25:15 +08:00
无压缩比 打包成若干个压缩包文件,然后拷贝,解压。比你直接小文件对拷快很多。
aWangami
2014-12-14 14:29:25 +08:00
@xiaogui 这是个好主意!可以一试~
oott123
2014-12-14 14:29:48 +08:00
FastCopy
aWangami
2014-12-14 14:36:09 +08:00
@oott123 我用它备份过整盘文件,速度不错,不过没试过大量小文件,下回测测速度~
icedx
2014-12-14 14:38:11 +08:00
临时文件和输出目录设到ramdisk 打包tar 一波带走
xiaogui
2014-12-14 15:02:36 +08:00
@aWangami 服务器对拷碎文件必备方法,省时间不是一点两点,但是记住不要压缩比。
yksoft1
2014-12-14 18:15:21 +08:00
大量小文件的问题来自于文件系统,现在的树形文件系统的遍历,增加节点可不是那么快的。
因此建议还是将大量小文件进行打包。如果小文件并不复杂,比如源代码类,就算使用高压缩率打包也不会很慢
msg7086
2014-12-14 18:42:07 +08:00
先全盘镜像再复制?不知道有没有类似的工具。
BetaLe
2014-12-14 18:45:57 +08:00
@aWangami 一直都是用一楼的方法。省了多少创建文件的时间啊
thidnh
2014-12-14 18:51:07 +08:00
推荐7z,有个store的压缩模式。基本不压缩,速度飞快
Havee
2014-12-14 20:19:59 +08:00
我会说我使用cpio么
备份gentoo时效率比tar高
cp在大量小文件时,还是放弃吧

全盘镜像的话么....没有比dd更优效率的了
tanyuxiang
2014-12-14 20:22:16 +08:00
teracopy或打包
aWangami
2014-12-14 22:45:07 +08:00
@Havee 嘿,下次可以尝试尝试~
aWangami
2014-12-14 22:47:32 +08:00
@msg7086 楼上说的dd?或者用ghost之类的
aWangami
2014-12-14 22:48:43 +08:00
@yksoft1
@xiaogui
@icedx 打包之后再移动确实是个好办法
tititake
2014-12-14 22:56:16 +08:00
rsync
电脑上装服务端,Android手机用命令客户端,然后Tasker根据不同情景调用。
Rexter
2014-12-14 22:58:45 +08:00
我在用ExtremeCopy Pro,这个安装了就作为你的默认复制工具
aWangami
2014-12-15 09:49:10 +08:00
@Rexter 看了一下不错的样子~
aWangami
2014-12-15 09:49:38 +08:00
@tititake 方式略高端呀
tmtony
2020-02-28 13:20:16 +08:00
我也遇到了这个问题,折腾了好几天,因为 2 台电脑复制了 2 天都没拷贝完。在网上找了很多资料,后来解决了。把找到的各种方法整理了一下。也包括这里大家说的一些好方法。
复制很多个大量小文件比复制总体积相同的单个大文件要慢很多的解决办法
http://www.52help.net/htips/337.html

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/153834

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX