有什么高效的转移很多小文件的方式

2012-05-12 15:19:52 +08:00
 Yo_oY
有很多小文件(百万级)需要转移,用U盘拷太慢了,于是压缩成zip后进行转移。压缩的时候倒是挺快的(不到1小时),但是解压缩的需要很长很长时间(10天左右)。
请问有什么高效的转移方式,谢谢。
3578 次点击
所在节点    问与答
10 条回复
finler
2012-05-12 15:26:40 +08:00
linux系统下可以tar命令分类型打包,每包10k个以下,速度不慢,对内存要求高,win下容易资源耗尽
skydiver
2012-05-12 15:34:33 +08:00
处理小文件的速度跟 文件系统类型 有很大关系的
skydiver
2012-05-12 15:35:20 +08:00
Windows的ntfs系统本身对于小文件的处理就很慢。。。
Yo_oY
2012-05-12 15:36:50 +08:00
@skydiver 恩,就是windows的ntfs系统。
bulldozer
2012-05-12 15:39:17 +08:00
打包但不压缩呢?
shao
2012-05-12 15:41:22 +08:00
不知道用ftp方式转移,是否够快?
zxp
2012-05-12 15:46:43 +08:00
下面两个方法效率应该都不错,前提是网速要给力。

1. rsync -avz user@host:/src /dst
2. tar cf - dir | ssh user@host tar xf - -c /dest-dir
qiuai
2012-05-12 16:09:19 +08:00
推荐用tar打包.
9hills
2012-05-12 16:14:27 +08:00
TAR打包没有压缩会快很多。。

嘛其实最快的是磁盘对拷,直接用dd命令,就没有小文件和大文件的区别了,直接整个分区过去。。
9hills
2012-05-12 16:15:53 +08:00
P.S. dd命令生成img,然后又把img还原到分区。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/35602

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX