服务器磁盘有限，怎么打包传输零散文件

2018-05-09 06:12:27 +08:00
 shiji
同一个目录下，都是图片文件，数量庞大。想打包传输到另外一个服务器。
但是剩余空间不足，请问有什么方法解决这个问题？
希望速度比 SCP 快，SCP 传零散文件速度感人。


谢谢。
1882 次点击
所在节点    问与答
11 条回复
Trim21
2018-05-09 06:14:47 +08:00
干过一次类似的事情，起了个 http server，在另一台服务器上用多线程爬虫爬下来
billlee
2018-05-09 06:18:19 +08:00
tar -c | ssh tar -x
clino
2018-05-09 06:23:24 +08:00
应该用楼上 tar 的方法，没有实际 tar 文件生成
vibbow
2018-05-09 06:26:55 +08:00
移动硬盘...
luban
2018-05-09 06:59:27 +08:00
磁盘空间不足，那就部分打包，传输完成删除
opengps
2018-05-09 07:14:52 +08:00
千兆内网共享，用自己电脑或者配合移动硬盘
Mutoo
2018-05-09 08:09:29 +08:00
rsync over ssh 了解一下，支持打包传送。
stiekel
2018-05-09 09:19:40 +08:00
这种情况，rsync 应该是最好的解决方案了。
alvinbone88
2018-05-09 13:03:47 +08:00
tar 打包，lz4 压缩，ssh 传输
详细可以看 http://www.orczhou.com/index.php/2013/11/tranfer-data-faster-on-the-fly/
据博主自己测试，传输速率可以达到 249MB/s
Qzier
2018-05-09 13:34:01 +08:00
tar 打包，然后 xz 压缩
shiji
2018-05-09 14:01:39 +08:00
@Qzier
@alvinbone88
磁盘空间有限，打包不到四分之一磁盘就满了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/453287

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX