linux 服务器互相之间怎么传输 90G 网站文件?论坛附件非常多

2016-11-29 21:49:16 +08:00
 doufenger

用 scp 传着太慢,而且时间久了就会导致服务器没响应 今天想试试压缩了再传。。结果现在还没压缩好,还搞得一直要重启,不然会卡死( 2G 内存的破 VPS )

10210 次点击
所在节点    DevOps
79 条回复
doufenger
2016-11-29 22:17:29 +08:00
@akira 我中午的时候就是进行了打包命令,被坑到现在。 现在还没打包好。一直在生成包
jimzhong
2016-11-29 22:25:56 +08:00
才 90G 而已啦, mirrors.ustc.edu.cn 那么多文件都可以 rsync
shinko
2016-11-29 22:26:53 +08:00
@doufenger 我大概 30W 个文件吧,不过我的是服务器
missdeer
2016-11-29 22:37:30 +08:00
ftp
isCyan
2016-11-29 22:40:38 +08:00
打包成 tar 然后 http
ryd994
2016-11-29 22:42:24 +08:00
几百 G 的 kvm 磁盘镜像,还不是一个 scp -C 直传
连几十 G 的文件都搞不定,要 ssh 有何用
打包慢就 tar cf - 直接 pipe 给 ssh 啊
估计很多人还不知道 ssh 可以 pipe
文件可压缩就加-C
yangqi
2016-11-29 23:01:09 +08:00
论坛附件大部分都是小文件,肯定要用 rsync
colatin
2016-11-29 23:21:37 +08:00
rsync +1 不二的选择
sylecn
2016-11-29 23:25:17 +08:00
不用先压缩。用 rsync 传整个文件夹。如果服务器还有其它流量,可以加参数限制 rsync 带宽。
qyz0123321
2016-11-29 23:26:12 +08:00
@ryd994 支持,直接用 pipe 给 ssh ,然后用 dd 到远端。
9hills
2016-11-29 23:27:42 +08:00
不是很理解楼主,二楼就给了答案……结果 21 楼还在纠结压缩的事情
flyeblue
2016-11-29 23:32:23 +08:00
btsync 也是可以考虑的选项吧?这个比 rsync 用起来简单,个人感觉。
bao3
2016-11-30 02:42:32 +08:00
楼主别太折腾,楞以选用开源的 syncthing 或者闭源的 resilio sync (就是上面两位说的 btsync ),直接就解决了你的问题。
shiny
2016-11-30 03:30:49 +08:00
rsync 可以断点续传,同时记得开个 tmux 或者 screen
msg7086
2016-11-30 05:07:12 +08:00
screen / tmux
+ rsync
上 TB 的数据都这么传的。
yegle
2016-11-30 05:08:48 +08:00
nc
lakeview
2016-11-30 05:16:08 +08:00
rsync 可以断点续传,写个 shell 脚本检测 rsync 进程,挂了就再跑一次
minsheng
2016-11-30 05:32:24 +08:00
一楼加一, U 盘拷一下顺丰就好,何必那么麻烦
huijiewei
2016-11-30 06:22:26 +08:00
楼主用这个是最好的: https://github.com/axkibe/lsyncd

服务搭好后就不用管了,同步完以后停止服务就是了
waruqi
2016-11-30 07:14:28 +08:00
scp

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/324205

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX