Linux 下大文件传输方式

2014-05-21 16:02:29 +08:00
 hadoop
千兆LAN环境下 linxu系统间的文件传输方式,除了ftp scp还有更好的更快的吗
9585 次点击
所在节点    问与答
28 条回复
hadoop
2014-05-21 18:31:22 +08:00
@zeiyso 嗯 目前我参考的这个,测试起来峰值的确比scp快上30%,但是不是很稳定,没细究是本机磁盘问题还是网络上交换机的限制
wwqgtxx
2014-05-21 19:10:09 +08:00
用apache/nginx,然后wget
20150517
2014-05-21 20:25:19 +08:00
@9hills ftp还是不能保证用满带宽,要用多线程的ftp
hadoop
2014-05-21 21:23:44 +08:00
@wwqgtxx http不是为了传输数据设计的协议,所以估计连ftp都比不上
msg7086
2014-05-22 09:17:56 +08:00
@hadoop http的握手次数少,小文件速度很快,多线程代价也小,nginx基于event模型比vsftpd之类的要快。大文件的话也没什么太大问题吧,http也是在进化的。
hadoop
2014-05-22 09:30:57 +08:00
@msg7086 单个大文件场景呢? 即使是小文件,也会在传输前打包
msg7086
2014-05-22 09:32:36 +08:00
@hadoop 单个大文件我也没觉得http会比ftp慢。同样打开一个连接通道来传输,除了chunked编码造成的少量overhead,我看不出http比ftp慢的理由。
wwqgtxx
2014-05-22 23:18:38 +08:00
@hadoop 你说http不是为了传输数据设计的协议,那http是传输什么的协议呢?为什么公网上都用http协议而不用ftp呢?
http的效率是大家有目共睹的,这就是他为什么在互联网上替代ftp的原因

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/113585

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX