Linux 下大文件传输方式

[hadoop]

千兆LAN环境下 linxu系统间的文件传输方式，除了ftp scp还有更好的更快的吗

[decken]

BT sync

[tititake]

rsync

[duzhe0]

对scp有什么不满意的吗？

[SevenJ]

也可以用nc:
server: nc -l port_number < filename
client: nc server_ip port_number > filename

[hadoop]

@duzhe0 内网环境，只想传数据，没必要数据传输过程中加密，LAN环境加密的话基本上会把cpu跑到100%

[hadoop]

@SevenJ 现在尝试用 nc + 压缩，效果比scp好一点

[lu18887]

传输前压缩或者传输中压缩。一般是传输之前就压缩了，传输的时候不要选择带压缩的会增加CPU负担且效果不明显。

[lu18887]

也可以考虑挂载远程目录的方式，感觉这个会更快些！起码操作上最后变成了CP，嘿

[hadoop]

@lu18887 操作上cp，底层还是转换成网络传输了吧

[Chip]

单向的话，FTP应该是兼容性最好，速度最快的了。
双向的话，rsync或者Bittorrent Sync都是不错的选择。

[reverland]

@SevenJ 加个-q 0 吧……

[babytomas]

内网的话我觉得 SCP 就足够了呀 。。

scp * root@192.168.1.2:/root/

我平时内网都是用 scp 的 。。。100M 传输接口用 scp 我都懒得打包文件传了 。。

[JoyNeop]

wget 党默默滚过。。。

[9hills]

@hadoop 内网FTP。wget下载打满千兆网卡没问题。没有更快的了。如果是万兆，硬盘IO是瓶颈

如果只能纯内网访问，开全局匿名只读FTP是个好想法。

[lu18887]

@hadoop 查阅相关资料，加密的传输要受CPU速度的限制（加密解密），具体使用哪种得结合你的实际情况的，是否需要那么安全的传输，文件有多大……传输的频率，增量数据还是全量数据

[lu18887]

@9hills 有万兆网，磁盘肯定也上高档货色了各种PCI固态硬盘阵列啥的……甚至是超导体（这个扯淡了，哈哈）

[zeiyso]

我自然 | Linux大文件传输 http://www.yankay.com/linux%E5%A4%A7%E6%96%87%E4%BB%B6%E4%BC%A0%E8%BE%93/
可以参看这个.

[ffffwh]

Samba/NFS？

[hadoop]

@babytomas 等文件有几十G的时候就知道这样还不够快

[hadoop]

@9hills 不不，数据里面肯定有冗余的，所以加上压缩，比直接wget快