千兆带宽， Win 能跑满， Linux 跑不满，非常诡异

[xwchenhui]

家里两台服务器，一台华擎 N3150 （ PVE ）、一台矿渣 J1900 （群晖），还有一台 PC （ I7-8700 ），都接在同一个千兆交换机下面。

最近发现，PVE 和群晖之间互相拷贝数据，SCP/RSYNC/CIFS/NFS 各种方式，全部都只有 50MB/s 的速度，稳定不波动

但是用 PC 通过 CIFS 的方式分别访问这两台机，无论是读写，都能跑满千兆；甚至同时打开两个共享，通过 PC 中继复制数据，都能跑满千兆；

PVE 和群晖都没有调过什么内核参数

ethtool 查看网口协商速率都是千兆全双工

两台机 CPU 内存都没满载。。。

PC 中继，这个 HomeOMV 还是 PVE 下的一台虚机

PVE 通过 CIFS 挂载群晖的共享文件夹，rsync 本地复制

群晖通过 rsync 远程复制 PVE 上的文件

---

很懵逼，看看有没有这一块的大佬可以帮忙分析一下

[LOVOQ]

大概是 pve 网卡直通问题 楼下 jj 大的继续~

[xwchenhui]

@LOVOQ 没有开直通的，HomePVE 是宿主

[xwchenhui]

补充一下，pve 里面装 Windows 去挂群晖的共享，也能跑满…怀疑不是内核参数就是 cifs/nfs 客户端的问题，但是没啥方向，搜都不好搜

[geekvcn]

PVE 默认网卡是桥接模式，Linux 网桥性能不如物理网卡吧，把桥接接口改成物理接口试试

[xwchenhui]

@geekvcn #4 嗯，这个也是一种思路，我稍候试试；但是其实也解释不通，因为 WinPC 去拉数据是能拉到千兆的。另外我也试过把 Linux Bridge 改成了 Open vSwitch

[ccyyff]

虽然不太懂，但有没有可能是网卡驱动的问题？

[xwchenhui]

@ccyyff #6 我也怀疑过网卡驱动，但是从 PC 传输的结果来看又是能满足的；我认为大概率还是在应用层面的一些配置之类的。

[miyunda]

或许可以尝试修改挂载 NFS 时的读块大小来尝试下？
https://docstore.mik.ua/orelly/networking_2ndEd/nfs/ch16_04.htm

[lookas2001]

看看拥塞控制是不是 bbr，如果是的话，试试换成 cubic

[xwchenhui]

@lookas2001 #9 不是 bbr 是 cubic，我改成 bbr 试试看

[xwchenhui]

@miyunda #8 这个试过，没效果，不过我测 NFS 的速度的时候用的是 rsync 。。。我得试试别的复制工具