PVE 网络翻车，求助

[crazyweeds]

各种折腾，升级内核啥的，突然有一天发现，PVE 网速变得极慢，只有 30MB/s 不到，具体什么原因也不知道。不涉及 USB 等存储设备，大无语。

% iperf3 -c 192.168.200.2 -t 20 -i 5 -f Mb
Connecting to host 192.168.200.2, port 5201
[ 5] local 192.168.200.50 port 50084 connected to 192.168.200.2 port 5201
[ ID] Interval Transfer Bitrate
[ 5] 0.00-5.00 sec 128 MBytes 25.5 MBytes/sec
[ 5] 5.00-10.00 sec 120 MBytes 24.0 MBytes/sec
[ 5] 10.00-15.00 sec 125 MBytes 25.0 MBytes/sec
[ 5] 15.00-20.00 sec 118 MBytes 23.7 MBytes/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-20.00 sec 491 MBytes 24.5 MBytes/sec sender
[ 5] 0.00-20.02 sec 490 MBytes 24.5 MBytes/sec receiver

iperf Done.

root@pve:~# ethtool enp0s31f6
Settings for eno2:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 1000Mb/s
Duplex: Full
Auto-negotiation: on
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
MDI-X: on (auto)
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes

和物理无关：之前能搞 100MB/s ，也尝试过换网线、换网口，都无效。

[defunct9]

开 ssh ，让我上去看看

[crazyweeds]

@defunct9 开着呢，地址 192.168.200.2 ，端口 22 ，用户名 root ，密码 root ，快来，十万火急。
手动滑稽。

[rekulas]

200.50 是内网其他机器还是虚拟机
pve 虚拟机拉自己文件正常不(正常应该超过百兆)?
如果上面正常 pve 母鸡拉 pve 虚拟机文件速度测过没(正常应该超过百兆)?
换过交换机测试没有

[crazyweeds]

@rekulas 200.50 是我本机，192.168.200.2 是 PVE 物理机（母机），虚拟机峰值也是这个速度，大无语。没有交换机，直接华硕路由器，之前速度正常的，而且华硕路由器也重启过。
我测试过虚拟机和 PVE 之间的速度，几十 GB 。
不用怀疑我本机到路由器的速度，我本机下载公网，能跑到 40-50MB/s 。

[rekulas]

建议中间插个交换机试试是否正常(直连本机和 pve) 尽量排除干扰因素

[tywtyw2002]

ip 是绑在网卡上还是网桥。

[crazyweeds]

@tywtyw2002 网桥？ Linux Bridge

[struggle001]

@crazyweeds 换 ovs ？

[zbatman]

换 ESXi ？

[yc8332]

应该和 pve 无关。把你的交换机或者是路由器重启。正常应该就恢复了。

[wheat0r]

你就想想你干嘛了吧

[yyysuo]

交换机去掉试试 。

[crazyweeds]

应该是 Intel 网卡+内核版本，PVE 论坛看到过类似问题，但是手痒升级了 PVE8 （没升级之前就有这个问题），导致不能降低，用不了老内核。

[aru]

pve8 我用 8125B 网卡桥接也是翻车了，网速极慢

[crazyweeds]

@yyysuo 没有交换机，只有路由器。

[tywtyw2002]

@aru pve8 网桥改用了新驱动，支持 sdn 。
建议搞个支持 sriov 的网卡，性能会好非常多，不过 sriov 的老卡要 patch kernel 。

[aru]

@tywtyw2002
直通了
现在的情况是当软路由虚拟机连接数极高（ 20 万左右）软路由的 lan 口延时会有几十 ms 并且有可能丢包
不知道是不是机器 cpu 性能不行还是软件配置问题

[tywtyw2002]

@aru 20w 连接的话应该是性能问题了。
母鸡别做交换了，直接虚拟机用 sriov 网卡出去。
我的支持 sriov 的万兆洋垃圾网卡，不支 promiscuous 模式外（软路由没法开 ha ），性能没啥损失。
母鸡管理用主板的千兆口，母鸡上给 lxc 网桥也用 sriov 出来的虚拟网卡。