10Gb 网络问题,单线程速度很低

2015-12-09 05:18:51 +08:00
 aku
单线程只有 1Gb 左右

多线程正常
跟硬盘没关系,跟硬盘没关系,跟硬盘没关系
跟MTU没关系,跟MTU没关系,跟MTU没关系
跟巨包没关系,跟巨包没关系,跟巨包没关系

系统是 smartos ,网卡是 Intel X529

看邮件列表也有人反应这个问题
Oracle 的系统也有类似问题
Freebsd 也有类似问题
根据 Oracle 的文档推测,是单线程能分配到的 CPU 资源有关
很可惜 smartos 跟 Solaris 还是有些差别,有的参数没效果

但是看红帽工程师的一个 10Gb 网络调优演示
红帽是没有这个问题的
单线程就能跑满


所以我想问各位
Linux 常见发行版,比如 Ubuntu , Debian , Arch ,是不是单线程跑 10Gb 没有问题
另外, Windows 有没有问题?

哪位有相关经验的分享一下
3481 次点击
所在节点    宽带症候群
15 条回复
ryd994
2015-12-09 06:25:08 +08:00
这…… U 盘启动自己测一下会比较靠谱
aku
2015-12-09 07:12:31 +08:00
@ryd994 我要哭了

上次为了一个兼容性问题

连续测试了 freenas freebsd omnios smartos ubuntu …

这才几天……

😵
人生为何如此艰难…
geeklian
2015-12-09 07:13:57 +08:00
也没说什么应用,什么环境,怎么测的....
只能推测是人品问题。
xbb7766
2015-12-09 07:33:54 +08:00
感觉可能是 cpu 单线程瓶颈,毕竟 10G ,不同系统下网卡驱动是不是一样啊?你说红帽没问题是不是红帽的网卡驱动方面有优化.
lhbc
2015-12-09 08:39:32 +08:00
iperf ,我们线上测试 10G 是能跑满的。 CentOS 系统。
另外,我们 MIPS 架构 36 核都能跑 30G 。
ryd994
2015-12-09 11:39:18 +08:00
@aku 抽屉里一堆 U 盘,一个一个插上去重启就好了啊,反正 Linux 下同样硬件程序基本可以互换
aku
2015-12-09 15:04:45 +08:00
@lhbc 你们的 iperf 是单连接测试结果还是多连接测试结果?

我看红帽在没有任何调优的情况下单连接就好几个 Gb 了
aku
2015-12-09 15:07:57 +08:00
@geeklian 你大概没有做过 1Gb 以上的网络

上面的信息已经足够了

又不是调优
明显是其它大问题

我主要是问一下其他人的不同系统的情况而已
aku
2015-12-09 15:14:33 +08:00
@xbb7766 不知道是不是驱动有优化

可能性不大

基本可以肯定是 CPU 资源限制
感觉还是跟 kernel 有关
lhbc
2015-12-09 17:16:09 +08:00
@aku 默认参数直接跑
[ 4] local 10.200.1.254 port 5001 connected with 10.200.2.254 port 59704
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 12.3 GBytes 10.6 Gbits/sec
aku
2015-12-09 19:27:35 +08:00
@xbb7766
@lhbc
刚刚试了下,从 Ubuntu 向 smartos 发包,速度正常
smartos 向 Ubuntu 发包,就只有 1Gb 左右

看来要换系统了
Solaris , BSD 太陈旧了
lhbc
2015-12-09 19:46:36 +08:00
@aku 驱动问题吧。
BSD 的网络不比 Linux 差。
aku
2015-12-09 20:10:32 +08:00
@lhbc 很喜欢 BSD , Solaris 的一些特性
可惜驱动太陈旧了,经常等要从 linux backport 过去
没办法了,只能割爱了

不过这次的问题我感觉并非驱动
oracle 有一篇文章提到
https://blogs.oracle.com/dlutz/entry/maximizing_nfs_client_performance_on
虽然文章很老了,但问题依旧
chinawrj
2015-12-09 20:35:34 +08:00
开大你的 tcp window
tifan
2015-12-11 06:49:54 +08:00
你可以用 dtrace 跟踪一下。

http://www.dtracebook.com/index.php/Main_Page

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/242150

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX