一个 openwrt 百思不得其解的 bug

[huakecailiao]

经常从公司走 ipv6 远程回家摸鱼，之前一直都是用微软 rdp ，前段时间用了 moonlight+sunshine 后感觉比 rdp 丝滑很多，就主要用这个了。

结果我每次用 moonlight 十来分钟后就会断联，米家看家里的电器全部掉线，一开始以为是联通宽带的锅，还叼了几次客服（流汗）

今天把公司笔记本带回家连手机流量的热点，用 moonlight 连家里电脑，才发现是 openwrt 路由的锅。每次 Moonlight 连个十几分钟，openwrt 的 cpu 占用就 100%，ssh 和网页端均无法连接 openwrt 。重启 openwrt 后恢复正常，但再连 10 来分钟之后又卡死，这可能是什么问题导致的？

只有用 Moonlight 会出现这个情况，其他的诸如 rdp 、chrome remote desktop 、向日葵等均不会出现这个情况，moonlight 的码率我开的也很低（ 3-8Mbps ）

[huakecailiao]

以下是 putty 我一直开着 htop ，以下是最后卡死不动的状态：
root@OpenWrt:~# htop

0[|||||||||||||||||||||||||||||||||||||||| 65.6%] Tasks: 4383, 73 thr, 105 kthr; 0 running
1[||||||||||||||||||||||||||||||||||||||| 63.4%] Load average: 16.65 6.21 2.58
2[||||||||||||||||||||||||||||||||||||||||| 67.3%] Uptime: 00:57:57
3[||||||||||||||||||||||||||||||||||| 59.2%]
Mem[||||||||||||||||||||||||||||||||||||||||||||||||||815M/889M]
Swp[ 0K/0K]

[Main] [I/O]
PID USER PRI NI VIRT RES SHR S CPU%▽MEM% TIME+ Command
23121 root 20 0 1226M 4004 0 D 23.8 0.4 0:08.57 /tmp/etc/passwall/bin/sing-box run -c /tmp/etc/passwall/acl/3JXNyYIQ
30261 root 20 0 7840 6928 368 R 22.2 0.8 4:25.53 htop
23118 root 20 0 1226M 4004 0 D 22.2 0.4 0:08.09 /tmp/etc/passwall/bin/sing-box run -c /tmp/etc/passwall/acl/3JXNyYIQ
3735 nobody 20 0 1856 500 56 D 7.5 0.1 0:13.47 avahi-daemon: running [OpenWrt.local]
5396 root 20 0 6568 516 0 D 18.9 0.1 0:03.94 curl --help all
10198 root 20 0 1904 232 0 S 1.2 0.0 0:03.52 /usr/bin/oafd
24862 root 20 0 3676 1560 56 D 9.0 0.2 0:17.98 /usr/sbin/snmpd -Lf /dev/null -f -r
5196 root 20 0 2696 1244 292 D 0.0 0.1 0:03.01 /usr/sbin/uhttpd -f -h /www -r OpenWrt -x /cgi-bin -u /ubus -t 3600
13819 root 39 19 36172 14076 32 D 0.0 1.5 0:02.15 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf
27893 root 20 0 960 80 0 S 2.1 0.0 0:02.69 /usr/sbin/dropbear -F -P /var/run/dropbear.1.pid -p 192.168.1.1:9022
2337 root 20 0 1092 168 48 D 8.7 0.0 0:03.34 /usr/sbin/odhcpd
2276 root 20 0 1348 192 0 S 1.9 0.0 0:02.80 /sbin/netifd
12591 root 20 0 26032 1704 0 S 0.0 0.2 0:00.24 /usr/sbin/smbd -F
13810 root 39 19 36172 14076 32 D 14.1 1.5 0:24.19 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf
13815 root 39 19 2316 692 304 S 0.0 0.1 0:21.72 bash /usr/lib/netdata/plugins.d/tc-qos-helper.sh 2
4109 root 20 0 1012 56 0 S 0.2 0.0 0:00.28 /var/etc/socat/cc5ee72889a543f38c4a4100571a33af udp6-listen:47999,ip
5044 root 39 19 1040 412 300 D 3.3 0.0 0:32.30 /usr/sbin/nlbwmon -o /var/lib/nlbwmon -b 16777216 -i 4h -r 30s -p /u
5275 root 20 0 1604 808 304 S 0.0 0.1 0:00.26 sh -c config() { echo "You cannot use UCI in firewall includes!" >&2
7933 root 20 0 1301M 53380 0 D 0.0 5.9 0:05.05 /usr/bin/AdGuardHome -c /etc/AdGuardHome.yaml -w /etc/AdGuardHome -p
13822 root 39 19 2976 1820 816 D 4.5 0.2 0:18.36 bash /usr/lib/netdata/plugins.d/charts.d.plugin 2
23116 root 20 0 1226M 4004 0 S 0.2 0.4 0:00.80 /tmp/etc/passwall/bin/sing-box run -c /tmp/etc/passwall/acl/3JXNyYIQ
1 root 20 0 1476 780 304 S 0.0 0.1 0:04.11 /sbin/procd
329 root 20 0 1012 52 0 S 0.0 0.0 0:00.00 /var/etc/socat/af40d7f2a4b54b9193fd90c0c42f2de2 udp6-listen:47998,ip
426 root 20 0 1012 48 0 S 0.0 0.0 0:00.00 /var/etc/socat/b91b7170f5684a5ea768b6e27d2bc878 udp6-listen:48000,ip
428 root 20 0 1012 52 0 S 0.0 0.0 0:00.00 /var/etc/socat/af40d7f2a4b54b9193fd90c0c42f2de2 udp6-listen:47998,ip
429 root 20 0 1012 48 0 S 0.0 0.0 0:00.00 /var/etc/socat/b91b7170f5684a5ea768b6e27d2bc878 udp6-listen:48000,ip
430 root 20 0 1012 52 0 S 0.0 0.0 0:00.00 /var/etc/socat/af40d7f2a4b54b9193fd90c0c42f2de2 udp6-listen:47998,ip
432 root 20 0 1012 48 0 S 0.0 0.0 0:00.00 /var/etc/socat/b91b7170f5684a5ea768b6e27d2bc878 udp6-listen:48000,ip
439 root 20 0 1012 52 0 S 0.0 0.0 0:00.00 /var/etc/socat/af40d7f2a4b54b9193fd90c0c42f2de2 udp6-listen:47998,ip
498 root 20 0 1012 48 0 S 0.0 0.0 0:00.00 /var/etc/socat/b91b7170f5684a5ea768b6e27d2bc878 udp6-listen:48000,ip
572 root 20 0 1012 52 0 S 0.0 0.0 0:00.00 /var/etc/socat/af40d7f2a4b54b9193fd90c0c42f2de2 udp6-listen:47998,ip
575 root 20 0 1012 48 0 S 0.0 0.0 0:00.00 /var/etc/socat/b91b7170f5684a5ea768b6e27d2bc878 udp6-listen:48000,ip
590 root 20 0 1012 52 0 S 0.0 0.0 0:00.00 /var/etc/socat/af40d7f2a4b54b9193fd90c0c42f2de2 udp6-listen:47998,ip
655 ubus 20 0 972 412 280 S 0.0 0.0 0:06.39 /sbin/ubusd
656 root 20 0 744 252 216 S 0.0 0.0 0:00.09 /sbin/askfirst /usr/libexec/login.sh
657 root 20 0 744 256 224 S 0.0 0.0 0:00.00 /sbin/askfirst /usr/libexec/login.sh
692 root 20 0 808 364 304 S 0.0 0.0 0:00.10 /sbin/urngd
F1Help F2Setup F3SearchF4FilterF5Tree F6SortByF7Nice -F8Nice +F9Kill F10Quit

[vmebeh]

你看 load ，暴增
singbox 占用也很高
是不是 CPU 不行，没好好工作

[huakecailiao]

@vmebeh cpu 是奔腾 n3710 的 按道理应该不至于性能着急 Moonlight 开的码率才 10Mbps 不到 家里也没有什么其他的大的负载

[huakecailiao]

@vmebeh 平时搞其他的高路由负载 比如偶尔 bt 下载、油管走路由 passwall 看 vr 8k/12k 视频都没问题

[pxiphx891]

把 singbox kill 掉试试？

[huakecailiao]

@pxiphx891 貌似的确是这个问题 singbox 在 moonlight 上传时不太正常 我把 passwall 停用了 moonlight 打黑猴子打了二十分钟暂时没出问题 看 opwrt 的 cpu 占用状态也还算正常

[huakecailiao]

@pxiphx891 我去 刚说完就卡掉了 这次是没开 passwall 的情况下 openwrt 卡死：
root@OpenWrt:~# htop

0[||||||||||||||||||||||||||||||||||||||| 62.2%] Tasks: 4332, 64 thr, 104 kthr; 0 running
1[|||||||||||||||||||||||||||||||||||||||||| 67.8%] Load average: 15.84 5.60 2.39
2[|||||||||||||||||||||||||||||||||||||||||| 70.3%] Uptime: 00:58:25
3[||||||||||||||||||||||||||||||||||||||||||| 70.7%]
Mem[||||||||||||||||||||||||||||||||||||||||||||||||||821M/889M]
Swp[ 0K/0K]

[Main] [I/O]
PID USER PRI NI VIRT RES SHR S CPU%▽MEM% TIME+ Command
20701 root 20 0 1216M 14048 0 R 38.7 1.5 0:07.56 /usr/bin/mosdns start -c /etc/mosdns/config.yaml -d /etc/mosdns
18434 root 20 0 7764 6692 300 R 21.8 0.7 4:09.76 htop
20740 root 20 0 1216M 14048 0 S 21.2 1.5 0:01.56 /usr/bin/mosdns start -c /etc/mosdns/config.yaml -d /etc/mosdns
20741 root 20 0 1216M 14048 0 S 17.4 1.5 0:04.66 /usr/bin/mosdns start -c /etc/mosdns/config.yaml -d /etc/mosdns
9738 root 20 0 6624 540 0 D 16.9 0.1 0:03.66 curl -m 5 -o /dev/null --silent --head --write-out %{http_code}\n ht
9768 root 20 0 1004 288 156 R 15.3 0.0 0:02.25 /sbin/modprobe -q -- crypto-blowfish-all
14765 root 20 0 916 64 0 S 14.8 0.0 0:09.20 /usr/sbin/miniupnpd -f /var/etc/miniupnpd.conf
20707 root 20 0 1216M 14048 0 S 12.6 1.5 0:03.35 /usr/bin/mosdns start -c /etc/mosdns/config.yaml -d /etc/mosdns
24182 root 20 0 3676 1840 336 S 12.5 0.2 0:19.48 /usr/sbin/snmpd -Lf /dev/null -f -r
3695 nobody 20 0 1864 576 132 S 7.6 0.1 0:13.98 avahi-daemon: running [OpenWrt-2.local]
2333 root 20 0 1100 136 0 R 7.0 0.0 0:04.95 /usr/sbin/odhcpd
13134 root 39 19 36464 14516 32 S 6.5 1.6 0:02.56 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf
13124 root 39 19 36464 14516 32 S 6.4 1.6 0:11.05 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf
11883 root 39 19 1156 360 240 D 5.3 0.0 0:36.77 /usr/sbin/nlbwmon -o /var/lib/nlbwmon -b 16777216 -i 4h -r 30s -p /u
13129 root 39 19 36464 14516 32 S 5.3 1.6 0:01.11 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf
13146 root 39 19 2976 1008 0 S 5.3 0.1 0:18.71 bash /usr/lib/netdata/plugins.d/charts.d.plugin 2
20706 root 20 0 1216M 14048 0 S 5.3 1.5 0:00.97 /usr/bin/mosdns start -c /etc/mosdns/config.yaml -d /etc/mosdns
10468 root 20 0 1416 112 0 S 5.0 0.0 0:01.21 /usr/sbin/ksmbd.mountd --n
13127 root 39 19 36464 14516 32 S 4.5 1.6 0:00.40 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf
13136 root 39 19 36464 14516 32 S 4.3 1.6 0:23.49 /usr/sbin/netdata -D -c /etc/netdata/netdata.conf

[yinmin]

netdata 插件挂了，卸载 netdata 试试

[huakecailiao]

@yinmin 试了下卸载了 还是一样 moonlight 串流后 openwrt CPU 占用逐渐升高 直至卡死

[yinmin]

htop 显示 tasks 过高，一般 tasks<200 ，你的 tasks>4000 了，ps aux 仔细看看是哪个程序产生了几千个进程。

[coolloves]

考虑下,是不是 passwall 配置问题,导致某些转发死循环了
如果有这种情况,你可以看下,流量也很大,cpu 负载也很高,最后 op 直接 oom 了.