golang 程序突然超时

[phpcyy]

最近我们的程序老是有超时，每次都是一台机器突然耗时增加，重启这台机器上的服务后耗时也降不下来；
看了下代码最近提交很少也没几行，没看出什么问题；
这台机器调用别的所有服务的耗时都有升高，看了下 goroutine 的数量，没有上升；
之前加了 gc 的 PauseQuantiles 的耗时统计，发现 gc 耗时也上升很明显；
然后使用 pprof 抓了下 gc 的 trace ，出现了以下 2 张图上的情况，感觉 cpu 像是突然不工作了，什么情况会导致出现这个问题呢？




大佬们能给个思路吗？

[horou]

改用 Rust😒

[lolizeppelin]

是不是虚拟机 被 cgroup 限制了
先跑物理机不要用 docker 试试

[GopherDaily]

网络 /带宽？有机器的监控吗？

[phpcyy]

@lolizeppelin 腾讯云的云主机，没有用 docker

[phpcyy]

@GopherDaily

10:09:43 开始抓取的 trace ，这个是监控

[tairan2006]

如果感觉是环境的问题，就释放掉机器重新申请……

[phpcyy]

@phpcyy 监控截取的时间是 10 点到 10 点 20

[phpcyy]

@tairan2006 陆续 3 台机器出问题了，题目中没说清楚；每次现象是一致的，都是突然耗时增加后重启服务耗时也降不下来，其他机器都是正常的

[GopherDaily]

- 代码总是否有阻塞的锁之类？
- 服务资源是否有明显的波动，除了 CPU 以外还可以关注 磁盘和网络

大部分诊断都依赖于长期投入的监控建设

[8355]

按照描述建议使用最简单的方案代码回滚 如果能解决相当于已经定位问题了.
有 3 台机器出现问题我认为已经不是偶然了 95%以上是跟业务代码相关

[datafeng]

瞎猜应该是写的代码有问题
这是为换 rust 找个说服自己的理由么:)

[lysS]

大哥，给 cpu 的火焰图啊；你这个好难看啊

[phpcyy]

OK ，我明天先回滚代码放点量观察下，看能不能恢复吧

[rekulas]

高度怀疑某个逻辑处阻塞或死循环了，导致无法切换上下文