修改 go websocket server 启动方式, 内存占用立省 40% !

[Nazz]

最近发布了 gws v1.4.7 更新, 支持从 tcp conn 直接解析 websocket 协议, 降低内存占用. 大部分人使用 go websocket server, 都是复用的 http server, 这种劫持http连接升级的方式, 最大的弊端就是浪费内存. 由于 go http hijack 的缺陷, 一些内存一直得不到释放, 大概每个连接 10KB. 测试 10000 个连接的场景, 换用 Demo2 方式, 内存占用立省 42.86%!

Demo 1: hijack

package main

import (
	"github.com/lxzan/gws"
	"log"
	"net/http"
)

func main() {
	upgrader := gws.NewUpgrader(new(gws.BuiltinEventHandler), nil)

	http.HandleFunc("/connect", func(writer http.ResponseWriter, request *http.Request) {
		socket, err := upgrader.Accept(writer, request)
		if err != nil {
			log.Printf(err.Error())
			return
		}
		go socket.Listen()
	})

	if err := http.ListenAndServe(":3000", nil); err != nil {
		log.Fatalf(err.Error())
	}
}

Demo 2: direct

package main

import (
	"github.com/lxzan/gws"
	"log"
)

func main() {
	srv := gws.NewServer(new(gws.BuiltinEventHandler), nil)

	if err := srv.Run(":3001"); err != nil {
		log.Panicln(err.Error())
	}
}

[lesismal]

@Nazz #19 就是因为这些各种原因，很多地方我手撸 buffer ，好累:joy: 。。。

[Nazz]

@lesismal 抠细节心累

[Nazz]

@lesismal bytes.Buffer 应该比手撸的更快

[lesismal]

> bytes.Buffer 应该比手撸的更快

并不是。首先它一样的是挂载在 conn 上需要持续占用大段 buffer ，其次它源码你看下就知道了，还是那些个 buffer 的操作、只是封装些常用方法方便用户罢了。buffer 操作这种事情并没有什么性能提升的秘诀，就是谁的逻辑代码消耗更少、拷贝更少之类的

[Nazz]

@lesismal 我记得即使把 bytes.Buffer 源码复制出来，IO 速度也会变慢

[lesismal]

@Nazz 得实测看看，正常情况狂不应该有这个问题。差异不大可能是测试稳定性的问题可以忽略。如果差异很大，代码发我瞧瞧

[Nazz]

@lesismal 明天再看看吧

[Nazz]

@lesismal 现在改成用户态拼接 buffer 的方式了, bytes.Buffer 没有 Discard 方法, 压缩那块写得有点丑

[lysS]

@lesismal 浏览器的 ws ，默认都是先发个 http 头，然后服务器 Upgrade 吗？

[Nazz]

@lysS request header 和 http/1.1 是一模一样的

[Nazz]

@Nazz 忽然发现 next 就相当于 Discard :)

[lesismal]

@lysS 跟是不是浏览器应该没关系，而是 ws 协议就是这么规定的，go 的 client 也是要发这个握手的 request 的。

[lesismal]

> 但毕竟不是 c free ，不能立即释放

#4 更正，c free 也不一定是立即归还的、而且多数时候不是立即归还，要看分配器实际情况了

> 单就 upgrade 这个 request 而言，可能上下文的代价比新 go 更大一点

#15 更正，单就 upgrade 这个 request 而言，可能相比于上下文的代价、新 go 代价更大一点

[lesismal]

> 现在改成用户态拼接 buffer 的方式了, bytes.Buffer 没有 Discard 方法, 压缩那块写得有点丑
> 忽然发现 next 就相当于 Discard :)

@Nazz 主要是你 write frame 的场景，就一 head+body 拼接，太简单了，pool+append 足矣

[Nazz]

@lesismal copy 比 append 更快些

[Nazz]

@lesismal 不开新 goroutine 好点, 反正 http 包里面很多东西 gc 不了.

[lesismal]

> copy 比 append 更快些

恩。
前提是得比较明确 size cap 这些，很多地方是 buffer size 可能不够，即使 copy 也是得先 append 扩容。
预先知道 size 并且分配了足够 size 的 buffer ，我也是 copy:
https://github.com/lesismal/nbio/blob/master/nbhttp/websocket/conn.go#L263

[lesismal]

> 不开新 goroutine 好点, 反正 http 包里面很多东西 gc 不了.

是。标准库让人又爱又恨的