go 分隔符处理粘包拆包问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

The Go Programming Language

› http://golang.org/

› Go Playground

Go Projects

› Revel Web Framework

这是一个创建于 380 天前的主题，其中的信息可能已经有所发展或是发生改变。

定义一个 buffer 来临时存放消息
从 conn 里面读取固定字节大小内容，判断当前内容里面有没有分隔符
如果没有找到分隔符，把当前内容追加到 buffer 里面，然后重复第 2 步
如果找到分隔符，把当前内容里面分隔符之前的内容追加到 buffer 后输出
然后重置 buffer ，把分隔符之后的内容追加到 buffer ，重复第 2 步

把分隔符之后的内容追加到 buffer 这个环节我不知道处理


package main

import (
	"bufio"
	"io"
	"log"
	"net"
)

func main() {
	listener, err := net.Listen("tcp", "127.0.0.1:8866")
	if err != nil {
		log.Fatal(err)
	}
	defer listener.Close()

	for {
		con, err := listener.Accept()
		if err != nil {
			log.Println(err)
			continue
		}
		defer con.Close()
		reader := bufio.NewReader(con)
		for {
			data, err := reader.ReadSlice('\n')
			if err != nil {
				if err != io.EOF {
					// 分隔符之后
				} else {
					//读取结束
					break
				}
			}
			log.Println("received msg", len(data), "bytes:", string(data))
		}
	}
}

package main

import (
	"log"
	"net"
	"time"
)

func main() {
	conn, err := net.Dial("tcp", "127.0.0.1:8866")
	if err != nil {
		log.Fatal(err)
	}
	defer conn.Close()
	_, err = conn.Write([]byte("bbbb\ndfdfdfdfd"))
	if err != nil {
		panic(err)
	}
	time.Sleep(time.Second)
}

err

分隔

log

buffer

21 条回复 • 2023-08-03 20:54:09 +08:00

ggvoking

2023-07-12 21:47:20 +08:00

消息包头带个长度不就行了。

awanganddong

2023-07-12 21:53:05 +08:00

@ggvoking 主要是想搞明白采用分格符这种方式是怎么处理的

oneisall8955

2023-07-12 21:57:29 +08:00 via Android

粘包警察马上到！

awanganddong

2023-07-12 21:59:39 +08:00

TCP 流数据边界问题这个没人吐槽了吧。

LeegoYih

2023-07-12 22:01:22 +08:00

粘包警察来咯！

可以参考一下这个项目处理边界的代码，他实现了好几种方式： https://github.com/go-netty/go-netty

awanganddong

2023-07-12 22:04:32 +08:00

bufio.NewReader 这个概念，理解错了。这个得出来的结果比较清晰一些
```
func main() {
conn, err := net.Dial("tcp", "127.0.0.1:8866")
if err != nil {
log.Fatal(err)
}
defer conn.Close()
_, err = conn.Write([]byte("bbbb\ndfdfdfdfd\nsdsdsd"))
_, err = conn.Write([]byte("aaa\n"))
if err != nil {
panic(err)
}
time.Sleep(time.Second)
}

```

Vegetable

2023-07-12 22:10:14 +08:00

你这个 TCP 结束之前，不会收到 EOF ，你就一直读不就行了吗，有什么需要处理的

awanganddong

2023-07-12 22:10:25 +08:00

这个文章可以参考

消息长度固定，提前确定包长度，读取的时候也安固定长度读取，适合定长消息包。
使用特殊的字符或字符串作为消息的边界，例如 HTTP 协议的 headers 以“\r\n”为字段的分隔符
自定义协议，将消息分为消息头和消息体，消息头中包含表示消息总长度

https://wangbjun.site/2019/coding/golang/golang-tcp-package.html

谢谢各位

Vegetable

2023-07-12 22:12:47 +08:00

最后 err==EOF 的时候，data 是有值的，你不能直接丢掉，其他没什么问题

awanganddong

2023-07-12 22:14:31 +08:00

@Vegetable 好的，谢谢了。