Golang Kafka Writer 消息被截断

[ghjacky]

* 数据流向：数据上报 API ===> goroutine 写入 buffer (channel) ===> goroutine 后台循环从 buffer 中读取 batchsize 个消息 ===> kafka writer 将获取到的消息写入 kafka

* 目前看到，从 buffer 中读取到的消息都是完整的，但是从 kafka 消费出来的消息很多都被截断了，差不多 30%多

* 每个 topic n 个 partition ，1 个 group ，n 个消费者

* 每条消息的长度从 2k 到 10k 不等，也有更长的，但 90%多在 2k 到 10k 之间

* 被截断的消息：截断为 n 段（ n 不确定），比较大的一部分基本都处于 4000 到 8000 个字节之间，小的部分可能就几个字节

**详细信息如上**
**各位，帮忙看下是什么原因导致的，先谢过🙏**

[liprais]

你看看 writer 什么时候发消息就知道了

[ghjacky]

@liprais 刚看到，不好意思，不知道为啥我这边居然没有未读提醒。。
目前是去掉 buffer ，直接收到一条写一条，没有被截断的情况了。
你说的看 writer 什么时候发消息是什么意思，可以讲的详细点吗