V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ghjacky
V2EX  ›  Kafka

Golang Kafka Writer 消息被截断

  •  
  •   ghjacky · 2021-12-09 09:56:21 +08:00 · 913 次点击
    这是一个创建于 840 天前的主题,其中的信息可能已经有所发展或是发生改变。
    * 数据流向:数据上报 API ===> goroutine 写入 buffer (channel) ===> goroutine 后台循环从 buffer 中读取 batchsize 个消息 ===> kafka writer 将获取到的消息写入 kafka

    * 目前看到,从 buffer 中读取到的消息都是完整的,但是从 kafka 消费出来的消息很多都被截断了,差不多 30%多

    * 每个 topic n 个 partition ,1 个 group ,n 个消费者

    * 每条消息的长度从 2k 到 10k 不等,也有更长的,但 90%多在 2k 到 10k 之间

    * 被截断的消息:截断为 n 段( n 不确定),比较大的一部分基本都处于 4000 到 8000 个字节之间,小的部分可能就几个字节

    **详细信息如上**
    **各位,帮忙看下是什么原因导致的,先谢过🙏**
    liprais
        1
    liprais  
       2021-12-09 10:15:03 +08:00 via iPhone
    你看看 writer 什么时候发消息就知道了
    ghjacky
        2
    ghjacky  
    OP
       2021-12-20 11:31:25 +08:00
    @liprais 刚看到,不好意思,不知道为啥我这边居然没有未读提醒。。
    目前是去掉 buffer ,直接收到一条写一条,没有被截断的情况了。
    你说的看 writer 什么时候发消息是什么意思,可以讲的详细点吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1126 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 22:55 · PVG 06:55 · LAX 15:55 · JFK 18:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.