V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
daoqiongsi1101
V2EX  ›  Kafka

kafka 消费者平滑退出一般是怎么做的?

  •  
  •   daoqiongsi1101 · 2022-10-17 17:21:18 +08:00 · 1213 次点击
    这是一个创建于 768 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如 poll 了 1000 条内容,已经消费了 500 个,此时要中断消费,那么剩余的 500 个岂不是丢了,如何保证消费完再退出?监听信号量吗?

    andrewpsy
        1
    andrewpsy  
       2022-10-18 11:18:26 +08:00
    你搜关键词 offset management ,不是一句两句能说清的。
    一个简单粗暴的方法就是关闭 auto commit ,然后在 loop 里计数,每处理 x 个 message 后 commit 一下。
    x 越小 commit 次数越多,overhead 大,重复处理或者 skip 掉的 message 就越少。
    x 越大 commit 次数越少,overhead 小,但是可能需要重复处理的 message 更多,各种 tradeoff 要考虑。
    daoqiongsi1101
        2
    daoqiongsi1101  
    OP
       2022-10-18 14:47:00 +08:00
    @andrewpsy 你说的是提交 offset 的方式,自动提交,手动提交,自动手动结合,还有位移提交。我说的是取出来的消息,没消费完如何优雅中止
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2758 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 10:06 · PVG 18:06 · LAX 02:06 · JFK 05:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.