V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
teli
V2EX  ›  问与答

大家怎么解决一个 kafka 一个分区只能被一个消费者消费的问题?

  •  
  •   teli · 2023-03-04 07:08:37 +08:00 via Android · 1254 次点击
    这是一个创建于 664 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为 kafka 的设计,一个分区只能被一个消费者消费。 日常,可能因为高峰期,为了增加处理能力,增加服务实例,但 kafka 的分区并不容易增加减少。 如果增加了服务实例,新增的实例就没得消费。

    5 条回复    2023-03-06 09:42:33 +08:00
    Badlink
        1
    Badlink  
       2023-03-04 07:39:23 +08:00
    消费后多线程处理,或者如果消费后处理过程可以拆分的话,也可以用多个消费组进行消费,再分别处理不同任务吧
    rrfeng
        2
    rrfeng  
       2023-03-04 07:43:03 +08:00 via Android
    不能,其实加分区还是很容易的,减分区不容易。
    securityCoding
        3
    securityCoding  
       2023-03-04 09:10:19 +08:00 via Android
    怎么不能调整呢
    hyperdak288
        4
    hyperdak288  
       2023-03-04 09:26:54 +08:00
    基于 kafka 架构的问题,调整分区是比较痛苦的事。

    pulsar 可以比较好解决好问题,分区的调整成本非常低。
    julyclyde
        5
    julyclyde  
       2023-03-06 09:42:33 +08:00
    你这个问法错误
    应该问“怎么解决 kafka 消费者不能增加的问题”
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3903 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 05:12 · PVG 13:12 · LAX 21:12 · JFK 00:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.