V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
teli
V2EX  ›  问与答

大家怎么解决一个 kafka 一个分区只能被一个消费者消费的问题?

  •  
  •   teli · Mar 4, 2023 via Android · 1809 views
    This topic created in 1152 days ago, the information mentioned may be changed or developed.

    因为 kafka 的设计,一个分区只能被一个消费者消费。 日常,可能因为高峰期,为了增加处理能力,增加服务实例,但 kafka 的分区并不容易增加减少。 如果增加了服务实例,新增的实例就没得消费。

    5 replies    2023-03-06 09:42:33 +08:00
    Badlink
        1
    Badlink  
       Mar 4, 2023
    消费后多线程处理,或者如果消费后处理过程可以拆分的话,也可以用多个消费组进行消费,再分别处理不同任务吧
    rrfeng
        2
    rrfeng  
       Mar 4, 2023 via Android
    不能,其实加分区还是很容易的,减分区不容易。
    securityCoding
        3
    securityCoding  
       Mar 4, 2023 via Android
    怎么不能调整呢
    hyperdak288
        4
    hyperdak288  
       Mar 4, 2023
    基于 kafka 架构的问题,调整分区是比较痛苦的事。

    pulsar 可以比较好解决好问题,分区的调整成本非常低。
    julyclyde
        5
    julyclyde  
       Mar 6, 2023
    你这个问法错误
    应该问“怎么解决 kafka 消费者不能增加的问题”
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3588 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 00:40 · PVG 08:40 · LAX 17:40 · JFK 20:40
    ♥ Do have faith in what you're doing.