大家怎么解决一个 kafka 一个分区只能被一个消费者消费的问题？

2023-03-04 07:08:37 +08:00
 teli

因为 kafka 的设计，一个分区只能被一个消费者消费。 日常，可能因为高峰期，为了增加处理能力，增加服务实例，但 kafka 的分区并不容易增加减少。 如果增加了服务实例，新增的实例就没得消费。

1254 次点击
所在节点    问与答
5 条回复
Badlink
2023-03-04 07:39:23 +08:00
消费后多线程处理，或者如果消费后处理过程可以拆分的话，也可以用多个消费组进行消费，再分别处理不同任务吧
rrfeng
2023-03-04 07:43:03 +08:00
不能，其实加分区还是很容易的，减分区不容易。
securityCoding
2023-03-04 09:10:19 +08:00
怎么不能调整呢
hyperdak288
2023-03-04 09:26:54 +08:00
基于 kafka 架构的问题，调整分区是比较痛苦的事。

pulsar 可以比较好解决好问题，分区的调整成本非常低。
julyclyde
2023-03-06 09:42:33 +08:00
你这个问法错误
应该问“怎么解决 kafka 消费者不能增加的问题”

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/920994

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX