多实例下提升单分区单消费组速度

[Fu4ng]

背景
外部团队给了一个 topic，这个 topic 只有一个分区，因为消息之间有强顺序关系。

问题
目前我们团队发现这个 topic 的消费速度有点慢，想优化下。

我自己想到了两种解决办法，感觉这两种方式都不太好。

解法 1
基于多单消费者的基础上，自己写个线程池，并发处理消息。
这个方法的缺点是只能有一个实例在消费消息(单消费者)，无法扩展。

解法 2
引入 kafka, 把消息做一层转发，可以根据自己的业务逻辑做分区。
缺点是引入了一个中间件。


欢迎大佬们讨论

[Fu4ng]

感觉第二个办法会好点？

[jimmyismagic]

你这个题目得讲清楚，topic 是个啥，听样子也是个 kafka
消费慢，得看是读取慢，还是处理慢

[Fu4ng]

@jimmyismagic
是的 也是一个 kafka

[Fu4ng]

@jimmyismagic 是处理慢

[jimmyismagic]

@Fu4ng 扩展了就能处理快吗？得看你需要扩展几个线程，如果你要扩展到几百个分区才能处理，就扩展，否则就是 1
同时需要看一下处理是 cpu 密集型还是 io 密集型

[Fu4ng]

@jimmyismagic 十分感谢。很专业的解答

[billlee]

我选 1, 既然写入时是一个分区，那么单线程读取也肯定没有问题。读出来再分发到处理线程就可以了。

单机就搞个线程池，集群就搞个 flink.

[echoZero]

消息间的强顺序关系，不是所有消息都有强顺序吧，应该可以按照指定的方式来划分不同的分区吧。