V2EX › Tongwin 的所有回复 › 第 4 页 / 共 27 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 27

❮

❯

2023-12-19 16:49:24 +08:00

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@ZZ74 谢谢大佬提供思路。我的想法是，只需要计算好 topic 对应的分区，多实例消费 topic 的时候，只有获取到分区的实例才能消费到数据。计算一下分区数*限流量应该就可以得到想要的结果了吧？

2023-12-19 16:38:50 +08:00

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@wqhui 没错，就是大佬你说的意思。目前我考虑到通过使用限流器来限定特定的 consumer 1 秒只 poll 一次

2023-12-19 16:35:30 +08:00

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@codedreamstar 不好意思之前没讲清楚，创建内存的线程池主要是为了异步处理消费者数量，consumer.poll 是不受内存线程池影响的。
@diagnostics 感谢提供思路，我之前也有考虑过用 sleep 来控制 poll 的次数，但考虑到实例多、消费 Topic 数量多等复杂情况，没有深入了解就用 sleep 感觉不太稳妥。
@lsk569937453 不好意思没有表达清楚需求。由于存量 topic 推送过来的数据量并不大，因此目前并没有做任何限速处理，现有应用就是尽可能地去消费很多数据（依赖线程池异步处理 record)。然后新 topic 由于数据量远远大于存量 topic 的数据量，如果不作消费限制的话，对于后续的业务处理是有着极大的压力和风险的。

2023-11-23 21:34:28 +08:00

回复了 zapll 创建的主题 › 推广 › 不过了, ChatGPT Plus 免费送

感谢

2023-11-23 21:34:07 +08:00

回复了 zapll 创建的主题 › 推广 › 不过了, ChatGPT Plus 免费送

gwjdYQC7EsEoimvK35Y4ZD

2023-11-14 21:15:40 +08:00

回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万

我也支持一下

2023-11-14 21:13:15 +08:00

回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万

我也来支持一下