Kafka 出现了严重的数据倾斜应该怎么办？

[mekingname]

其它 partition 的 lag 都是正常的，但是有一个 lag 堵了很多。每个 lag 的数据必须在 5 分钟内消费完成，否则就会失效。现在这个堵包的 partition 里面的数据基本上已经全部过期了。我应该怎么清空这个 partition 的 lag，但不影响其它的 partition ？

因为如果我修改 group id 和和 offset commit 方式为 latest，那么其它 partition 的数据会丢一部分。

[amwyyyy]

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --topic <topic_name> --group <group_name>:<partition_id> --reset-offsets --to-latest --execute

单独改这个分区

[mekingname]

@amwyyyy 是不是需要先让这个 partition 没有消费者了，才能改这个 partition 的 offset ？但是如果我的消费者小于 partition 数量，那么自动会有一个消费者消费多个 partition，也就包括这个。

[PiersSoCool]

单独修改分区的 offset

[Samuelcc]

先全部停掉，然后 seek 一下也就是 1 楼提供的方式。

[mekingname]

Partition ID 应该是放到 topic 后面的，不是放在 group 后面：

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --topic <topic_name>:<partition_id> --group <group_name> --reset-offsets --to-latest --execute

并且需要保证这个 group 没有消费者，才能执行