Python 消费 ka-f-a-k 时无限挂起,如何定位原因

2021-06-18 21:23:43 +08:00
 css3

直接通过ka,fka 命令行是可以消费的,但通过 python 消费时,一直消费不到,进程也不超时,更换消费组,消费lastet最新 msg 也无响应, consume.poll(1000, 1) 第一个参数的 timeout 仿佛无效,设置了也是一直等待消费

import time
from kafka import KafkaConsumer

topic1 = 'additional_order'
host = '192.168.14.55:9092'


consume = KafkaConsumer(topic, group_id="group1", 
                              bootstrap_servers=host, auto_offset_reset='latest',
                              security_protocol='SASL_PLAINTEXT',
                              sasl_mechanism='PLAIN',
                              sasl_plain_username='admin',
                              sasl_plain_password='$%<a'
                              api_version=(0, 10)
                              )


while True:
    count += 1
    if time.time() - start_time &gt; 1 * 60:
        print('超时,退出')
        break
    msg = consume.poll(1000, 1)  # 看上去,进程是一直等候在这里
    print(count)
1087 次点击
所在节点    Kafka
5 条回复
freshgoose
2021-06-18 21:33:08 +08:00
这也是敏感词吗……
css3
2021-06-18 21:34:32 +08:00
@freshgoose 不是,自动分类到 ka 板块了,求助没人看😂
youngce
2021-06-18 21:37:11 +08:00
api_version=(0,1,0)?
shicheng1993
2021-06-18 21:40:43 +08:00
用 RocketMQ 好像遇到过类似的问题,因为个人水平问题,用间接的方式解决了。
子进程进行消费并记录最后消费时间,主进程死循环,查看每个子进程消费时间,超时则重启子进程。不求甚解可以试试,O(∩_∩)O~
css3
2021-06-18 22:51:52 +08:00
@youngce 这个影响不大吧?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/784353

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX