推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp
levelworm · 2020-09-24 10:46:30 +08:00 · 1723 次点击这是一个创建于 1527 天前的主题，其中的信息可能已经有所发展或是发生改变。
我想要读 Kafka topic 最新一条数据的时间戳，然后用这个时间戳在 vertica 里头做为 partition 的依据。不过现在的问题是，使用seek_to_end()之后，就陷入到死循环了，一条数据也没放出来，我觉得应该能放出最后一条消息的啊？请问我哪里弄错了？
这是我的代码：
topic: str = 'mytopic'
broker: str = 'myserver'
consumer = KafkaConsumer(
bootstrap_servers=[broker],
enable_auto_commit=True
)
tp = TopicPartition(topic, 0)
consumer.assign([tp])
consumer.poll()
consumer.seek_to_end()
for message in consumer:
print(message.timestamp)
print(message)
consumer.close()
 |
1
levelworm OP 我又试了下，可以看到 offset，诡异啊。。。照理说能看到 offset 不就应该能够看到消息吗？还是我理解错了。
|
|
2
levelworm OP 我搞定了我，原来 seek_to_end()之后他给我的是最后一个 offset+1，那我的 Kafka 此时并没有接受新的消息，那肯定是不会显示任何东西了，我只需要把 offset-1 然后再 seek 即可。
|
Select Language