Python 怎么优雅的做个 queue worker

2017-09-03 20:54:38 +08:00
 cevincheung

利用 python 做了个队列消费者(器) 伪代码:

while True:
    job = beanstalk.watch('test')
    body = job.body
    if (body.type == 'sms'):
        sendsms(body.params,job)
    elif (body.type == 'email'):
        sendemail(body.params,job)

怎么可以更优雅的让他动态 fork 出另外一个线程去执行,而让这个 worker 的主入口继续获取别的队列内容。

2340 次点击
所在节点    Python
8 条回复
Lax
2017-09-03 21:27:12 +08:00
while job = beanstalk.watch('test'):
fork do
blablabla...

any way, fork 出来的是进程
NoAnyLove
2017-09-03 23:23:57 +08:00
concurrent.future

话说,你到底想要在线程中执行还是进程中执行啊? fork 不是用来创建新进程的吗?
cevincheung
2017-09-04 03:17:37 +08:00
@NoAnyLove #2 描述有点问题,总之目标就是建立一个队列内容获取的东西,一旦获取就赶紧丢给真正执行这个队列的负责 [人] ,然后继续获取其他队列中数据。
wuhang89
2017-09-04 10:20:54 +08:00
都用队列了,多开几个进程呗,上层拿一个 supervisor 做个守护进程好了,搞那么麻烦干嘛。
keakon
2017-09-04 13:15:51 +08:00
理论上性能最好的方式是设置 SO_REUSEPORT,每个进程都去监听 beanstalk 的端口即可。不过需要手动改下客户端源码。
keakon
2017-09-04 13:17:53 +08:00
想错了,又不是服务端,SO_REUSEPORT 都不用设置,直接多进程消费即可。
laike9m
2017-09-04 14:08:54 +08:00
yylucifer
2017-09-06 19:00:08 +08:00
我擦,和我以前写过的消息队列居然是一样的,我也用的 beanstalk。。

这个可以写得很复杂,简单点就做个反射调用就可以了。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/387889

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX