如何将 Celery 服务作为一个子进程运行在一个主(守护)进程之下?

2015-06-08 23:20:03 +08:00
 Feiox

现在有这样一个需求:
已有一个主进程,以 daemon 形式运行,现在需要启动一个 Celery 服务,运行在一个独立子进程中(即它与主进程之间并无实际联系,该干嘛干嘛,只是需要随主进程启动而启动,关闭时关闭)。
以前都是以命令行或 Supervisor 运行,但现在应该怎么搞?

2870 次点击
所在节点    Python
8 条回复
fatpa
2015-06-08 23:46:07 +08:00
supervisor 难道搞不定这需求么?还是说必须跳开 supervisor?
neoblackcap
2015-06-09 00:06:25 +08:00
同楼上我也一下子想到supervisor。这不是他们该干的事吗?还有重新发明轮子,你再不济就上systmed或者自己撸一个呗,记得好像是APUE里面有一个超级经典的守护进程例子,可以自己去看看然后就开撸
Feiox
2015-06-09 00:29:10 +08:00
@neoblackcap @fatpa 可能我的表达有问题,我是需要将 celery 作为一个子进程挂在 daemon 上。而不是作为一个系统服务跑。
neoblackcap
2015-06-09 11:00:20 +08:00
@Feiox 那么就是说daemon是你写的罗?那去看APUE就对了,具体的我也不记得了,要不你在网上搜一下就有了,超级简单明了的,记得就是两步而已,好像他们的代码是C的,但是你去搜搜就有了。一般就是多进程什么的开起来就好了

而且celery用supervisor也不是系统服务啊,supervisor就是一个daemon而已,celery是它下面的一个子进程
fatpa
2015-06-09 21:23:50 +08:00
有点绕,大概懂了
Feiox
2015-06-10 19:31:16 +08:00
@neoblackcap @fatpa 额,并不是这个意思。举个例子说吧,我在使用 python 做单元测试的时候,Flask 作为项目主体,并使用 celery 作为异步队列。现在我需要测试他们,需要在执行 py.test unit 的时候不仅构建了 Flask app 上下文环境,也启动了 celery 用于执行任务。现在 CI 的时候,怎么样在测试主进程外启动一个 Celery,使其能实际执行任务,在测试结束的时候自动停止呢?
neoblackcap
2015-06-10 19:56:33 +08:00
@Feiox 何不写桩函数?至于异步任务测试另外写。
Feiox
2015-06-10 20:57:20 +08:00
@neoblackcap 因为是一个整体。。。在主线函数运行过程中必须要执行特定的异步函数,这样才能在集成测试中(也有些在单元测试中)完成对整个业务流程的测试。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/197065

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX