celery+rabbitmq ,为什么不是在 celery 队列里面存

2016-11-26 10:55:15 +08:00
 ssllff123

用 celery+rabbitmq 写爬虫。

用的默认的队列设置,也就是没有配置队列,按照文档的说法,应该是存在 celery 的队列里面。但是实际的结果并不是这样。

好像每个任务存在一个队列里面,队列数量在不停地增加。 这里是队列的信息。

所以,这样的问题是,随着队列的变大,程序变得越来越慢, celery 在心跳检测连接队列的时间越来越长。 segmentfault 地址,这里不知道怎么贴图片 https://segmentfault.com/q/1010000007606923

1907 次点击
所在节点    问与答
3 条回复
julyclyde
2016-11-26 16:56:16 +08:00
按什么软件的默认?按什么文档的说法?

celery 本来就不是队列,就没有保存任何内容的功能
20150517
2016-11-26 19:45:20 +08:00
我用过 celery+redis,队列当然是存在 redis 之类的,celery 只是代码,又不能存储,你是这意思吗
ssllff123
2016-11-28 13:27:11 +08:00
我已经解决了,如果用 celery , backend 不要用 rabbitmq ,因为, celery 会自动给每个任务的结果建立一个队列,所以队列越来越多,越来越多。

celery 确实不是队列,可能我的问题没有描述清楚。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/323426

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX