用 celery+rabbitmq 写爬虫。
用的默认的队列设置,也就是没有配置队列,按照文档的说法,应该是存在 celery 的队列里面。但是实际的结果并不是这样。
好像每个任务存在一个队列里面,队列数量在不停地增加。 这里是队列的信息。
所以,这样的问题是,随着队列的变大,程序变得越来越慢, celery 在心跳检测连接队列的时间越来越长。 segmentfault 地址,这里不知道怎么贴图片 https://segmentfault.com/q/1010000007606923
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.