python3 有没有什么库 是发布任务--->管道<----执行者 这样的

[jakeyfly]

Celery 我有去看了下 好像跟我想的不一样 是个爬虫应用 我的想法简单描述是这样： 比如考试吧，老师是分发考卷的(往队列里 比如 redis 里 塞考卷)， 班级就像一个队列，学生们都去班上拿考卷做题目（处理从队列中取数据处理）----做完了题目要交卷（存入数据库或用 orm 操作）

以上描述有点乱，因为我自己本来想实现的，主要因为主流的 scrapy 不适合这个项目，自己去写了后发现，我这样的菜 B，根本完在不了。就想问问有没有什么现成的库包，可以解决这个流程问题。

中间在处理上上的细节，先不考虑(并发多线程之类感觉不是主要问题，增量可能是个问题。)

其实我说的好像就是生产者，消费者模型，但是我总是搞不清楚这个流程

[bazingaterry]

消息隊列？

[congeec]

FIFO， 来，楼下随手写一个

[1iuh]

celery 就是做这个的呀。。

[jakeyfly]

@bazingaterry 是吧 最好是基于 redis 的 能保存状态的

[jakeyfly]

@1iuh celery 是任务啊 我这个需求应该是发数据给任务让任务跑起来

[1iuh]

@jakeyfly #5 你把数据传过去就是了

[laxenade]

自带的 Multiprocessing 感觉就符合 lz 的要求

[jakeyfly]

@laxenade 这不是进程 吗

[wellsc]

rq

[binux]

Celery 和你想的是一样的，至少可以实现你想的。

[ericls]

celery

[jakeyfly]

@binux 我看了教程 好像 他定义的是任务 并不是队列啊

[jakeyfly]

@wellsc RQ 是啥

[jakeyfly]

@binux 我觉得 celery 更像 futuer

[Trim21]

@jakeyfly https://github.com/rq/rq

[ericls]

@jakeyfly 你想的话 用 channels 也行 我就用 channels 做过任务队列……

[jakeyfly]

@Trim21 这好像不错，不过这执行的有点快啊 爬虫太快了会被 BAN 的 有没有办法控制间隔或者速度啊

[jakeyfly]

@ericls 好高端 还没接触过

[binux]

@jakeyfly 你只使用一种任务带上你要的数据，那就是队列了

[laxenade]

@jakeyfly #8 你想分布的话用 multiprocessing 就不行了，但如果只是一台机子的话，multiprocessing 完全够了。