python 下有什么好用的多进程并发框架么

2016-10-18 10:38:13 +08:00
 soulmine
写了个爬虫 但只是单进程的 想开多进程 具体要求就是可以自动协商不重复 不要开 100 个进程 回头输出了 100 份完全一样的结果
4535 次点击
所在节点    Python
12 条回复
Livid
2016-10-18 10:43:15 +08:00
http://python-rq.org/
soulmine
2016-10-18 10:45:35 +08:00
@Livid 谢谢 我去看看 doc
ericls
2016-10-18 10:50:39 +08:00
asyncio
clino
2016-10-18 10:53:10 +08:00
也可以用协程吧,如果非 cpu 密集型的话
9hills
2016-10-18 10:54:28 +08:00
multiprocess 就行
soulmine
2016-10-18 10:56:20 +08:00
@9hills 这要在爬虫里面写啊 懒得去写 multiprocessing
soulmine
2016-10-18 10:56:57 +08:00
@clino 只要能满足条件 其实无所谓的 爬虫肯定是受限于网络和 Io 的问题
soulmine
2016-10-18 10:57:31 +08:00
@ericls 然而我用的 2.7....
Nostalgia
2016-10-18 11:04:56 +08:00
推荐 concurrent.futures ，支持多进程 /多线程，且封装的接口一致；抽象的程度比 threading, multiprocessing 更高些。
ericls
2016-10-18 11:09:53 +08:00
asyncio 有 back port 吧

另外楼上说的 promise 写起来也挺舒服的


要注意 process pool executor 必须要 picklable
shyling
2016-10-18 11:40:42 +08:00
concurrent.futures ， MultiThreadPool
reyno
2016-10-18 12:12:07 +08:00
直接上 gevent

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/313510

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX