Python 多进程+协程的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2315 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在研究子域名爆破试用了 dnspython 这个第三方库
但是踩到了很多坑，程序算是能跑起来了，但是感觉速度不是十分理想

因为要做扫描的列表于是使用了 multiprocessing.Manager 来管理进程之间的共享数据

但是 gevent 如果打了猴子补丁的话会有冲突，于是代码改成 monkey.patch_all(thread=False, socket=False, select=False) 但是跑起来速度很慢那种慢看起来是 dns 查询的慢，想请问有没有什么优化方法啊

false

协程

gevent

tch

11 条回复 • 2018-08-23 19:49:37 +08:00

lfzyx

2018-08-22 16:35:55 +08:00

用 asyncio 啊

Trim21

2018-08-22 16:42:20 +08:00 via Android

asyncio aiodns

bfpiaoran

2018-08-22 17:48:56 +08:00

@Trim21 我试一试

w9ay

2018-08-22 18:12:09 +08:00 via iPhone

你把 socket 设置为 false，就相当于是多进程了

bfpiaoran

2018-08-22 18:31:43 +08:00

@w9ay 但是 socket True 会有冲突 emm 再仔细研究研究

lolizeppelin

2018-08-22 22:22:26 +08:00 via Android

抄 openstack 的多进城 service 启动部分代码
好好看看怎么写多进程代码的

bfpiaoran

2018-08-22 22:23:46 +08:00 via Android

我去抄一抄

panyanyany

2018-08-22 22:27:11 +08:00

插句题外话，凡是涉及多进程 /多线程的，我都首先考虑 Golang ……

lieh222

2018-08-23 08:47:05 +08:00

multiprocessing.Manager 貌似是通过 multiprocessing.pipe 实现的，原理跟 rpc 一样，性能缺失低，不如用 mmap 吧

whoami9894

2018-08-23 11:08:18 +08:00

这种网络 I/O 为主的，多线程就够用了吧

#9
manager 是本地 server 提供的共享，它可以在子进程间共享；不是通过 pipe，pipe 只能在父子进程间共享

bfpiaoran

2018-08-23 19:49:37 +08:00

@whoami9894 刚试了下 asyncio 那速度是真的爽啊。。。。