V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
aksel
V2EX  ›  Python

有没有办法在 Python 的协程中使用一个 socket 连接

  •  
  •   aksel · 2020-07-29 16:41:35 +08:00 · 2768 次点击
    这是一个创建于 1612 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我用的是 flask+gevent,定义了一个全局的 socket 对象,希望能够在所有的请求中只用这一条连接,但是 socket 不是协程安全的,会抛出 gevent.exceptions.ConcurrentObjectUseError: This socket is already used by another greenlet 异常,请问这个有解决办法吗

    10 条回复    2020-07-31 10:58:08 +08:00
    AX5N
        1
    AX5N  
       2020-07-29 16:56:47 +08:00
    select
    wwqgtxx
        2
    wwqgtxx  
       2020-07-29 22:07:52 +08:00
    monkey patch
    sujin190
        3
    sujin190  
       2020-07-29 22:59:27 +08:00
    gevent 解决的是不同携程并发读写不同 socket 底层线程不会阻塞,并发读写同一个 socket 本来就不行,加锁啊,这和多线程没啥区别,如果你读写不是顺序的,那么你应该把读写操作放到另外一个单独携程中去做了
    sujin190
        4
    sujin190  
       2020-07-29 23:04:02 +08:00
    gevent monkey patch 之后的 threading Lock 之后应该只是切换了到另一个等待运行的协程去了,并不会阻塞底层线程,所以正常加锁同步就行了,和多线程是一样的,不过认真说 gevent 直接 monkey patch 后无法人工干预协程调度,其实实际使用中并不是很方便,这也导致 asyncio 似乎发展更快更好用的感觉
    sujin190
        5
    sujin190  
       2020-07-29 23:09:11 +08:00
    关于为啥 gevent 不做成线程安全的,就现实来说大部分稍微复杂点的系统,io 读写几乎都不是顺序的,否则性能太低,直接底层处理排队等待的问题,实用性太低了,很多时候也并不方便,而且并发编程是基础,这都处理不好几乎难以做出稍微复杂的系统来吧
    black11black
        6
    black11black  
       2020-07-30 01:46:39 +08:00
    你用 monkeypatch 的问题来问协程不太对吧,你总得尊重一下作者,作者给包起名叫猴子补丁
    ruanimal
        7
    ruanimal  
       2020-07-30 09:59:45 +08:00
    用 threadlocal 来存 socket 对象吧,每个线程开一个 socket 就好。

    或者搞一个线程专门处理 socket
    aksel
        8
    aksel  
    OP
       2020-07-30 11:54:16 +08:00
    @sujin190 用单个 socket 就是为了减少连接数,目前的想法就是做成连接池,或者把 socket 读写拆出来不用协程,都是把并发操作包装成串行的,如果确实不能并发读写同一个 socket 的话,应该就只能这样了.我想知道的是对于这种情况,业界主流做法是怎么样处理的
    sujin190
        9
    sujin190  
       2020-07-30 16:17:55 +08:00
    @aksel #8 这个显然不是协程的问题,是你通信协议设计的问题,通信协议要支持异步无顺序读写才行,并发的问题是你写完了要接着等待返回,就单次读或者写来说,就算加锁同步一下损失也忽略不计
    BingoXuan
        10
    BingoXuan  
       2020-07-31 10:58:08 +08:00
    不需要,你需要的是一个类似代理的东西。

    用 python 自带的 selector 开一个事件循环,再开一个 unix socket 的服务器,然后把服务器的所有连接转发到你说的全局 socket 就好了。无论你多少个线程开多少请求,最后 selector 能让你所有请求一个一个单线程处理,性能还贼快。跑满千兆网络不是梦。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   933 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:16 · PVG 05:16 · LAX 13:16 · JFK 16:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.