Python 异步和线程的一些疑问

[yoke123]

json_data = [
    'aaa': {
        'url': '....',
        'data': '...'
    },
    'bbb': {
        'url': '....',
        'data': '...'
    },
    'ccc': {
        'url': '....',
        'data': '...'
    },

    ...
 ]

利用 json_data 里面的 url 地址去请求 返回数据 然后替换 url 的值

同步请求太慢了 如何利用异步或者线程请求

[zhantss]

用协程
asyncio+aiohttp

[ltoddy]

用线程池, futures 模块里面的。

[enenaaa]

requests-futures
可以用现成的库

[prim]

gevent + requests
几行代码

[diggerdu]

multiprocessing.pool.imap_async

[whx20202]

你只是说太慢了，那么简单的话 起几个线程，异步然后 join 就行了
速度取决于最慢的那个

如果数目很多，就用上面说的就行了。 几个没必要用那些协程库

[NxnXgpuPSfsIT]

没懂替换 url 的值，如果是替换 data 的值的话是不是这个意思？

import trip

json_data = {'a': {'url': 'https://www.v2ex.com', 'data': '' },}

@trip.coroutine
def fetch(k):
r = yield trip.get(json_data[k]['url'])
json_data[k]['data'] = r.content

def main():
yield [fetch(k) for k in json_data]

trip.run(main)