写爬虫异步处理,会大大加快请求速度。我尝试在 django 里写了这么一个爬虫模块,用的 gevent,给 view 提供数据;逼不得已,要异步爬数据,前端请求 20 条数据,后端我要向对方服务器请求 3 种不同的 URL,共 60 条请求。不异步的话,前端会等上 10s... 前端:微信小程序,后端:我的 Django 服务器,数据提供方:对方 web 服务器。谷歌了下,貌似不倡导在 django 直接使用异步请求。实在没办法了,求大佬们指条明路。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.