关于在 django 里 异步请求的一个小问题

2018-12-27 20:59:17 +08:00
 snoopy1024

写爬虫异步处理,会大大加快请求速度。我尝试在 django 里写了这么一个爬虫模块,用的 gevent,给 view 提供数据;逼不得已,要异步爬数据,前端请求 20 条数据,后端我要向对方服务器请求 3 种不同的 URL,共 60 条请求。不异步的话,前端会等上 10s... 前端:微信小程序,后端:我的 Django 服务器,数据提供方:对方 web 服务器。谷歌了下,貌似不倡导在 django 直接使用异步请求。实在没办法了,求大佬们指条明路。

1059 次点击
所在节点    问与答
3 条回复
linnchord
2018-12-27 23:10:15 +08:00
celery
snoopy1024
2018-12-28 08:36:00 +08:00
@linnchord 我可能没说清楚 后端的数据要及时返回给前端,后端大部分模块就是个爬虫爬数据。用类似 gevent 可以加快爬取速度。但是 在 django 里使用 异步操作就会报错… celery 我了解了下,适合做那些不需要及时返回给前端的事,例如发个邮件。
DeSireFire
2019-12-04 13:06:06 +08:00
楼主,我也有这样的需求,现在时隔 300 多天,可有解决方案

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/521676

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX