自己国庆没啥事,写了一个爬虫,利用接口抓取数据,可是响应很慢,有啥解决办法?

2020-10-07 20:20:26 +08:00
 jhdrfes

利用 github 客户端抓取数据,可是响应很慢,有啥解决办法呢?用啥代理或者服务器吗?

1370 次点击
所在节点    问与答
4 条回复
finely
2020-10-07 20:30:12 +08:00
牢里个个都是人才,讲话又好听,楼主不妨跟他们取取经
locoz
2020-10-07 21:01:39 +08:00
响应慢先尝试挂梯子或者放境外服务器看看能不能提速,还不能的话就是服务器本身的响应慢,在这种情况下你是没有办法提升单个请求的效率的。
cccp2020
2020-10-07 21:21:12 +08:00
大部分响应慢是自身网速和对方服务器导致的,小部分是你爬虫被盯上了或者并发请求严重了,弄的对方服务器响应都卡了

小心坐牢
oneoyn
2020-10-08 10:38:23 +08:00
买台阿里 腾讯的轻量服务器 就可以了 在服务器上爬
https://www.aliyun.com/activity?userCode=gr9dyqjt

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/712955

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX