国外 http 代理库

2017-09-06 17:49:00 +08:00
 15399905591
公司有个爬虫项目,需要使用指定国家的 http,找了好几个服务商都不太合适,主要都是国家太少,好不容易找到一家,研究了半天,结果对方说不支持 goole 的爬虫,我这边需要抓取 goole play。求大神介绍个服务商,跪谢!!
9871 次点击
所在节点    Python
34 条回复
Yeungsin
2017-09-07 08:19:31 +08:00
@nazor 借楼问下 ip 池初始的 IP 资源是网上公开的爬取的么?
15399905591
2017-09-07 10:03:20 +08:00
@Soar360 那你的 google play 是区别国家的吗? 不同国家的排行榜都是不同的,google play 会先根据 IP 去确认语言的~
15399905591
2017-09-07 10:04:53 +08:00
@nazor 这个量会比较少,我们这边抓取量每天至少是百万级的,这个 IP 数完全不够用,且需要大部分主流国家的 IP。
15399905591
2017-09-07 10:05:29 +08:00
@xiaozuo 大部分主流国家都是需要的,具体费用可以去申请。
15399905591
2017-09-07 10:06:35 +08:00
@xgfan 买账号肯定不行的,一个是抓取频率限制,且费用比买 IP 高多了。
15399905591
2017-09-07 10:08:23 +08:00
@cuebyte 不要在意这么多细节,哈哈
nazor
2017-09-07 10:08:54 +08:00
@Yeungsin 是的,公开的可用率比较低,10%左右吧。
15399905591
2017-09-07 10:17:39 +08:00
@nazor 朋友,有国外的 IP 么~~
Soar360
2017-09-07 11:15:02 +08:00
@15399905591 肯定是按照 IP 区分国家的。
Yeungsin
2017-09-07 12:51:09 +08:00
@nazor 再麻烦下,剩下的 ip 是通过脚本遍历 ip 验证是不是代理找出来的?还是有什么方法啊?机密的话就算啦。多谢!
nazor
2017-09-07 13:17:41 +08:00
@Yeungsin 这肯定要持续更新可用 IP 的,不过验证速度很快的,超时设置短一点即可。
sunwei0325
2017-09-07 23:40:25 +08:00
试过 crawlera 吗
15399905591
2017-09-12 15:47:03 +08:00
@sunwei0325 注册了没发激活邮件就没用了。。
thomasRZ
2020-04-03 21:40:02 +08:00
www.rola-ip.site 不错,全球 210+国家 IP,支持 http/socks 协议。全部高匿名 IP 。爬过 amazon 。。。溜

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/388699

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX