请问代理池配合 python 爬虫是怎么实现的？什么 lib 能实现切换代理 IP？

2016-11-04 22:05:49 +08:00
 songdezu

看论坛里有人提到代理池，准备自己在 pyspider 上实现。有没有付费的代理池服务？

3858 次点击
所在节点    Python
8 条回复
howeroc
2016-11-04 23:03:43 +08:00
linux 装上 Tor 服务，然后使用 stem 自动切换即可
songdezu
2016-11-05 01:53:39 +08:00
@howeroc 谢谢 我原以为买几十个代理 ip 然后滚动更换
kohnv
2016-11-05 02:09:37 +08:00
@songdezu 买 ip 是最好用的方法，速度快，缺点是太贵了。 tor 虽然不要钱但是卡得很
binux
2016-11-05 02:37:42 +08:00
https://scrapinghub.com/crawlera/
https://proxybonanza.com/en
https://shader.io/
songdezu
2016-11-05 07:56:38 +08:00
@binux 感谢老大 希望您持续更新 code 和 docker
howeroc
2016-11-05 09:08:33 +08:00
我在 vultr 日本节点 tor 抓 play store 的数据，是有些慢
dearmymy
2016-11-05 15:16:19 +08:00
用 socks5 得比较多把，去买点吧，或者去快代理买。这种代理一大堆黑产用
cszhiyue
2016-11-06 03:02:59 +08:00
squid

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/318151

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX