高速稳定的代理

[tongle]

爬取网站信息时频率太高导致经常被封 IP 地址，找了一些代理但是效果都不太理想，大家有什么优质的代理推荐吗？

[alect]

开全局代理之后再开 goagent 去爬？

[boter]

@alect 这是要伪装成 g 蜘蛛吗

[xfspace]

马宝有卖

[pango]

tor ，你值得拥有。
我在 do 的 vps 上开 100 个 tor 实例，每小时重启 1/3 实例，于是就有了取之不尽用之不竭的 ip

[tongle]

@xfspace 某宝的稳定靠谱吗

[xfspace]

@tongle 马宝的也不稳定...你只能手动扫了

[kmahyyg]

@pango 怎么弄得？求教程？

[boter]

@pango tor 的血就是被你吸干的，[doge]

[gzlock]

@pango 求科普 tor

[cdwyd]

@pango 同求教程

[liufuyi]

@pango 求求求

[fchypzero]

ADSL VPS ，断开就换 IP ，一个地区少说一万多 IP ，足够了吧

[zscblowgod]

hrvpn 这货感觉不错~

[yuzo555]

@fchypzero 求推荐

[blueeon]

好像我知道有个团队正在做一个这样子的产品，针对的场景和你的需求还挺像，简单来说，是一个单入口，多出口的正向代理服务，出口可以自动更换 IP ，去访问你的目标 URL ；但是是收费的，好像是准备按次或者流量来收费，不知道现在开发到什么阶段了。。。

[pango]

@kmahyyg 开 n 个 tor ，比如： tor --RunAsDaemon 1 --CookieAuthentication 0 --HashedControlPassword "" --ControlPort $your_random_port --PidFile tor$your_random_id.pid --SocksPort $your_random_socks_port --DataDirectory data/tor$your_random_id ，然后你就有了 n 个不同端口的本地代理啊，然后抓取程序随机选择一个就行了。

[pango]

@boter 好吧，我去开少点，其实我也只是抓取的时候开一下啊，一般每次就一两个小时。[doge] 是什么意思？

[pango]

刚刚去看了下 tor 的原理，“ Tor 的转发节点都是网络上的志愿者们使用自己的服务器和网络带宽建立起来的，如果通过 Tor 网络来进行巨额数据的传输，实在是非常的不厚道”。
我决定放弃使用 tor 抓取大量数据了，多谢 boter 提醒，也请大家仅用这个方法来测试用，不要用作生产环境。
在这里推荐另外一个方法：
https://github.com/wenson/proxypool
这个可以抓取各大 proxy 站点公布的 proxy ，经过测试有效性后存入 redis ，可以同时提供多达几百个有效 proxy ，可以自己写个 cronjob 每隔一段时间更新 proxy 库，用作抓取应该够了。

[Andy1999]

伪造蜘蛛 UA 可行吗

[kmahyyg]

我只是想开一个程序临时用用，主要用 ss 。有详细的部署教程吗？ for centos7/debian7 均可