这是一个创建于 3366 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司需要从第三方网站上抓取数据， 但是看网站说，如果抓取频率过高的话，会被屏蔽。
一般大家都怎么处理这样的问题的？
用 http 代理？
还是有其他更好的办法。
一般大家都怎么处理这样的问题的？
用 http 代理？
还是有其他更好的办法。
 |
1
xfspace 2015-10-06 18:25:05 +08:00
目前好像就代理和降低频率两个方法，楼下的大牛可能知道更多
|
 |
2
kn007 2015-10-06 18:26:39 +08:00
用代理。。
|
 |
3
zhizhongzhiwai OP @kn007 可是去哪里找那么多可用的代理 ip 呀
|
 |
4
maemual 2015-10-06 19:54:57 +08:00
@zhizhongzhiwai 要么自己抓，要么上淘宝上买。。。
|
 |
5
kendetrics 2015-10-06 19:58:41 +08:00  1
|
|
6
kn007 2015-10-06 20:01:57 +08:00
@zhizhongzhiwai 写个爬虫抓。具体的自己找。
|
|
7
zhizhongzhiwai OP @kendetrics 像他们这种代理网站的速度如何？ 这些代理稳定吗？ 毕竟我们是公司的产品， 需要非常稳定的代理。
|
|
8
kendetrics 2015-10-06 20:48:50 +08:00
@zhizhongzhiwai 要稳定你还是去买多 IP 的 VPS 吧，或者拨号的 VPS 。。
|
 |
9
crab 2015-10-06 21:08:37 +08:00
淘宝买个动态 ADSL 拨号的，被屏蔽就拨号下就有新 IP 了。用代理 IP 没什么保证的，就是可以用速度也一般。
|
 |
10
tcsky 2015-10-06 21:32:52 +08:00 1
国外 vps 上跑 tor, tor 开 10-20 个端口, tor 本身 10 分钟会换次 ip,
被爬站点有 cdn 的话, 将请求分发不同机器上去. |
Select Language