如何控制多 IP 低频率的采集

[tianxiacangshen]

查看了一下对方的方式：

几百个 ip，ip 之间基本上很少有三段相同（难以实施屏蔽 IP 和 IP 段）；

一个 IP 一小时访问 15 次左右，躲过验证码，并且和正常用户没差别；

几百个 ip 一小时也就采集 5000-6000 次，目前不影响网站速度等性能；

但是，尼玛，看对方模拟发送的 url 配置的参数，总量在一百万以上，这就必须得管管了，不然流量费也要耗掉不少，目前分析对方是模拟 curl 模拟 post 提交的，各项参数齐全，我设置的检测$_SERVER['HTTP_REFERER']已经被他绕过。

还有啥办法？

[johnnie502]

补充一下，假数据也不能 100%喂，这样也容易被对方识别出来，半真半假就行了。

[15015613]

@sunwei0325 @aqqwiyth
NoScript、Cookie Monster、RequestPolicy Continued 的走起。

[gam2046]

尝试在页面中加入一个随机的长宽为 0 的 image，如果服务端发现客户端没有请求这个钓鱼 image，就基本可以断定对方没有使用浏览器访问，那么除了爬虫 应该也只有 Google Spider 了

[cyrh]

好拼啊，几百个 ip 每小时爬取 5000 数据，这个频率都被楼主发现了

[glogger]

并且和正常用户没差别；
就凭这一条，根本不用管。。

[ericgui]

你开放 API，收费。
说真的，对大家都合适。他也省劲，你也赚点钱。