大家都怎么防采集的？哪一种性能最高？

[tianxiacangshen]

有不少站都有防采集，一般是 IP 和 cookie，还有 session （会员）

1、从 IP 入手一般限制某个时间段内访问的最多次数，超过则出现验证码，弊端是每次访问都要检测该 ip 的访问次数和执行判断

2、从 cookie 入手，较为简单，但是显然防守能力很差

3、从会员入手，页面只有会员才能访问（或者超过多少页面就必须会员才能访问），一个会员一天只能访问多少次，弊端也很明显

有没有更佳的方法？

[metowolf]

对特征明显的、频度高的请求返回脏数据（删字改字添字）

[dsg001]

会员限制，超过阀值则每次访问都需要验证码

[gouchaoer]

验证码不是一个好的方案，反爬虫最重要的是不能让爬虫知道你已经知道它是爬虫了

[humxman]

先载入一部分然后监听事件，如果没有动作（滚屏、鼠标动作）的话不请求后续内容。

[karia]

刚写完爬虫的我用极其幽怨的眼神看着楼主。

[ivmm]

@karia 哈哈哈哈哈哈哈哈，笑出声

[elfsong]

讲道理 除了 Plan 3 其他两种代理池都可以搞定

[olOwOlo]

之前爬过的某站上面三种都有
反爬虫一般都是独立出来的，类似 fail2ban 这种扫描日志（或者做个流量分析系统_(:з)∠)_？
个人感觉从会员入手是效果最好的，频率过高直接封号_(:з)∠)_
不过爬虫是挡不住的，只要是浏览器能访问的爬虫都能想办法获取到，除非像一些网站一样只显示前 X 页的内容

[yidinghe]

传输内容加密，加密解密的代码混淆，解密出来的文字用 canvas 画出来。

[Reign]

反爬做的足够好把用户和搜索引擎都干跑了，你能想到的反爬我们这些写爬虫的早就想到了，“弊端是每次访问都要检测该 ip 的访问次数和执行判断”，根本不是这个弊端，你还太年轻

[ioriwong]

我觉得动态加载是个不错的方案，一般爬虫不会模拟鼠标滚轮动作或键盘 Pagedown 动作

[mokeyjay]

用小说站的反采集方案吧。小说入库时，随机挑选一些字生成图片，将图片链接插入原文，删掉被图片替换的字。显示时用户无感知但爬出来的内容全是乱的

[Akkuman]

直接提供接口😂

[yangqi]

要想 100%防是不可能的，只能防止一些比较初级的爬虫。现在的框架都是模拟浏览器访问，基本看不出来是爬虫

[t6attack]

自己设计了一套缺德的繁琐的机制。简单的说，判断出采集行为后随机穿插错误数据、重复数据。

[crayygy]

display:none

[bjlbeyond]

只能说是用一些手段去限制初级爬虫选手

[tinyproxy]

人家真要爬你，也就看谁更耗不起了。

[dong3580]

@yidinghe
没用,全是 canvas 的话 jquery 直接提出 txt 来得了.

[zpvip]

把最常用的几百个汉字每小时生成图片，相同汉字每小时的图片名称不一样，程序内部有对应 hash，图片过一小时就自动删除，PHP 处理这个过程非常快，不到一秒。

用 dns 检查是否为 Google 和百度爬虫，对爬虫不用图片替换。

如果高手用 OCR，并且把所有图片都保存下来，也够他忙的，不可能绝对防住，只能恶心他们。