关于防采集，自适应的网站，让电脑端无法访问，只能手机端浏览可以防止采集吗

[ybyqiji]

关于防采集，自适应的网站，让电脑端无法访问，只能手机端浏览可以防止采集吗

不求百分百，能让采集的麻烦点也好

[ybyqiji]

刚开到八爪鱼 有 模拟手机的功能 醉了

[xomix]

@ybyqiji #1 正打算跟你说呢，客户端系统通过浏览器后和服务器端是有隔离的，你是无法确认的，无非也就 useragent 这种东西确认一下但是这个其实没有什么卵用。

退一万步就算你封装专门的 app 才能浏览还有 pc 的手机模拟器这种东西…………

[GDC]

哈哈哈哈哈哈只要是网站，采集是不管你 css 怎么写的，直接读取 html 解析内容，如果是 ajax 加载内容列表的就更简单了。另外一般我更喜欢从手机端去采集…

[libook]

这个策略一点都不麻烦，做爬虫的精髓是只要用户能看到，机器就能采集到，而且现在有 Puppeteer 这样的工具，你完全区分不出来是人在访问还是机器在爬。
但控制访问频率可能有效果，比如单个 IP10 秒钟内只能请求 10 次。

[ybyqiji]

@xomix https://leonax.net/p/1969/wp-plugin-enigma/ 这是在 v2 看到的为 wordpress 写的插件，使用了一下还可以，不知道实际效果怎么样

[silencefent]

爬虫是靠猜你 URL 地址来爬内容的，你设置一个类去鉴别那些多次从失效 url 跳转到 404 页的 ip，拉进 banlist