求教~ 前后端分离网站，怎么应对爬虫

[pokeyou]

web 前端代码都是公开的，做了任何加解密，签名验证都会被看到，并且直接做到爬虫程序里~ 如何应对呢。 API 签名有多大意义呢。

[sss495088732]

专业的事交给专业的人 0.0(akamai)

[proxytoworld]

用 js 做运算，同时判断是否是真的浏览器发起的请求，headless 和普通的还是有一定区别的

[ThanksSirAlex]

这和分不分离有关系吗，就算是集成式框架，到了浏览器也是 js html css ，该能看的都能看到，同一的加密解密算法就应该放到服务端去做，防爬虫只能靠一些风控手段去做，比如请求频率什么的去做。

[molvqingtai]

敏感信息，字符用定位，或者用图片

[Features]

1.破解混淆和加密是有成本的，并且不低
2.参考下大厂基本都是通过各种验证码来防机器人的

[youngce]

先想 10 个反爬方案，然后不定时随机上线一种方案

[ml1344677]

主要思路不是防止所有爬虫，而是提高爬虫花费的成本。我之前爬取过某网站，请求接口后返回一个 list ，这个 list 可以按顺序组成一个多边形，当我调试了两三天，全部部署好了后，大概跑了一周多，完全没异常。后来检查数据的时候发现，几万条之后，返回的 list 全是做了乱序的。。。。

[GoCoV2]

逆向思维，爬爬别人的网站，就知道该怎么防了

[yekern]

浏览器指纹,把爬虫的指纹都丢在黑名单里

[copymaster]

@ThanksSirAlex op 意思可能是保护接口不被破解，除了他的代码调用以外不准别人调用

[copymaster]

首先要明确一点，完全防爬虫是不可能的，只能无限提高门槛，具体思路可以参考其他回复给的建议

[op351]

学习 discuz 之类的论坛 直接后台把单 ip 每天的请求次数写死 超过频率就永远拉黑

[zhangkunkyle]

极验啊，瑞数啊，安域啊。。。

[libook]

用 webassembly 写就不公开了吧

[kozalak]

学 cloudflare 的 5 秒盾，加验证码

[Radom]

这个真的太难了

[chengkai1853]

如果你说的是防止抓页面内容，那几乎防不了！

[horou]

@libook 用 wabt 等工具还是可以逆向，只是成本又会提升一个量级

[vacuitym]

可以试试非对称加密+代码混淆

[fournoas]

captcha captcha 还是 captcha