@
wyntalgeer MCP 这种本质还是无头浏览器路线,不说无头浏览器了,就是真实浏览器里用油猴脚本,
他们引入了 AI 对用户行为进行分析,发现有一点 不是正常人 的特征,直接这个 ip 就封了
主要是啥,主要是,说实话,以前爬虫好做,是因为业界没有人设计出一套真正像样的反爬方案,
没有那种极端主义,就是把反爬系统往魔怔的程度做的这种公司,
因为人们怕设计出那样的,没有公司敢用,因为怕影响正常用户。
小公司没底气做。
所有你能爬的,都是人家没发力没去真正防御的。
真要认真起来,你受不了的。
现在的情况是啥,现在的情况是,真有这样的疯子一样的买家,
你敢设计出来,人家就敢用,而且压根不在乎什么用户体验,
普通用户用起来不舒服,那就憋着,就这样的态度。
就是要把反爬往死里做,往魔怔里做,
就是这样的态度喂出来 datadom 这样的反爬明星公司。
爱马仕欧洲官网,中国这边爬虫太猛,人家直接把 ip 限制在只能欧洲 ip 访问,
美国 ip ,亚太 ip ,统统不要了。人家直接不要了。
他们本身也在故意限制和垄断商品出货渠道,人为制造利出一孔的局面,不想让我们老板这样的代购来粉蛋糕。
普通公司敢这么玩么,人家爱马仕就是敢这样,很魔怔。
好,那你去租欧洲 ip ,ip 这一层过了,
还有 N 多层防御等着你,行为检测,频率检测,浏览器特征检测,https 指纹,
一切你能想到的维度,每一层,人家都往魔怔化的程度做,往令人发指的程度去做,
像个杠杆一样,人家稍微一发力,你这边就得跟进十倍的资源,研究半天。
人家有钱,有人,有资本,有客户,有买家,一边跟你斗,一边还拿高额工资,
所有你能想到的突破点,等你去试,你发现对面拿出了十倍百倍的资源等着你跟你斗
现在就是这么个情况。爬虫永远有生存空间,因为不是所有公司都愿意这样搞,
但世界会朝着这个方向进步,就像你今天用电脑不用担心像上个世纪动不动就中病毒木马一样。