鉴于自己能力有限，在此重金寻求反爬虫技术

[frozenway]

昨天下班时，归心似箭的我收拾好东西，就迫不及待的夺门而下班。不料，一只脚刚迈出公司大门，就被 boss 叫住。我顿时懵了，什么事？然后忧心忡忡的来到 boss 的办公司，一聊。原来有个技术需求，大概是这样的：公司的业务是在各大平台上投放我们自己的产品的网页广告的，但是网页页面有些夸张的词语，导致在很多平台投放时被这些平台的爬虫检测到有这些词语，进而风账户。所以 boss 的意思是能不能做到网页的内容只能让客户看得到而爬虫看不到！！！也就是屏蔽掉这些爬虫。鉴于我自己糟糕的 php 技术，boss 说我能力有限，估计做不了，所以让我广发英雄帖，招募来自五湖四海，大江南北的仁人易士，大牛大神。只要能解决这个问题，价钱随便开！！！

[liyer]

@frozenway

参考汽车之家论坛
https://club.autohome.com.cn/bbs/threadowner/00e1b4eff8b9c73c/38545359-1.html

原贴：
http://img07.api4.net/imgs/20181226120600.png

谷歌：
http://img07.api4.net/imgs/20181226120724.png

[dalieba]

@frozenway #4 那就过几天再观察一下吧

[MrUser]

robots.txt
--------
User-agent: *
Disallow: /

[Vegetable]

你确定是因为链接内容被封的,而不是因为发广告的行为本身被封的?

如果是因为链接本身被封的,要防止爬虫,那最简单的就是先来是一个客户端渲染,爬虫拿到的 html 是空白的,除非这个爬虫是执行 js 的,如果执行 js 的话,就没办法了,因为爬虫只需要访问你的链接一次,基于浏览器开发的爬虫,只访问你的地址一次,是没有任何办法能有发现的.

不过我感觉跟你们的链接没什么关系,毕竟爬虫又不能分析出来你链接里边的东西是不是有问题,发链接广告这个行为本身才是更可疑的吧.

[ben1024]

反的不是爬虫，是平台审核机制（自动审核，手动审核）
可以采用引入 PHP 脚本的形式控制输出内容，更加用户特征控制展示

[geekjc]

一看楼主的公司就是做灰产的

[necomancer]

reCAPTCHA?

[Asice]

人工审核也简单，根据当前时间，审核时展示一种，过了审核时间展示另一种。js 能实现的

[xnode]

js 加密数据,文字转图片,数据放在 css 中,html 放蜜罐,反作弊

[bigboss88]

懂了，无非就是用 Facebook 或者 Adwords 跑一些黑五类的产品广告，或者说是诱导页面会被广告审核部门认定为欺诈成分存在进而封户。

你们需要的这个有现成的服务，但是并不是一劳永逸的，其中规避的原理有很多，所以你们需要 Cloak 技术。

判定审核依据：除了爬虫，还存在着人工审核，因此过滤屏蔽的规则包含：媒体广告公司的审核部门 IP 地址，访问诱导页面的设备，以及是否存在非过滤跳转；

联系我，2000 美元解决；（一整套技术的使用教程）

(Base64)：NTA3NTE3OA==

[bigboss88]

如果是你们老板付钱，我的收费是 1 万美元，可亲临贵公司解决问题。

[Showfom]

@bigboss88 老板付钱价格就是五倍？可以可以

[frozenway]

@bigboss88 老板付费的，像广点通，今日头条这些搞得定吗，可以的话我等一下联系您

[frozenway]

@bigboss88 1 万美金应该没问题的

[zsdroid]

鉴于自己能力有限，在此重金寻求反反爬虫技术...

[iannil]

这种问题针对不同平台要使用不同的防检测手段的，而且平台的策略会定期或不定期的更新，所以得有固定的合作者持续的给你们提供支持，招人或找其他公司都可以。

[wibile]

cloak 系统了解一下

[iannil]

1 万美金便宜了，咨询费还行。

[wsh1108]

要是人工审核能有什么办法，刺杀审核员么 doge

[frozenway]

@iannil 确实是，有这方面的人或公司推荐吗？现在就是找这样的人或公司