很暴力的反爬虫机制

[hicdn]

工商局的商标网上检索系统，http://wsjs.saic.gov.cn/，所有链接必须从首页开始点击，直接访问就返回错误页面。
想在商标状态查询页面查询 11111111，前面一切正常，填表单在新窗口打开就返回错误页面。
求解
https://gist.github.com/anonymous/85d86addcbf66e7529ba723cb5f1ff74

[hicdn]

@airplane 我很久没爬了

[airplane]

@hicdn 昨晚调试很久，发现原来是服务器检测出是 webdriver,请问你是怎么弄掉 selenium 特征的呢

[airplane]

@hicdn

[airplane]

@zbl430 0.0

[hicdn]

@airplane 我用的 phantomjs，没用 selenium。修改特征见最上面 gist 3-7 行。

[zbl430]

@airplane 的确只加了鼠标的移动，我用的是 firefox50 还是 52 ,高版本会有问题

[airplane]

@zbl430 鼠标移动你是用 js 实现的还是直接用 selenium 实现的

[zbl430]

@airplane from pymouse import PyMouse

[quatix]

@hicdn
window _Selenium_IDE_Recorder,_selenium,callSelenium
document __driver_evaluate,__webdriver_evaluate,__selenium_evaluate,__fxdriver_evaluate,__driver_unwrapped,__webdriver_unwrapped,__selenium_unwrapped,__fxdriver_unwrapped,__webdriver_script_func,__webdriver_script_fn
document.documentElement.getAttribute ["selenium", "webdriver", "driver"]
window callPhantom,_phantom

请问楼主可否分享一下这几个检查点是怎么解决的？

[quatix]

@quatix 忘了说了，请教一下 chromedriver 中怎么处理

[kw]

@zbl430
@hicdn
@Marsss
@quatix
@randix
各位大佬都怎么解决的，可否帮忙一下
vx：17625611146
谢！！！

[Marsss]

@kw 这帖子都过了多久了，已经不写爬虫了。我当时解决的思路就是直接用 chrome 提供的接口去驱动 chrome 抓取，使用 websocket 协议通信，使用 javascript 控制浏览器行为，具体可以看一下 chrome 的远程调试协议。这些工作原本是 selenium 替你做了，只是现在人家针对性的检测了 selenium|webdriver，造成直接用 selenium 的抓取不了。

另外，友情提示一下，爬虫有风险，劝君别盲目背锅。

[kw]

@Marsss 谢谢 那现在不能用 selenium 了？检测到了怎么办