selenium 天猫爬虫登陆

[smallhaes]

1.获取 cookies:
使用 selenium 打开 chrome 访问天猫登陆界面，接着扫码登陆并保存 cookies，
2.使用 cookies:
再用 selenium 打开一个 chrome 访问天猫登陆界面，给 driver 添加刚才保存的 cookies，此时再访问某个商品界面时还会要求登陆
这两步间隔比较短，cookies 应该没有过期
求问，为什么 cookies 没有效果 /哭

[cxbanana]

因为天猫对 selenium 有指纹信息识别，可以尝试捕获下天猫发送过来的 js 文件，修改检测代码，拦截替换下……

[youxiachai]

天猫的防爬很先进的.....
你这个模型太简单了...一下下就被设别了..

[zr8657]

天猫 cookie 很多的，你确定你添加全了吗，你都用 selenium 了直接登陆完开爬不行吗，一个账号爬个 5、6 页大概就会出验证了

[yaoye555]

selenium 已经被淘宝系产品防死了,目前暂时能解决的就是修改 window.navigator.webdriver

[hoyixi]

能请教下，爬这些电商爬来的数据，怎么变现？很好奇

[d5]

可以考虑用测试框架来干这种事，比如在真机上用 airtest

[di1012]

@hoyixi 可以做国内代购

[misaka19000]

试下 puppeter

[di1012]

其实你要是想搞到淘宝商品的数据，还不如直接爬一些做代购的公司的网站，人家用的是接口，还稳定

[lusi1990]

换成 firefox， 或者使用 puppeteer 试试
https://www.jianshu.com/p/afdabf486b54(然后参考这个)

[yanheqi]

如果要抓 cnbeta 这种网站，能做到吗？

[annielong]

天猫正常访问还时不时来个验证，

[smallhaes]

谢谢大家的回复, 果然用天猫作为练习太难了, /哭 没把握好难度. 实验室的师兄师姐推荐换个网站练习
3 楼说的是 OK 的, 可以登录后直接开爬, 不方便的地方是得显示浏览器界面. 如果不显示浏览器界面的话, 登录这块也是个大难点, 所以我才想着用 cookie 跳过登录,同时不再显示浏览器界面
同时也感谢其他小伙伴们提出的建议, 我会去尝试哒~
再次感谢大家!!

[LicV587]

selenium 这种东西，理所当然的会被淘宝系封，连我挂 VPN 访问都会被封。淘宝系现在的体验是越来越差，所以都不要淘宝天猫了

[limuyan44]

连正常访问都可能拦截何况是个爬虫入门都会写的 selenium。。。

[murmur]

我怀疑淘宝已经走火入魔，现在调试工具已经开始请求 webmidi 这种正常需求不可能用到的技术了，我怀疑是他在枚举当前浏览器支持的是所有技术，来判断你是正常的 chrome 还是在 headless 里

[2805408253]

说白就是技术检测 加 行为规则验证。
技术检测就不说了
行为规则：比如正常人浏览一种商品的一页数据，最低也要超过 1 秒钟（极限啊 CAC ）。你搞的爬虫一秒钟上百个页面，当然过不了。（行为规则库还是很强大的）

[Meli55a]

别说是爬虫，正常人点都会出现这种验证，搜索几下就让爷休息，疯了

[wongyusing]

selenium 基本上是没有办法爬取阿里系的网站的
他们会检查你的浏览器的 webdriver 是否为 True。
即使绕过了这个检测，还有各种各样的 js 行为检测