跪求某猫列表页抓取办法, 菜鸡我要自闭了.

[yellowmarlboro]

比如 https://list.tmall.com/search_product.htm?s=0&cat=50103156&amp&brand=94136&amp&q=%B7%A2%C4%A4&amp&sort=s&amp&style=g&amp&search_condition=23&amp&from=sn__brand-qp&amp&active=1&amp&industryCatId=50103156&amp&spm=a220m.1000858.1000721.1.6bdd6701AdE1fX 想问有没有不需要登陆 /账号信息抓取的方法, 找了几个接口, 都需要登陆, 即使带上登陆 cookie 不久也会被封, 关键现在不给账号密码, 只有 cookie, 模拟登陆也不能. 有没有大佬有比较好的办法或者接口.

觉得这是一个很无理的问题 -.- , 不过我要自闭了

[Yourshell]

你模拟一下浏览器， 别直接 requests。

[insomnia1232]

把 useragent 改成浏览器？反正就是伪装成浏览器

[ljspython]

没代理池你还想爬天猫？

[jdgui]

帮忙人工置顶。。
之前遇到过一个外包，考虑到阿里变态的反爬虫没做。
坐等大佬答疑解惑，有答案了 @我一下。。

[beny2mor]

算了呦
你猫的账号被封了怎么办。。。

[PulpFunction]

哈哈 我有方案，已经成熟

正研究店铺所有物品

[VDimos]

没点儿 ip 敢爬阿里系，佩服

[realpg]

小学生挑战哥德巴赫猜想系列

[Nimrod]

点进来之前以为是猫眼的我 233333

[huaerxiela]

登陆账号也会各种验证你

[zhijiansha]

是不是频率太快了？

[251243021]

ip 池.不然稍微多了点就被会扳

[zr8657]

selenium 打开百度，用那个百度搜天猫，然后打开就不会直接要求你登录了。还是多换 IP，我也正在爬某猫

[alcarl]

我很好奇，爬这个有啥用吗？

[cdwyd]

天猫的反爬虫挺变态的，貌似会自我学习，你研究出来一个办法，过一段时间后就失效了

[murmur]

爬阿里系可悠着点 毕竟自己还要用支付宝和淘宝

[murmur]

@zr8657 阿里的代码里很容易就找到$cdc_asdjflasutopfhvcZLmcfl_"in document||navigator.webdriver 这种检测自动化的代码
兄弟是自己改过变量名重新编的么

[ctro15547]

需求说明白点？。。这种页面如果牺牲效率的话，爬起来挺简单的。。

[wmhx]

国内的需要手机号, 而且都比较变态啊 , 那点钱真不值得.

[update]

试试 chrome 的 Web Scraper 插件