最近准备爬取的一个网站遇到的瓶颈

[wc110302]

发现该网站似乎是用了 distil networks 的反爬虫服务， 如果需要拿到数据就必须带上 cookie，不带 cookie 的请求都会被直接返回 sessionStorage.setItem('distil_referrer', document.referrer); 而这个 cookie 的失效时间又很快，只有 5 分钟左右，并且用的次数多了，大概四五次也会失效，并且我使用 fiddler 跟踪，拿到所有 cookie 参数后，利用这个 cookie 依然无法拿到数据，请问广大社友们有遇见过这种情况吗？

[wc110302]

@handan @onexpiece @dapengzhao https://www.flyscoot.com/zh

[valord577]

我这里有个思路 selenium + headless chrome 每 3 分钟打开网页 从 chrome 拿到 cookie

https://github.com/valord577/taobaoke

这个虽然是用 java 写的 但是封装 selenium 的思路 python 也是通用的

[wc110302]

@valord577 感谢分享。 但是 selenium 效率确实是太低了 并且消耗资源较多 抓取数据的量又比较大 单一个 cookie 只能使用 4-5 次 所以暂时不考虑走 selenium 实在不行的话就只能走 app 端了

[xiaozizayang]

试试这个？ pyppeteer

[wc110302]

@xiaozizayang 尝试了一下--！ 会被反爬虫识别 出现验证码
Pardon Our Interruption
['//cdn.distilnetworks.com/images/anomaly-detected.png']

[angkee]

老哥，我也遇到了这个问题，能不能加个微信聊下

[wc110302]

@angkee 可以啊 留下你的 v

[locoz]

试试 APP ？

[wc110302]

@locoz 现在是在尝试 app 了，pc 端的搞不定--！

[stephen2018]

我最近遇到用 selenium 被网站识别出来，我设置了 useragent，加了代理，依然被识别出来，有点头疼，可以交流下吗

[wc110302]

@stephen2018 可以尝试下 pyqt

[RAKU318]

想问下题主搞定了吗？

[wc110302]

@RAKU318 已经搞定了 模拟生成 p 参数即可

[lzh414895156]

@wc110302 请问题主现在还可以抓到数据吗？可以加个微信交流下吗？

[wc110302]

@lzh414895156 留下你的联系方式咯

[lzh414895156]

@wc110302 qq414895156

[luzhizheng]

楼主加我 QQ!,我也遇到这个问题啦!! bs64:OTkzMjgyMTM4

[luzhizheng]

这楼主是一个搞外包的,大家不要给骗了,加了 QQ 以后一直在忽悠,没两句就开始装逼,然后要我搞外包.
技术问题一个都不回答,问什么都说很简单自己搞,要不然就找我外包,真是没见过这种人,一点想探讨的精神都没有,还跟我装起逼来,说多了就开始骂我菜鸡,菜鸟,真的是给点阳光就灿烂,懂一点就开始装逼,你爸妈没有教过你做人的道理吗?真是悲哀