请教 Python 爬虫，存在 js 反爬，除了 selenium 还有什么解决方案呢

[dylanhu]

[linhua]

puppeteer

[leebx]

1. 很多 js 反爬 ，selenium 是解决不了的，大多需要剖析 js，执行 js 代码才能得到有效参数
2. 各种加密算法，url 中拼接的某些参数是底层算法搞出来的

[linvaux]

脱裤啊

[mytry]

JS 爬虫和 Python 有什么关系

[tikazyq]

还有 puppeteer，也是调用 chrome 来执行 js，但是对用户比较友好。顺便介绍一下爬虫平台 Crawlab，兼容任何框架任何语言的爬虫平台，http://github.com/tikazyq/crawlab

[dongya]

存在 js 反爬也有很多情况呀， 内容加密，token 生成啥的， 你的是哪种啊

[lusi1990]

也有反 selenium 的

[danmu17]

大部分的 js 反爬都可以通过 python 运行 js 来解决，
不过会提这种低质量的问题，
多半也不会这些基本的东西。

[dylanhu]

@danmu17 那么多 js 还能都运行了？

[dylanhu]

@dongya 我只找到了 cookie 加密，还可以怎么找

[huaerxiela6]

cookie 加密一般来说相较与参数加密，更难找到入口点，需要很多的调试技巧，比如有时需要 hook，hook 不住的时候如何处理等等，我简书 https://www.jianshu.com/nb/14730171 的几个例子就是基于 nodejs 实现的，如何用 py 运行，只是一个调用方式的问题，不行的话还可以用 node 封装接口，重要的是如何模拟加 /解密