Python 爬虫学到破解 js 卡了，知识储备不足。求接下来的学习指导。。

[dengshuang]

已经会 requests,bs4,xpath,框架还不太熟，但 scrapy 也简单用过。 前几天爬了一个漫画站，http://www.shenmanhua.com/douluodalu/597.html 我需要的一段字符串，百度了下，说是没有解密的字符串。。 求接下来的学习路径，是学习 js 吗。（我现在连 python 都还是半吊子，也没有太多精力去学另一个编程语言啊。）

var mh_info = {imgpath: "J+8L+K<+?<+?=+K=+HJ+?=+K;+G:+G=+K?+??+><+K<+>H+><+K;+>>+><+K=+>?+>>+8L;?=+K>+GL+?J+8L"

[F1024]

http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /597 话 /1.jpg-smh.middle
http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /597 话 /2.jpg-smh.middle

http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /1 话 /1.jpg-smh.middle
http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /1 话 /2.jpg-smh.middle

遍历吧。。。。。

[SingeeKing]

request_html 然后让它渲染 js 解密

[qsnow6]

@F1024 瞬间终结

[huluhulu]

pyv8 直接运行 js 得到结果，看看变量是啥就行了。
之前爬 smzdm 跳转链接居然还是混淆的，也是直接算出来的。

[wjm2038]

找 js 里调用 mhinfo 的地方，一定有解密方法的，找到之后直接拷贝下来本地 nodejs 搞就行

[qsnow6]

常见的加密方法 RSA、MD5、BASE64、urlcode、urlencode 都可以 看看

[manzhiyong]

selenium 了解一下

[lozzow]

推荐使用 request_html，好用的一批

[Trim21]

原来还会慢慢找加密方式,现在懒了直接用 selenium 跑结果了

[locoz]

全局搜索是个好东西，pyexecjs 也是个好东西，两者结合起来就是找到解密部分直接用 python 调用。。

[emric]

花了差不多 10 分钟。
https://gist.github.com/17/23cca00b6b647285379f9b0dfee9663b

[sunwei0325]

request_html 加载 js 底层是用 pyppeteer, 可以了解一下

[azh7138m]

@qsnow6 base64，urlencode 居然算作加密，可以可以

[fiht]

个人觉得，爬虫的发展方向应该是写越来越稳固，设计能够多机运行，部署简单，数据承载量大的爬虫。
死扣 JS 上升太慢了。MongoDB Hadoop Hbase Redis MQ 这种东西都可以了解了解。
DebugJS 真的费脑子，而且前景有限不方便以后转行。

[dengshuang]

@F1024 这只能遍历一种漫画，每一种漫画都是不一样的

[dengshuang]

@locoz 萌详细的说说吗？全局搜索

[abcbuzhiming]

说真的，除非你打算 JS 专精，否则真没必要去研究 JS 破解，这是一条逆向的道路，本身天赋和思路就和搞开发的不一样。再说了，再牛逼的 JS 加密你还不是要进浏览器，我上浏览器内核给你跑一遍，，什么结果不都出来了，无非就是慢一点，可能搜索引擎要求速度特快这个性能无法接受，但是我们自己的爬虫需要这么高的性能吗？

[wizardforcel]

@abcbuzhiming 爬虫不走逆向的道路就是等死，你连分内的事情都搞不定。

[yamiedie]

@F1024 每一章的图片个数有办法获取么,虽然不是事必要获取...

[yamiedie]

@wizardforcel 虽然爬虫不能做一辈子,但是也肯定要找好以后的出路...