Python 爬虫如何抓取 JavaScript 渲染后的内容呢？

[RqPS6rhmP3Nyn3Tm]

大家好，我就是上次发虫 https://www.v2ex.com/t/245894 的那个，现在想写个新的爬虫，但是遇到了一些问题，特来求助。
原因是这样的，这次想看的漫画在上次那个网站没有，于是想再写一个。漫画的图片是通过 JavaScript 渲染的，因此没法直接抓到。
Google 了一圈，文档很多都很老……
如何解决呢？

[plqws]

PhantomJS

[feather12315]

@plqws 问个问题： phantomJS 能否与异步库 asynico 一起用呢

[feather12315]

提供另一个思路，分析 Ajax 接口，直接抓取，速度很快

[longaiwp]

分析到底是怎么渲染的不是更好么（话说我似乎在琉璃见过楼主）

[windfarer]

看浏览器的 network log ，模拟 ajax 请求

[RqPS6rhmP3Nyn3Tm]

@longaiwp 不懂 JS ……
都是司机，握手

[crab]

http://www.dm5.com/m178597/chapterfun.ashx?cid=178597&page=1

[bdbai]

建议啃啃 js + 抓包，那些模拟浏览器的效率太差。

[RqPS6rhmP3Nyn3Tm]

@bdbai 高三党表示没有太多时间啃 JS …

[bdbai]

@BXIA 高二党表示高一有时间啃的啊...不过高三了还是尽量少搞这些东西吧。

[FrankFang128]

用啥翻腾，看请求

[aprikyblue]

高二狗路过。。先 mark
lz 高三这么晚还不睡

[RqPS6rhmP3Nyn3Tm]

@aprikyblue 周末怕啥

[aprikyblue]

@BXIA ...周六不上？

[RqPS6rhmP3Nyn3Tm]

@aprikyblue 不上😄

[icedx]

如果想看漫画呢 https://gist.github.com/anonymous/c95fd30a078b74e83e32
如果想要解法呢 请回复小埋大法好

[RqPS6rhmP3Nyn3Tm]

@icedx 海老名大法好
上次看你发过这个了，是只能爬 dmzj.com 的吧？

[aWangami]

找到一个接口， LZ 说的是解析这个 JS 吗？

http://www.dm5.com/m178597/chapterfun.ashx?cid=178597&page=1&key=&language=1&gtk=6

eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('f 8(){1 4=3;1 a=\'9\';1 7="g://h.k-j-6-6.c.e/b/p/3";1 2=["/o.5","/q.5"];l(1 i=0;i<2.m;i++){2[i]=7+2[i]+\'?4=3&a=9\'}n 2}1 d;d=8();',27,27,'|var|pvalue|178597|cid|jpg|113|pix|dm5imagefun|738c55526d53b127b60fb8550a178db9|key|17|cdndm5||com|function|http|manhua1023||147|61|for|length|return|1_9267|16594|2_5542'.split('|'),0,{}))

["http://manhua1023.61-147-113-113.cdndm5.com/17/16594/178597/1_9267.jpg?cid=178597&key=738c55526d53b127b60fb8550a178db9", "http://manhua1023.61-147-113-113.cdndm5.com/17/16594/178597/2_5542.jpg?cid=178597&key=738c55526d53b127b60fb8550a178db9"]

[aWangami]

不对， http://www.dm5.com/m178597-p2/chapterfun.ashx?cid=178597&page=2&key=&language=1&gtk=6 ，这个完全不需要解析 JS 呀

[icedx]

https://gist.github.com/anonymous/4b8fd3bfe0d4560d09a9