新手请教:如何用 python 请求动态网页，使其得到的内容和浏览器请求一样。

[twilight]

我试了 urllib 的 urlopen 和 requests 的 get ，得到的都只是静态的内容，网页里的表格内容没有得到。

[Yc1992]

抓包分析请求

[wizardoz]

表格里面的内容有可能是 ajax 或者 websocket 获取的，并不是在请求页面的时候就有。

[Patrick95]

用 ghost.py

[wizardoz]

如果是 ajax 那好办，用浏览器的 F12 看看它请求了什么东西就可以了。
如果是 websocket 就难办了。

[mrwangrj]

phantomjs

[SlipStupig]

@wizardoz iframe ajax 表单字段随机化，有没办法不开浏览器能直接跑通

[twilight]

感谢各位热心回复。

搜了搜，好像有用 PythonWebKit 或 PyQtWebKit 来做的。

[wujunze]

phantomjs +1

[mingyuejingque]

phantomjs + 2 ， 配合 casperjs 可以搞很多小动作，嘿嘿嘿

[tkpc]

system("google-chrome")

[jiezhi]

selenium + phantomjs 呢

[xinali]

有两种思路，一种是如果你想分析 js 处理后的网页源码可以使用 selenium+phantomjs ，但是有坑在携带 cookie ，修改 header 等方面。一种是用 requests 获取到网页未经 js 处理的代码，之后分析网页的 js 处理情况并结合 nodejs 对网页进行二次加工，这样而且可以极大的加快你的处理速度，具体的可以看我写的这个 http://xinali.github.io/2016/05/22/python%E5%A4%84%E7%90%86js%E7%BD%91%E9%A1%B5/

[ila]

@Patrick95 赞同+1
官方更新后百度得到的资料还是旧的