python 抓取动态网页的问题

2013-05-11 19:46:48 +08:00
 hatcat3
比如这个网页
http://image.baidu.com/channel#%E6%98%8E%E6%98%9F&%E5%88%98%E8%AF%97%E8%AF%97&0&0
里面的图片都是通过js动态生成的, 用urllib获取不到里面的图片
请问类似这种问题有好的解决方案吗?
3514 次点击
所在节点    问与答
6 条回复
binux
2013-05-11 19:56:19 +08:00
chrome打开network，看实际请求
这根本就不是解不解决方案的问题，只是你不会罢了

建议你爬之前先学学怎么写，至少了解下HTML、HTTP协议、JS、AJAX、CSS以及一种服务器语言实现。
ljbha007
2013-05-11 20:01:18 +08:00
http://image.baidu.com/channel/listjson?fr=channel&tag1=明星&tag2=刘诗诗&sorttype=0&pn=0&rn=30&ie=utf8&oe=utf-8&1368273391754

改下参数就好了
输出数据是JSON:
http://gist.github.com/5559777
ljbha007
2013-05-11 20:03:17 +08:00
@Livid
V2EX的gist 问题真的很严重啊
phuslu
2013-05-11 20:11:42 +08:00
可以试下g ho s t . p y
hatcat3
2013-05-11 20:22:00 +08:00
@binux 呵呵 如果只是这个倒是可以取得 我想问的是一种通用型的解决方案
binux
2013-05-11 20:39:08 +08:00
@hatcat3 上浏览器引擎

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/68506

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX