Python 爬虫抓取 Ajax 动态评论

2014-03-20 12:18:34 +08:00
 buxiangshuo
http://comment5.news.sina.com.cn/comment/skin/default.html?channel=gn&newsid=1-1-29714243

通过chrome控制台简单粗暴得到json数据url，但是只能得到有限的评论。新浪新闻的评论都是动态加载的，不懂ajax也不太明白如何模拟header头，第一次写爬虫，真心累觉不爱啊，请哪位大神帮帮忙看下如何解决？最好详细一点，本人这方面小白一个 = _ =||

不胜感激！！！
8041 次点击
所在节点    Python
10 条回复
binux
2014-03-20 12:28:02 +08:00
不懂就去弄懂
zoowii
2014-03-20 12:29:13 +08:00
Google
wangfengmadking
2014-03-20 12:49:18 +08:00
selenium或者PhantomJS都可以解决你的问题
yanpeipan
2014-03-20 14:18:34 +08:00
python+selenium+PhantomJS
Livid
2014-03-20 14:20:25 +08:00
import requests

headers = { ... }
url = ...
r = requests.get(url, headers=headers)
buxiangshuo
2014-03-20 16:21:49 +08:00
感谢大家！问题已经解决啦~
s51431980
2014-03-20 16:38:59 +08:00
@buxiangshuo 楼主怎么解决的，介绍一下思路？
zxc337
2014-03-20 17:50:22 +08:00
怎么解决的，发我看看
keven
2014-03-26 00:16:49 +08:00
解决了公布一下解决方式呗，ajax不难的，我做采集很多，用工具直接搞定
ikeeper
2017-07-11 09:06:10 +08:00
帖主咋弄的，求指教啊，捣鼓半天发现 js 请求后面跟了一个随机数，不知道怎么继续了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/105104

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX