求助一个爬虫问题,实在搞不定

2017-09-24 16:31:00 +08:00
 marenight

想要爬取 cnki 的科研项目数据库 http://projects.cnki.net/approvalitem.aspx ,然后抠出来的这个页面的第一页 http://projects.cnki.net/Asynch/GetData.ashx?ac=ca&f=2&sc=ApprovalItem&_=1505991481639 是可以爬的,而这个页面 http://projects.cnki.net/Asynch/GetData.ashx?id=ApprovalItem&sc=ApprovalItem&cf=%2FCoreResources%2FConfigFolder%2FListView%2FListView.xml&ps=100&ac=Page&cp=1&_=1505986760956 可以在浏览器里打开,但是放到爬虫里就啥都没有。

关于网络和 js 的知识太匮乏,实在不知道问题出在哪里。求助。

1291 次点击
所在节点    问与答
3 条回复
lhx2008
2017-09-24 16:35:41 +08:00
带了 cookie session 之类的吧,我直接开业开不了
whwq2012
2017-09-24 20:01:41 +08:00
你需要 postman
a87150
2017-09-24 20:16:03 +08:00
ASP.NET_SessionId=ora3gjhezp3umgzm0g5vutpf

要这个 cookie

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/393240

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX