请教关于用 requests 模拟登陆的一个问题?

2016-09-21 18:38:12 +08:00
 ncesun
浏览器打开一个 url ,显示的是页面内容,但内容是个折叠的列表,需要手动点击全部展开才会显示内容,而程序抓取的页面不包含列表内的内容。
在 url 上加入 &collapse=expandview 后,在浏览器上显示的页面是列表展开后的内容,但程序抓取的内容却是“正在打开列表,请稍后”之类的内容。
请教一下,这是什么原因造成的?如何解决?
2041 次点击
所在节点    Python
4 条回复
U2FsdGVkX1
2016-09-21 18:40:11 +08:00
页面是异步加载的,找找展开内容时的 ajax 地址
popok
2016-09-21 18:47:03 +08:00
f12 ,点网络标签页,然后你点展开,看有哪个请求。

和 1 楼一样的观点,肯定是 ajax
jy02201949
2016-09-21 18:56:25 +08:00
是时候上 selenium 这种重型武器了
jpyl0423
2016-09-22 09:02:23 +08:00
2 楼已经说完了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/307905

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX