来问个初级问题, 对于批量网页抓取,怎么实现好点儿

2015-05-18 10:35:00 +08:00
 SuperFlanker
ShowDetail.aspx?querywrid=xxxx 这种格式

批量抓取

另外登陆该怎么解决哦?
2257 次点击
所在节点    Python
2 条回复
imlinhanchao
2015-05-18 11:39:42 +08:00
1. id連續就從1開始知道抓到錯誤頁。
2. 登錄就模擬登錄請求保存cookies就好了。
Flyshit
2015-05-18 16:05:28 +08:00
循环get/post就可以了嘛。需要登陆的话就post登陆后记录cookies，设置cookies然后get/post嘛

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/191829

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX