如何利用爬虫批量获取多帐号登录后显示的信息?

2016-02-22 11:59:38 +08:00
 Maskeney
比如说一个网页需要输入账号密码才能显示出信息,并且每个帐号现实的信息都不相同,如何用爬虫实现从文件读取帐号密码,自动输入-抓取数据-保存到文件-继续读取下一个帐号-输入下一个帐号密码-抓取下一个帐号密码-再保存到文件,直到把所有的帐号爬完。写完才发现这个需求好像有点干坏事的样子...好吧其实不是..小白用户恳切希望能有大大耐心写写如何实现的
2693 次点击
所在节点    Python
6 条回复
knightdf
2016-02-22 12:11:18 +08:00
不就是多线程登录么,提交表单的事,原来写过集群登录 LinkedIn 抓取账号的
popok
2016-02-22 13:48:08 +08:00
你就按照正常浏览器操作的流程来模拟不就完了。

提交用户名和密码登录,获取 cookie ,然后带着 cookie 获取信息
pyengwoei
2016-02-22 16:56:38 +08:00
1 、先读取所有帐号密码报错 存放到一个列表
2 、 FOR 帐号循环列表,
2-1 、登录,
2-2 、保存 COOKIE 到一个列表
3 循环里面就是你要干的事情
pyengwoei
2016-02-22 16:57:21 +08:00
上面错了两个字 是保存 不是报错
Maskeney
2016-02-22 17:45:20 +08:00
@pyengwoei 你的意思是先保存 cookie 最后再用 cookie 读取内容?
Maskeney
2016-02-22 17:45:56 +08:00
@popok @knightdf 有没有 python 入门学习的途径?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/258183

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX