各大网站登陆方式, 包括爬虫,麻麻再也不用担心我学习爬虫啦,哈哈

2019-03-07 10:01:18 +08:00
 CriseLYJ

python 模拟各大网站登陆方式,以及一些爬虫程序

模拟登录一些常见的网站

  1. requests
  2. selenium
  3. rsa
  4. phantomjs

项目地址

Github

关于

模拟登陆基本采用的是直接登录或者使用 selenium+webdriver 的方式,有的网站直接登录难度很大,比如 qq 空间,B 站,如果采用 selenium 就相对轻松一些。

虽然在登录的时候采用的是 selenium,为了效率,我们可以在登录过后得到的 cookie 维护起来,然后调用 requests 或者 scrapy 等进行数据采集,这样数据采集的速度可以得到保证。

已完成

tips of pull request

问题

另外

欢迎你们

  1. 项目写了一段时间后,发现代码的风格和程序的易用性,可扩展性,代码的可读性,都存在一定的问题,所以接下来最重要的是重构代码,让大家可以更容易的做出一些自己的小功能。
  2. 如果你觉得某个网站的登录很有代表性,欢迎在 issue 中提出

测试

Bilibili 自动登录测试正常,成功率 98%

web 微信

图虫爬虫

项目地址

Github

最后

15036 次点击
所在节点    Python
118 条回复
CriseLYJ
2019-03-07 11:31:36 +08:00
@bonfy 写错了。。。。。。。
CriseLYJ
2019-03-07 11:31:52 +08:00
@zxcvsh 可以的可以的,
claymore94
2019-03-07 11:33:42 +08:00
验证码看了下是下载验证码图片到本地 input 阻塞,手动输入的
tanranran
2019-03-07 11:35:08 +08:00
666


mobaidalao
CriseLYJ
2019-03-07 11:37:23 +08:00
还是要你们多多支持,嘻嘻
Lninn
2019-03-07 12:26:52 +08:00
不得不承认你很强👍
fazero
2019-03-07 12:33:42 +08:00
雪球网可以吗
zwpaper
2019-03-07 12:39:14 +08:00
解决了广大爬虫的第一步,有想法
CriseLYJ
2019-03-07 12:59:11 +08:00
@zwpaper 哈哈从头开始
CriseLYJ
2019-03-07 12:59:30 +08:00
我会去尝试你们给我提的建议!
daydaydayup
2019-03-07 13:00:21 +08:00
star 一波
CriseLYJ
2019-03-07 13:00:49 +08:00
@daydaydayup 多谢支持,哈哈😆
wulin
2019-03-07 13:15:55 +08:00
star 支持一波
CriseLYJ
2019-03-07 13:21:05 +08:00
@wulin 感谢感谢
CriseLYJ
2019-03-07 13:22:08 +08:00
评论是怎样加图片的啊啊啊啊啊啊
exip
2019-03-07 13:27:30 +08:00
像微信这种需要手机端扫码的怎么破?
CriseLYJ
2019-03-07 13:34:22 +08:00
@exip 这个你必须要手动扫码哦!
leesymbol
2019-03-07 13:41:59 +08:00
谢谢
xpresslink
2019-03-07 13:45:23 +08:00
star 为敬。
CriseLYJ
2019-03-07 13:55:54 +08:00
@xpresslink 多谢兄弟

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/541987

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX