各大网站登陆方式， 包括爬虫，麻麻再也不用担心我学习爬虫啦，哈哈

[CriseLYJ]

python 模拟各大网站登陆方式，以及一些爬虫程序

• 仅供练习使用，代码注释很详细

• 收集了一些各大网站登陆方式， 和一些网站的爬虫程序，有的是通过 selenium 登录，有的是通过抓包直接模拟登录，有的是利用 scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式，和爬虫程序，会持续更新。。。

• 昨天加了个班，对一些老代码进行了重构和测试，大部分都可以用。

• 欢迎 star

模拟登录一些常见的网站

• 如果你有什么比较难登陆的网站，比如发现用了 selenium+webdriver 都还登陆不了的网站，欢迎给我提 issue

1. requests
2. selenium
3. rsa
4. phantomjs

项目地址

Github

关于

模拟登陆基本采用的是直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录难度很大，比如 qq 空间，B 站，如果采用 selenium 就相对轻松一些。

虽然在登录的时候采用的是 selenium,为了效率，我们可以在登录过后得到的 cookie 维护起来，然后调用 requests 或者 scrapy 等进行数据采集，这样数据采集的速度可以得到保证。

已完成

• [x] Facebook
• [x] Twitter
• [x] 微博网页版
• [x] 知乎
• [x] QQZone
• [x] CSDN
• [x] 淘宝
• [x] Baidu
• [x] 果壳
• [x] JingDong
• [x] 163mail
• [x] 拉钩
• [x] Bilibili
• [x] 豆瓣
• [x] V2EX
• [x] Baidu2
• [x] 猎聘网
• [x] 微信网页版
• [x] gihub
• [x] 图虫

tips of pull request

• 欢迎大家一起来 pull request

问题

• 有的验证码需要手动，之后我会尽量改正
• 代码失效：由于网站策略或者样式改变，导致代码失效，请给我提 issue，如果你已经解决，可以提 PR，谢谢！

另外

• 如果你有什么比较难登陆的网站，比如发现用了 selenium+webdriver 都还登陆不了的网站，欢迎给我提 issue
• 如果该 repo 对大家有帮助，给个 star 鼓励鼓励吧

欢迎你们

1. 项目写了一段时间后，发现代码的风格和程序的易用性，可扩展性，代码的可读性，都存在一定的问题，所以接下来最重要的是重构代码，让大家可以更容易的做出一些自己的小功能。
2. 如果你觉得某个网站的登录很有代表性，欢迎在 issue 中提出

测试

Bilibili 自动登录测试正常，成功率 98%

web 微信

图虫爬虫

项目地址

Github

最后

• 大佬们慢点喷，小弟有点承受不住，---_---

[zhou00]

感谢分享

[lance7in]

佩服佩服

[CriseLYJ]

多谢支持💗💗

[CriseLYJ]

🙆🏻‍♂️🙆🏻‍♂️🙆🏻‍♂️

[lawler]

@ligthdawn 你们公司有网监吧。这像是劫持带来的问题。。

[CriseLYJ]

可以回去再试试

[515576745]

淘宝那个之前研究过几天，发现用 selenium 基本都是暴毙，不管怎么修改 driver 内部属性淘宝还是能检测出来，直接出来滑动条。期待 lz 更新。~
另外知乎 lz 是自己分析 js 吗？我看好多网上的爬虫分析都是到 js 这块就放弃了。。

[CriseLYJ]

@515576745 淘宝确实有点棘手，毕竟是阿里的，全是大佬！

[CriseLYJ]

新增下载网易云的音乐！如果时间够多，我会尝试下载会员音乐！

[CriseLYJ]

帖子不能沉，

[kajweb]

https://mp.dayu.com
这个搞一下？

[lovestudykid]

有 reCAPTCHA 的登陆怎么搞

[May725]

强啊

[enrolls]

关于对无头的检测，@konikoo 提及的 navigator.plugins.length == 0 是特征之一。https://antoinevastel.com/bot%20detection/2017/08/05/detect-chrome-headless.html

[theks]

不错。如果能持续维护、适配就好了。加油。

[CriseLYJ]

@theks 会持续维护的，

[CriseLYJ]

顶一下

[Sxxiong]

大佬你好 我是个初学者 想问问 selenium+webdriver 能很好的判断网页加载完成吗 因为看到有时候浏览器标签页 logo 还在 loading 代码执行了登录 另外还有模拟点击的话 怎么避免网络影响 有没有适合初学者看的文档推荐一下
附一个用 request 没解决的网站: https://eu.battle.net/shop/zh/checkout/key-lookup

[cmlhaha]

顶一下，标记

[CriseLYJ]

@cmlhaha 多谢