写了一个获取微信文章阅读数和点赞数的爬虫

[wnma3mz]

先放github 地址。

抓取方式：

• 1. 模拟登陆微信公众号平台，借此获取需要爬取公众号文章的 url

  2. 通过mitmproxy手机抓包，得到appmsgtoken和cookie，爬取文章的阅读数、点赞数及评论信息

• 不使用模拟登陆，用抓包工具获取相关参数后，直接抓取

有以下问题：

1. 不知道如何使用python在shell中显示获取到的二维码，目前使用的方式是用matplotlib和PIL显示。

2. 获取微信公众号文章的时候，一次性不能爬取太多，一次最多貌似只能有 30、40 条。

3. API 设计上可能存在问题

以上，望大佬轻喷，提出意见

[magicO]

反爬虫可以试试把包里的 agent 参数或者其他参数改变试试。如果是针对 ip 的话，那个人确实没啥办法。除非搞几台云服务器，(手动滑稽

[wnma3mz]

针对 ip 还好说，微信公众号这边针对的是账号。。。。。

[xuyl]

登陆公众号平台再抓，效率太低，还不是全自动化的，没人会用这种。

[wnma3mz]

@xuyl 嗯嗯，只是作为一个练习。并且个人使用就好，不打算大规模使用

[pango]

可以看看这个： https://github.com/lqqyt2423/wechat_spider
不过我没用过，据说很好用

[wnma3mz]

@pango 谢谢，他是用 node 写的，有空研究下

[selector100]

这样抓取效率不高，用万能 key 会高很多，但五月初微信还更新了万能 key 的一些细节，所以随时可能被封。有兴趣的看我知乎的回答好了： https://www.zhihu.com/question/26716409/answer/224332129

[wangluoshujupa]

微信文章阅读点赞，评论，服务号、订阅号区分 +wx crawler888