写了一个获取微信文章阅读数和点赞数的爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2413 天前的主题，其中的信息可能已经有所发展或是发生改变。

先放github 地址。

抓取方式：

1. 模拟登陆微信公众号平台，借此获取需要爬取公众号文章的 url
2. 通过mitmproxy手机抓包，得到appmsgtoken和cookie，爬取文章的阅读数、点赞数及评论信息
不使用模拟登陆，用抓包工具获取相关参数后，直接抓取

有以下问题：

不知道如何使用python在shell中显示获取到的二维码，目前使用的方式是用matplotlib和PIL显示。
获取微信公众号文章的时候，一次性不能爬取太多，一次最多貌似只能有 30、40 条。
API 设计上可能存在问题

以上，望大佬轻喷，提出意见

点赞数

获取

文章

微信

8 条回复 • 2019-06-27 15:50:32 +08:00

magicO

2018-04-15 23:07:55 +08:00 via Android

反爬虫可以试试把包里的 agent 参数或者其他参数改变试试。如果是针对 ip 的话，那个人确实没啥办法。除非搞几台云服务器，(手动滑稽

wnma3mz

2018-04-15 23:24:27 +08:00

针对 ip 还好说，微信公众号这边针对的是账号。。。。。

xuyl

2018-04-16 10:15:19 +08:00

登陆公众号平台再抓，效率太低，还不是全自动化的，没人会用这种。

wnma3mz

2018-04-16 10:20:41 +08:00 via Android

@xuyl 嗯嗯，只是作为一个练习。并且个人使用就好，不打算大规模使用

pango

2018-04-16 10:37:40 +08:00

可以看看这个： https://github.com/lqqyt2423/wechat_spider
不过我没用过，据说很好用

wnma3mz

2018-04-16 10:48:29 +08:00 via Android

@pango 谢谢，他是用 node 写的，有空研究下

selector100

2018-05-07 18:50:08 +08:00

这样抓取效率不高，用万能 key 会高很多，但五月初微信还更新了万能 key 的一些细节，所以随时可能被封。有兴趣的看我知乎的回答好了： https://www.zhihu.com/question/26716409/answer/224332129

wangluoshujupa

2019-06-27 15:50:32 +08:00

微信文章阅读点赞，评论，服务号、订阅号区分 +wx crawler888