开源公司内部的微信爬虫，寻求志同道合的人一起来改进

[crayonyi]

一个爬取微信公众号文章的爬虫

github: https://github.com/bowenpay/wechat-spider

微信爬虫的由来

我们是一家帮助中国 5000 万贫困人口与社会公益组织的对接的公司。

我们通过国家和地方政府的“建档立卡”系统，获取到了一手的贫困户数据，目前有 100 万左右，总数为 5000 万，目前每个月都在增长。

为了帮助这部分贫困户对接公益机构，我写了这个微信爬虫，从微信公众号发布的文章中上找出最新的公益项目。

这种找项目的方式的可行性，我们还在试验中。

起初，为了快速上线，本爬虫的代码是基于我的另一个 通用爬虫项目 开发的，还不是很完善，所以希望任何对本项目感兴趣的人联系我，与我一同改进这个项目。

联系方式：在该 issue 下留言告诉我 点击去留言

界面预览

1 ） 要爬取的微信公众号列表

2 ） 要爬取的文章关键字列表

3 ） 已经爬取的微信文章

4 ） 查看文章，并标记是否可用

5 ） 控制爬取进程数

使用到的技术和框架

django mysql redis lxml selenium

[crayonyi]

咨询下，现在获取微信文章的阅读数，都有哪些方法？

[em70]

公司专业做公益，这是一个悖论

[ibufu]

你应该去 py 社区吧。

[zhy0216]

@ibufu v2 就是.... -_-|||

[shoaly]

@em70 公益不允许赚钱机构介入 也是中国公益发展不起来的原因.. 不赚钱的事 始终不长久. 赚钱不等于就不公益了

[Chyroc]

@crayonyi https://github.com/Chyroc/WechatSogou
这里面有过去阅读数的方法

[liangmishi]

@ibufu 有其他好的 py 社区吗

[lxyyzm]

好贴必须顶

[yaotian]

sogo 反爬机制一直更新。。。

[vivagonna]

还不太懂 python ，看起来不错， mark 一下

[crayonyi]

@Chyroc 多谢 我看看

[likai]

@shoaly 中国公益发展不起来可和这个没关系..
你们公司专门对接需要帮助的贫困户和公益组织.难道是像房屋中介一样收中介费?不然怎么养活公司?

[crayonyi]

@yaotian 用了代理池、 Firefox+selenium ，模拟人工点击，所以一直都挺稳定的。除非搜狗微信的页面样式换了，需要重新更新一下爬取模板。

[crayonyi]

@shoaly 我们有一家公益机构，一家公司。 公益的事情公益做，赚钱的事情公司做。

[lixuda]

不会出现验证码吗？

[wangchyz]

用商业的手法做公益，不冲突

[cqcn1991]

非常支持！
希望以后有机会用到，和提 PR

[lcc4376]

幫頂

[em70]

@crayonyi 红十字会也是这样想的，所以不被人信任。公司的天职是赚钱，当公众利益与股东利益冲突时候，公司应该坚定选择后者，所以公益的事应该给非盈利组织去做，比如维基百科

[lxyyzm]

@em70 智商捉急啊，人都说了公司是赚钱的，只不过客户是公益组织而已