分享一个分布式微博爬虫开源项目

[resolvewang]

用 celery+requests 撸了一个分布式微博爬虫，对 Python 数据采集有兴趣或者对微博数据采集有需求的同学可以看看，目前实现了用户信息抓取、特定话题微博搜索、用户主页所有微博抓取、指定微博所有评论抓取、指定微博所有转发抓取。四台机器大概一天可以抓 100w 条用户数据，微博可以抓上千万条。

项目地址： https://github.com/ResolveWang/WeiboSpider

求 fork & star

[resolvewang]

@xiubin 你说的前三个功能我都实现了啊，你看看项目介绍就明显可以得知啊。我说的给定微博，有两个来源，一个是搜索关键词获取，一个是通过给定用户来抓。不过有一点需要明确，不可能获取某个用户的所有关注和粉丝，只能获取前五页。确实你说的这个并不是项目的初衷，但也可以依托它较为轻松的实现

[gogobody]

马克

[resolvewang]

@gogobody 感谢支持

[sobigfish]

改成 serverless 架构 ？ （不知道 AWS Lambda 每次运行时会不会是不同的动态 IP ）
https://github.com/Miserlou/Zappa
https://github.com/awslabs/chalice

感觉爬虫和 serverless 很搭

[resolvewang]

@sobigfish serverless 没怎么了解，如果可以轻松切换弹性公网 ip，那么我觉得是非常棒的

[gitopen]

@goodluck 最近有这方面的需求，就来翻 v2。好奇爬这么多数据是干嘛用的😄