分享一个分布式微博爬虫开源项目

[resolvewang]

用 celery+requests 撸了一个分布式微博爬虫，对 Python 数据采集有兴趣或者对微博数据采集有需求的同学可以看看，目前实现了用户信息抓取、特定话题微博搜索、用户主页所有微博抓取、指定微博所有评论抓取、指定微博所有转发抓取。四台机器大概一天可以抓 100w 条用户数据，微博可以抓上千万条。

项目地址： https://github.com/ResolveWang/WeiboSpider

求 fork & star

[zthxxx]

已 star + watch

[jtsai]

顺路请假一下，一台 16g i7 的机器 做爬虫要多少网速比较适合

[resolvewang]

@zthxxx 谢谢捧场

[resolvewang]

@jtsai 你这个问题我觉得应该视具体情况而定。如果是抓文本内容的话，网速应该要不了太多，10M 独享肯定是够了，可能几兆都够了。如果抓视频或者图片等消耗 IO 的资源，那肯定是要网速越快越好咯。其实，很多时候，抓的东西都会有限制，这个时候，你会发现账号或者 ip 才是瓶颈了（对于个人开发者或者小公司而言）。

爬虫很多时候主要就是占用 IO,cpu 和内存其实依赖比较小。一台机器的话，如果不考虑代理，很容易被封 IP。考虑代理的话，代理的可用性也需要考量。额，好像偏题了...你自己多尝试吧，爬虫比较依赖外部环境，反正需要视不同情况而定

[resolvewang]

感觉 v 站的兄弟太给力了。多谢大家捧场！

[soulmine]

@jtsai 爬虫主要看两个指标 你的 IP 个数 /账户个数 /机器个数 还有你的机器性能

[goodluck]

已经 start +　 watch, 两年前弄过类似的程序，说实话微博批量抓取还是比较有难度，pc 端单账号限制很多，以前只能用 wap 端抓取了 6 亿用户的微博（单机，半年，500 个账号）。好久没弄过了，楼主 github 写得不错，看看我抓的直播平台主播的微博： http://www.yibo666.cn/livetv/weibo/?is_ori=1

[resolvewang]

@soulmine 补充一下，单是做爬虫，机器性能要求相对来说要低一些

[resolvewang]

@goodluck 感谢支持。回踩一下

[resolvewang]

@goodluck 咋感觉你这个没有登录啊？难道说不用登录也能抓？用的啥方法？

[haofly]

super，super，666

[resolvewang]

@haofly 靠，哪里都有你

[resolvewang]

@haofly 快献出你宝贵的 star

[CosmoX]

已赞！

[resolvewang]

@CosmoX 谢谢支持

[haofly]

@resolvewang 早就 start 了

[resolvewang]

@haofly 哈哈哈，识货

[xiubin]

可以抓取一个用户所有的赞和评论吗？

[resolvewang]

@xiubin 我是实现的针对给定微博，抓取它的所有评论。如果是用户的评论和赞，我没去实现。并且，好像在微博系统中，我们也看不到某个用户赞了什么和评论了什么啊

[xiubin]

那你就不能转个弯嘛？

1. 针对某个用户，我们可以获取它关注的所有用户
2. 进而获取这些用户的所有微博
3. 针对所有微博我们可以获取所有评论

then，我们不是就可以知道是否有某个用户进行点赞和评论了吗？

是不是和你的初衷不太一致？你是要做数据采集，我是要关注女神 /偶像他们的动作。。