微博、微信公众号现在有什么比较好的爬虫方案吗?

[cqcn1991]

想定期爬几个微博号、公众号的数据，做个信息汇总的网站 但是不知道现在微博和公众号的爬取难度如何？

[liaowu]

公众号爬搜狗就好了。历史文章都有

[cqcn1991]

@liaowu 话说有没例子？还是得做 cookies 那种？

[zcoder]

@cqcn1991 不需要 cookie ，直接从 http://weixin.sogou.com/ 爬取

[cqcn1991]

@zcoder 有现成的例子嘛...我打开的话，比如
http://weixin.sogou.com/gzh?openid=oIWsFt5VXo_r9FO8m6f3vJ7XpYrE&ext=KyZuplSC23Ks2fd6j023fb1Ok8RDlXz7l0tb4XTqfw7ibVq4seKWRxnN9rE9Kt5F

还是看不到信息

[dong3580]

用 c#上的 webbrower 爬取，不过微博可能翻页会有验证码

[vvaaiinn]

@cqcn1991 楼主你好、最近也在搞这个、但是水平有限、不知道怎么免过登陆、可否加个联系方式交流交流

[cqcn1991]

@vvaaiinn 我也是啊...不知道怎么搞....我根本抓不到相关的信息

[cqcn1991]

@liaowu
@zcoder
@dong3580
已经基本解决了小量的爬取，我自己是 Ruby ，用的 PhantomJS
凑合着用吧...