新浪微博爬虫老是被封，换了 IP 和 cookie 也不行

[goodluck]

这几天抓取新浪微博，每个请求随机一个代理，每半小时换一个账号，过了几个小时，立马几十个账号被冻结。很郁闷。。。有高手知道怎么对付新浪微博的反爬虫么？

[bzzhou]

> 每个请求随机一个代理，每半小时换一个账号

这种请求不封你才怪

[shiny]

抓的是 m.weibo.cn 还是 weibo.com

[CheungKe]

放慢速度。
看 robots.txt ，你这么做是违法的

[ksc010]

@bzzhou 是啊别换代理 减慢速度 一个帐号固定使用一个代理就行
每请求 n 次就暂停几个小时 然后换下一批帐号

[hcwhan]

主要还是每个账号一直换 ip 的问题吧 可以抓几次后 换账号的同时换 ip 每个账号 ip 不换

[mfinal]

经验之谈（仅针对 mobile 版）：
微博的反爬虫还是很厉害的（阈值为：人点的太快都会 /sad ）
高速状态下（多线程）数分钟就挂，低速的话（几秒 per resquest ）一个账号可以持续数小时。
还是多账号延长冷却吧～

还是等高手作答

[mapleray]

告诉一个最简单的方法，用 google bot 的 header,频率控制好就行

[UnisandK]

同一个账号一直换 IP 你这不作死吗

[badcode]

@mapleray 想起也是*度，谷歌,屏蔽它们的 UA(spider)，

它们会用"正常"的 UA 看一下，然后再用 spider 走一遍

看日志看 ip 知道的

[goodluck]

@shiny 我抓的是 weibo.com

[goodluck]

@CheungKe 感谢您，爬虫违法的这东西太虚，我不担心这个。

[goodluck]

@ksc010 我是每天计划抓 20 万用户的信息，慢速的不行，速度必须要快

[goodluck]

@hcwhan 好的，我试试您的方法。

[goodluck]

@mfinal 是的，我现在根据这几天的经验，猜测的是新浪的反爬虫不是实时的，没过 2 个小时左右的频率，新浪就会封一批账号，现在我在测是新浪的规则，目前来看，换代理的原因比较小，因为前几天我用一个账号不换代理也是 game over.

[goodluck]

@mapleray 感谢您的建议，第一次听说这个东西，我会尝试的。

[goodluck]

@badcode 厉害，这你都看得见。。。

[msg7086]

虽然可能性并不大，但是违规爬虫的话人家完全可以挖掘出你个人信息然后按照网络攻击什么的来起诉你。

[theFool]

最近也在爬微博， 很好奇 lz 代理是怎么来的。
我在网上找到的代理都被封了。
如果方便的话能指点下关键词吗。 谢谢。:)

[goodluck]

@shiny 请问你用的手机端，能不被封么？