谈谈网易云的反爬机制

[smallgoogle]

最近想做大数据分析； 所以想爬取了网易云的所有用户信息；

那么重点来了，我发现，网易云有单模块防御机制； 比如个人用户主页，我爬取了大概 5W+左右，反爬机制就生效了， 不管访问哪一个用户的主页，都是返回 404，连我自己的个人中心都无法登录了；

我试过 cookie 变换，但是得出结论绝对是 IP 被黑了。 请问各位，有没有相关经验。 到底是不是黑了 IP。。。。。

[sunzongzheng]

我被 ban 过 ip，大概 ban 了 7 到 10 天左右

[smallgoogle]

@sunzongzheng 不是。那么认真的么？ 7-10 天？

[cyrbuzz]

网易云的反爬貌似是基于账号的，换 cookies 是有用的吧？

[Baboonowen]

来个爬虫代码 让大伙验证一下 嘿嘿

[CivAx]

去随便一个云买个小鸡跑一下就知道了

[locoz]

不换 IP 又不在限制范围内当然会被封 IP 啊。。

[smallgoogle]

@cyrbuzz 是 IP 挂了。cookie 换过了。无效。

[masterjoess]

虽然让你爬了 5W+了，但你该不会是想用单 IP 爬全站吧？全国混拨了解一下

[sunzongzheng]

@smallgoogle 我上次是 for 循环无延时调的音乐接口，在服务器上，然后被 ban 了这么久

[LukeChien]

网易云有啥好爬的

[whoami9894]

我记得原来爬 ins，cookie+ip+请求间隔反爬，接口还乱糟糟，头疼

[smallgoogle]

@sunzongzheng 目前来看。我到现在还没解封。估计是六七天才行了。

[smallgoogle]

@masterjoess 大概是我太单纯了。

[smallgoogle]

这两天摸出结论：

网易云是双封，先在你的 cookies 写入封禁的字段，然后封禁 IP ；
如果你换了 IP，不清理 cookies，一样死；

所以解封的办法是，先清理 cookie，然后换 IP。然后访问就 OK 了。

[cxa]

现在还有写爬虫不叫代理的么。。。

[bjt5521]

我是做代理 IP 的，我们有个企业客户，成立了一个攻坚反爬部门，专门研究怎么绕过风控抓取数据。现在风控台厉害了

[smallgoogle]

@bjt5521 成功绕过了么？

[skywingfs]

搞爬虫你需要代理池

[kr380709959]

你这单 ip 单 cookie 想爬全站么？
我一个新手爬拉钩都用了十几个 cookie+代理隧道爬取，爬了 50 万+的数据，压根没毛病。
楼上有个哥们说得对，随机 cookie 列表+代理 ip+随机间隔请求时间，基本上对付中小网站没问题了，除非你想碰阿里这种怪物。

[find456789]

@kr380709959

请问您这十几个 cookie，是同一个账号生成的， 还是 十几个不同账号生成的。 谢谢