这种专门索引百度网盘的搜索，它的爬虫不会被 ban 掉么？

[easychen]

最近一直在用 http://kaopu.so/ 看样子索引了很大量的内容，话说百度本身不对访问 IP 做频次控制么？

[lizheming]

看过之前一个爬虫的帖子，说是 5 分钟一次，做好频率控制多 IP 轮流就好了吧…

[d7101120120]

嘘小声点~~~~

[pathletboy]

频次控制不大好做的，现在网络很多都内网了，出口都是一个 IP 。

[gzlock]

也没法证明是用同一 IP 爬的啊

[easychen]

@lizheming 最近看这类网盘的索引量都到千万级了。感觉计算轮着来，也要抓好久来着……

[easychen]

@gzlock 除非用客户端爬，否则都会有 IP 的问题吧。（ 就算是多个 IP ，也是蛮有限的。

[kslr]

比如 Coding 支持运行程序的，可以做个 Proxy ，类似的还很多，也很稳定。

[lizheming]

@easychen https://www.v2ex.com/t/226413 刚才回顾了下这个帖子，他上面说的是 30w/天，如果是有 3 -5 个 IP 的话也就半个月就能爬到千万数量级了吧....

[easychen]

@lizheming thanks ：） 百度自己给出来的总量也就在 6000 万。

[wbingeek]

最近用的是这个 http://www.bdybbs.com/

[cevincheung]

代理 ip 资源十几块一大把还是高质量高出口带宽的

[easychen]

@cevincheung 求个链接看看~

[cdwyd]

@cevincheung
求地址

[zdyx123]

@cevincheung 同求一个地址

[gzlock]

@easychen
@cdwyd
@zdyx123
淘*搜 拨号

[Coxxs]

曾经抓过一年左右，索引过一亿+文件，每秒都在抓，用 1 、 2 个 IP 没被封。 https://so.cqp.cc/

[easychen]

@Coxxs 偷偷问一句从哪个入口开始抓比较方便哇…… 搜索结果页好像限制显示页数……

[Coxxs]

@easychen 以前每个文件有“相关文件”，可以通过相关文件抓，但是现在没有了。后来用的方法就是获取用户 ID （ uk ），然后遍历用户分享的文件。

[easychen]

@Coxxs thanks ：）

[techyan]

@Coxxs 网站已收藏。。