爬虫抓取速度自适应问题

[SlipStupig]

之前都是抓取大型网站，现在抓取一些小型网站，出现把对方给抓死了（并发数 100 多吧），有什么办法能让抓取速度能够自适应，比如：对方是淘宝，开足马力去抓，如果对方是个小网站，能自动测出一个最合适的请求速度去抓取

[alexapollo]

看看 TCP 窗口怎么滑的，非常类似

[anexplore]

能够礼貌一些吗？

[VicYu]

令牌桶 https://en.wikipedia.org/wiki/Token_bucket

[stcasshern]

想知道对方淘宝，怎么保证开足马力不会被封。。

[binux]

从简单到复杂有非常多种办法，就看你有多少时间和资源去做这个事情了

[em70]

用超级 ping 检测，如果一个域名存在多个 IP 就是大站，只有一个 IP 就是小站

[SlipStupig]

@binux 能说说具体方案吗？

[SlipStupig]

@anexplore 我哪里有不礼貌的地方，请您指出，我一定改正

[binux]

@SlipStupig 能说说你有多少时间和资源吗？

[SlipStupig]

@binux 时间很充足

[tSQghkfhTtQt9mtd]

@em70 Anycast 哭晕在厕所

[SlipStupig]

@VicYu 这个是限制整体带宽去跑，我要做的是同时抓取 100 个网站，这 100 个网站的并发数都是不一样的

[binux]

@SlipStupig 那你可以统计待抓链接量和上一天的平均响应时间，尝试放大并发，一天之后看平均响应时间是否有变化。没有就继续加大。

[binux]

@binux 响应时间和错误率

[SlipStupig]

@binux 这个不太现实，我抓取的网站是不固定的，功能跟百度蜘蛛一样，链接是所有网站放在一个队列里面，至于上一天请求，如果我第一次抓取那个网站如何得到上一天请求？

[binux]

@SlipStupig
分站点统计都做不到吗？
你不是说时间很充足吗。。这点数据积累都没有？遇到新网站的概率才多少。。从一个初始值开始做就行了啊。

所以我问你有多少时间和资源做这件事啊，你看，我给你一个时间很多的方案，你又说不行。

[SlipStupig]

@binux 每天都又大量新网站，现在已经抓死了好几个站了，基本上不敢抓了

[menc]

@alexapollo 这位仁兄说的是正解，为什么不借鉴一下呢。

[shiny]

赞同楼上和一楼

[SlipStupig]

@menc 感谢，我也在研究看怎么实现
@shiny