YisouSpider 是否支持 CrawlRate？

[Livid]

这个爬虫是为阿里巴巴的 sm.cn 服务的吧？

这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？

我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。

[Livid]

找到了这个：

open.sm.cn

但是收不到注册邮件啊？

[Livid]

统计了一下日志，现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。

[Livid]

为了给 V2EX 节约一些资源，下面这些 IP 只能先封 1 个月了：

42.156.138.78
42.156.137.78
42.120.160.108
42.156.139.78
42.120.161.108
42.156.137.108
42.156.138.108
42.120.160.78
42.156.139.108
42.156.136.108
42.156.136.83
42.156.137.83
42.156.138.83
42.156.139.83
42.120.160.83
42.120.161.83

[Livid]

盛况如此：

[zjgood]

L大不优化，蜘蛛都这么钟爱V站

[xinple]

是的，昨天我也遇到了，小站扛不住啊

[macken]

直接用nginx把这个spider给干掉

[mikuazusa]

http://bbs.uc.cn/thread-4956721-1-1.html

[mikuazusa]

@Livid 顺手和同事反馈了，希望有用...

[kofj]

sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。