煎蛋被爬虫爬炸了

[WuwuGin]

昨晚到现在煎蛋后台大部分时间是瘫痪着的，因为有人在疯狂采集，连接数过多让煎蛋数据库频繁挂掉。点不了 OOXX 发不出评论 /吐槽的同学不要猜测，原因就是这个。



至于为什么被频繁采集，这要归功于某些拿煎蛋练手还去 github 开源采集煎蛋程序的牛逼程序员们。







原本我们是可以从服务器端屏蔽掉恶意采集，但服务器扛不住 DDOS，不得不全站 cdn，但 cdn 又等于是把静态内容贡献给恶意采集者。



COLT 正努力从技术层面解决。请耐心等候。


以上来自煎蛋站长 sein。

[mohoumk2]

发现回复下面有个有趣的评论

[ccc008]

爬蚱好吃

[congeec]

缺德

[jy02201949]

访问到这个量级的站也不好好考虑自身条件是否符合发展需要，当年被告也是这样不知所措

[Lentin]

搞个 api 不就好了，还采集啥（雾

[fuxkcsdn]

@mohoumk2 正解！上次在 V 站上看到有人“又”（为什么说又呢？你们懂的）在发布所谓牛逼的煎蛋爬虫，at 了站长也没做处理
这边不让讨论盗版，却可以光明正大的分享偷（别说爬虫不算偷）别人数据的项目...

[zander1024]

@mohoumk2 人家说的大实话啊 https://www.v2ex.com/t/401866#reply60

[wbt]

。。。

[tuding]

@coderluan +1
我也是单线程爬, 而且挂服务器上, 避开高峰时间

[Jayce245]

你要是说练个手爬几张图片看看是不是正确也就算了，无限制爬取的确挺缺德的