煎蛋被爬虫爬炸了

[WuwuGin]

昨晚到现在煎蛋后台大部分时间是瘫痪着的，因为有人在疯狂采集，连接数过多让煎蛋数据库频繁挂掉。点不了 OOXX 发不出评论 /吐槽的同学不要猜测，原因就是这个。

至于为什么被频繁采集，这要归功于某些拿煎蛋练手还去 github 开源采集煎蛋程序的牛逼程序员们。



原本我们是可以从服务器端屏蔽掉恶意采集，但服务器扛不住 DDOS，不得不全站 cdn，但 cdn 又等于是把静态内容贡献给恶意采集者。

COLT 正努力从技术层面解决。请耐心等候。


以上来自煎蛋站长 sein。

[iShawnWang]

这.....

[laogui]

采集不是用同一个 IP 吗？这都防不了？难道换着 IP 采集？

[Mikewu]

@laogui 看正文，估计是成为开源爬虫项目中的 Demo 了。

[lwbjing]

@laogui 文中有提到“开源采集煎蛋程序”，想像一下场景...

[jas0ndyq]

快了？

[takanasi]

所以不爱写爬虫，感觉比较缺德

[zts1993]

写个爬虫练个手，你看知乎现在登陆都要验证码了。

[oh]

@laogui 多 IP 多线程 甚至分布式采集 不都是必备的么…

[coderluan]

写爬虫从来只用单线程龟速爬，否则感觉自己在干缺德的事。

[yu099]

果然，我说图怎么刷不出来

[doublleft]

猜测一下，因为我也采过，一般都是爬妹子图吧。。 既然妹子图链到的是微博图床，能不能直接开个 api

[swulling]

技术不行罢了

[deeporist]

加油

[EricCartman]

重定向爬虫到开源操作系统镜像文件

[yu099]

@EricCartman 这个不错

[Sapp]

最近知乎的爬虫教程都烂大街了，真搞不懂弄那么多爬虫是搞毛？就图个好玩？

[gamexg]

@oh #8

如果确认是开源爬虫问题，那么很好搞定啊。
直接照着爬虫规则改，让爬虫无法匹配即可。

另外虽然多 ip 分布式是爬虫常见功能，但是个人学习的话 ip 来源不会有那么多，高频率 ip 封禁或者加 js 验证、验证码验证都能够解决。

[lingo]

@swulling 个人感觉不能单纯用技术不行来说。本来以他们技术可以维持网站的的正常访问，结果这个开源项目带来大量的异常流量导致网站挂了，总不能要求每个公司都跟 BAT 一样吧。

[iFlicker]

老大加油， 可怜的 COLT。。。估计 colt 系列无聊图又要出了

[WordTian]

我说怎么最近评论的时候总出问题呢

[mohoumk2]

发现回复下面有个有趣的评论

[ccc008]

爬蚱好吃

[congeec]

缺德

[jy02201949]

访问到这个量级的站也不好好考虑自身条件是否符合发展需要，当年被告也是这样不知所措

[Lentin]

搞个 api 不就好了，还采集啥（雾

[fuxkcsdn]

@mohoumk2 正解！上次在 V 站上看到有人“又”（为什么说又呢？你们懂的）在发布所谓牛逼的煎蛋爬虫，at 了站长也没做处理
这边不让讨论盗版，却可以光明正大的分享偷（别说爬虫不算偷）别人数据的项目...

[zander1024]

@mohoumk2 人家说的大实话啊 https://www.v2ex.com/t/401866#reply60

[wbt]

。。。

[tuding]

@coderluan +1
我也是单线程爬, 而且挂服务器上, 避开高峰时间

[Jayce245]

你要是说练个手爬几张图片看看是不是正确也就算了，无限制爬取的确挺缺德的