Colt 贴出了 CDN 流量。煎蛋真的经不起你爬

[congeec]

链接： http://jandan.net/pic/page-297#comment-3600673
可以看出一个 ip 能占好多资源

讲道理，咱得有点良心对吧。人家煎蛋没咋盈利，真要倒了大家摸鱼都不自在。而且 tumblr 上的妹子多多了去了，经得起你玩，而且好多煎蛋上的妹子图都转自 tumblr。你要是一裤裆火憋不住的话，github 上还有硬盘女神

[Nostalgiaaaa]

看到煎蛋底下评论骂声一片。。。真的惨

[Lentin]

前排提示 tumblr 有 api 随便爬

[togodo]

公布爬虫代码的后果居然如此可怕。。。。

[f2f2f]

colt 表示晚上要来这怼人啦！准备好小板凳看戏啦！

[congeec]

@togodo 好多脚本小子拿来直接用......
其实也有树大招风的因素，微软还天天受攻击呢

[qqwinds]

q 前排出售小板凳。。。

[zpf124]

吃瓜看戏，小板凳准备好了， 话说有个帖子的哥们不是说 gz 解压之后总共才数据才 16M。

爬 4/500 的那些大仙到底爬了多少遍,还是说爬虫算法写的太捉急了...

[avrillavigne]

Livid 啥时候也来怼一波

[yuxuan]

前排看戏

[MrIndescribable]

我来带一波节奏：

aHR0cHM6Ly9pLmltZ3VyLmNvbS9QeEF6SHZuLnBuZw==

[congeec]

@MrIndescribable 老哥稳👍，打开图前我还在想要不要买营养快线呢😂

[acoldfox]

笑死，从 V2EX 闹到煎蛋又要闹回来了

[mysql]

他用的什么 cdn

[MrIndescribable]

@congeec 我这是新号，图床链接不让发。。。

[aengui]

硬盘女神还能用吗？

[schema]

某程序员炫耀。。。哈哈哈哈

也不是一次两次了

[6IbA2bj5ip3tK49j]

@MrIndescribable

帮你贴出来

[mdzz]

在看到 /t/401866?p=1#r_4904906 50 楼看到下面这张图的时候

这是启用了分布式爬虫吗？还是说每个请求都新建连接之后又不关闭？

总之就是觉得这个爬虫技术有点次，还要去爬人家的站

[iCodex]

@mysql 好像是又拍云

[yezhiye]

不是用微博的图床吗…看了下好像就图标还有些 js 文件什么的在服务器上，怎么会被爬掉这么多流量…