听说你们把煎蛋爬趴下了，于是我也爬了一下发现没多大数据量，就很不理解

[mdzz]

爬虫比较简单，比较快就写好了，爬的过程中遇到了反爬策略， 大约 50 个请求之后就会 403， 于是给请求分组，一组 50 个，组与组之间间隔 60 秒，就没有再 403 过了。

---

下面是抓取过程中一组共 50 个请求的网络流量图

约 10KB/s 的流量大约持续 30s 左右，一组流量约 300KB。

---

总共爬了三个版块，妹子图、无聊图和段子

• 妹子图：有 241 页共 5 组
• 无聊图：有 294 页共 6 组
• 段子：有 132 页共 3 组

共计 14 组，若按一组 300KB 计算，不超过 5MB，抓取总时间需要约 20 分钟。

---

下面是抓取后的数据库，数据库不到 16MB （抓取过程启用了 gzip，故网络流量远小于最终数据库大小）

---

我就不明白了，怎么就把煎蛋爬趴下了？怎么就爬趴下了？爬趴下了？

[opengps]

@Ryosan 特意看了一眼，确实是

[mcds]

19 楼好评~

[toono]

@cyn 原以为“煎蛋”是京东，谁知道，煎蛋就是煎蛋网

[Acebiu]

被随便带带节奏喊技术无罪的是不是也是你们？

[knva]

求你了,别爬煎蛋了.

[Januser]

“我就是踹了他一脚，他怎么就能死了？”

楼主和其他千千万万踹了煎蛋一脚的垃圾都这么说。

[momocraft]

爬虫门槛太低了。
讲真比脚本小子还低，又有妹子图形成正反馈。可怜这些做内容的网站。

[malkavia]

我没记错的话，好多新手教程都是爬煎蛋爬糗百的

[lingo]

赞 19L

[7654]

楼主该看看煎蛋的 PV 什么的
一个 WP 博客站能有这个数据已经很了不起了

[Xrong]

楼主这种爬虫算好的了，有些入门的新手连个延迟都不加一顿瞎搞。CDN 请求大量回源，源站也很蛋疼。。。再说一些小破资源站哪里有那么多资源去弄些反爬措施。

[Felldeadbird]

把代码分享出来吧。让全国都去爬就体验了威力。233333

[bsidb]

煎(jian)蛋(dan)

[8023]

No individual raindrop ever considers itself responsible for the flood.

[smgui]

设计爬虫尽量温和，杀鸡取卵不是一个文明人正常的做法

[croz]

@bsidb #33 是 jandan，（手动滑稽）

[laqow]

因为刚学编程 2 小时的傻子也能写出煎蛋的爬虫

[lyhapple]

我想爬汤, 奈何网络太渣渣, 没有威屁恩

[logOo]

@lyhapple 看了你的回复，好像打了新的世界。。

[wfd0807]

@zlfzy
@lyhapple
爬汤是什么？