关于抓煎蛋网的妹子图

SourceMan

2017-12-19 17:22:40 +08:00

煎蛋又要被爬挂了吗？

chen2016

2017-12-19 17:23:07 +08:00

估计要被煎蛋粉喷

mohoumk2

2017-12-19 17:24:25 +08:00

已拉黑楼主

wekw

2017-12-19 17:28:21 +08:00

@chen2016 我们叫“蛋友”

maxmin

2017-12-19 17:40:11 +08:00

@mohoumk2 就抓一下而已，怎么就委屈的拉黑了呢。

maxmin

2017-12-19 17:41:12 +08:00

@SourceMan 抓某一个页面的几个数据，不会这么容易挂的，只是测试而已。

现在抓下来的数据都是加密的，不知道怎么解密

onsale

2017-12-19 17:47:50 +08:00

换个 bat 的网站爬一爬

airycanon

2017-12-19 17:49:48 +08:00

@maxmin 既然是测试，不需要解密吧？

lingo

2017-12-19 18:00:33 +08:00

心疼煎蛋。。。

lalalakakaka

2017-12-19 18:07:52 +08:00

煎蛋人家都发文求你们了，承认自己小破站，没钱买流量，也没有足够的技术能力和人力跟你们玩猫捉老鼠似的反爬虫。。。

你知道你的这种行为给别人带来多少麻烦么

013231

2017-12-19 19:07:08 +08:00

@lalalakakaka
User-agent: *

Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /author/
Disallow: /feed/
Disallow: /search/
Disallow: /*?*

Crawl-delay: 5
Request-rate: 30/1m

Sitemap: https://jandan.net/sitemap-index.xml

User-agent: ia_archiver
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: Baiduspider
Disallow:

User-agent: YisouSpider
Disallow: /

User-agent: grapeshot
Disallow: /

User-agent: dotbot
Disallow: /

user-agent: AhrefsBot
disallow: /

User-agent: Exabot
Disallow: /

哪有声明不让爬妹子图?

3dwelcome

2017-12-19 20:43:27 +08:00

@013231 管理员贴过爬虫流量图、表示流量太大、小网站耗不起。

xmi

2017-12-19 22:44:39 +08:00

还有人在爬..

mengli

2017-12-19 22:51:30 +08:00

以煎蛋无聊图为内容源的网站可不少，去爬他们把。

onsale

2017-12-19 22:58:23 +08:00

@013231 #11

gyteng

2017-12-19 23:41:33 +08:00

为何大家都喜欢爬煎蛋，有没有其他类似煎蛋妹子图的网站可以爬呢？

cxd44

2017-12-20 00:03:01 +08:00

@3dwelcome 耗不起就不要玩，关机啦

jininij

2017-12-20 00:06:53 +08:00

没用过煎蛋，记忆里煎蛋的图用的不是新浪的图床么。游客请求的页面，本体都该走的 cache。不是很能理解，一个人的爬虫能有多大的并发，能把网站弄垮。

zhaojjxvi

2017-12-20 00:07:46 +08:00

豆瓣有个请不要害羞的小组，去爬那个吧，一般夜间有福利

greatbody

2017-12-20 00:10:22 +08:00

@zhaojjxvi GitHub 上面有通用的美女图爬虫脚本，nodejs 写的通俗易懂好变更。