GirlCrawler - 简洁、高效的煎蛋妹子图

2017-08-17 21:40:47 +08:00
 ericlong233

注意:适当撸妹益脑,过度撸妹伤身。请在遵守当地法律法规的前提下使用。煎蛋网资源有限,请适当使用。
原来的帖子 t/383493 由于本人的操作失误被放入无要点,已提交管理删除

GirlCrawler 是一个简洁、高效的煎蛋妹子图爬虫。它基于高效、异步的 Node.js 。具有以下特性:

安装方法:npm install girlcrawler -g 注意 -g

Github repo: Ericlong233/girlcrawler
npm repo: girlcrawler

3813 次点击
所在节点    分享创造
8 条回复
a570295535
2017-08-18 08:00:58 +08:00
除了新手练练手玩玩,爬这些毫无撸点的图有个卵用啊
whileFalse
2017-08-18 08:39:02 +08:00
Running crawler with arguments: thread=64, filter="oo > xx"
** F I N I S H E D ! **

为啥目录下啥也没有呢。
ericlong233
2017-08-18 10:24:14 +08:00
@whileFalse 截个图发到 issues 里如何?我来处理
ericlong233
2017-08-18 10:25:25 +08:00
@a570295535 有撸点的可以去 tumblr 和 pornhub
silencefent
2017-08-18 13:49:51 +08:00
请不要在煎蛋使用爬虫
ericlong233
2017-08-18 14:05:21 +08:00
@silencefent 照你这样说,所有的搜索引擎都找不到煎蛋,所有的第三方(以及可能的第一方)客户端都不能使用。
图片是微博的,爬虫不会执行 JS,也就是说,爬虫只会爬取页面的源码和微博的图片,不会爬其他的东西。一页煎蛋妹子图的源码大约 80~100KB。
我现在能做的是,尽量把爬虫对煎蛋的影响降到最低,这点可以从我的源码里看出来。
ericlong233
2017-08-18 14:07:25 +08:00
@silencefent btw,如果 sein 他们再次放出捐赠链接的话,我会考虑捐赠。
Trim21
2017-08-19 00:24:24 +08:00
看了下 robots.txt /ooxx 是可以爬的吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/383798

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX