初学 Node.js，写了一个 18 禁小爬虫

[raawaa]

项目地址： https://coding.net/u/raawaa/p/jav-scrapy/git

jav-scrapy

jav-scrapy ，一个爬取 AV 磁力链接的小爬虫。

Prequisites

• Node.js 4.2.1+

Installation

$ git clone https://git.coding.net/raawaa/jav-scrapy.git
$ cd jav-scrapy
$ npm install # 安装 npm 包依赖
$ npm link # 使 jav-scrapy 全局可执行

Usage

Usage: jav [options]

  Options:

    -h, --help            output usage information
    -V, --version         output the version number
    -p, --parallel <num>  设置抓取并发连接数，默认值： 2
    -t, --timeout <num>   自定义连接超时时间(毫秒)。默认值： 10000
    -l,  --limit <num>    设置抓取影片的数量上限， 0 为抓取全部影片。默认值： 0
    -o, --output <path>   设置磁链抓取结果的保存位置，默认为当前用户的主目录下的 magnets.txt 文件

Todo

• 让 jav-scrapy 的操作方式更像原生命令行程序
• 只抓取某一类型的影片磁链
• 加影片磁链保存至本地数据库
• 增量抓取

[raawaa]

@Kuro 目前不可以，不过应该可以实现的，就是有点工作量。

[Kuro]

发现 javbus 这个网站已经有高清分类了，不错~

[ipconfiger]

1024

[qile1]

一直想弄一个可仪抓取电影网站图片及介绍的爬虫，把家里的电影介绍都更新，以后没网本地观看，可惜不会

[raawaa]

@xwartz 用上了，太棒了

[lk920724]

electron-v0.33.9-darwin-x64.zip 这个貌似下载的很慢额

[xwartz]

@raawaa 其实我想说的是图片资源不错吧...

[JiaFeiX]

请问 gif 图用的什么软件生成的？

[zzy8200]

然而服务器根本挂不了 BT ……

[GPU]

楼主想撸出血啊？

[ChiangDi]

楼主都是有孩子的人了啊... 直接找老婆不就好了......

[kn007]

高调收藏。。。

[kn007]

话说源码放 github 估计会有很多星星。。。

[fyyz]

屌丝进入高科技领域依然是屌丝（逃

[raawaa]

@JiaFeiX 用的 silentcast

$ sudo add-apt-repository ppa:sethj/silentcast
$ sudo apt-get update
$ sudo apt-get install silentcast

[raawaa]

@kn007 github 上也放了一个
https://github.com/raawaa/jav-scrapy

[bingu]

这贴干货真多。

[raawaa]

@lk920724 试试淘宝的镜像吧
npm.taobao.org

[ready2race]

1943 年,美国心理学家亚伯拉罕·马斯洛在《人类激励理论》论文中提出---生理需要是推动人们行动最首要的动力

[kn007]

@raawaa ~已星