初学 Node.js，写了一个 18 禁小爬虫

[raawaa]

项目地址： https://coding.net/u/raawaa/p/jav-scrapy/git

jav-scrapy

jav-scrapy ，一个爬取 AV 磁力链接的小爬虫。

Prequisites

• Node.js 4.2.1+

Installation

$ git clone https://git.coding.net/raawaa/jav-scrapy.git
$ cd jav-scrapy
$ npm install # 安装 npm 包依赖
$ npm link # 使 jav-scrapy 全局可执行

Usage

Usage: jav [options]

  Options:

    -h, --help            output usage information
    -V, --version         output the version number
    -p, --parallel <num>  设置抓取并发连接数，默认值： 2
    -t, --timeout <num>   自定义连接超时时间(毫秒)。默认值： 10000
    -l,  --limit <num>    设置抓取影片的数量上限， 0 为抓取全部影片。默认值： 0
    -o, --output <path>   设置磁链抓取结果的保存位置，默认为当前用户的主目录下的 magnets.txt 文件

Todo

• 让 jav-scrapy 的操作方式更像原生命令行程序
• 只抓取某一类型的影片磁链
• 加影片磁链保存至本地数据库
• 增量抓取

[0xfan]

80 回复， 178 人收藏，你们啊

[hi54yt]

@greatghoul

[fengdra]

@leavic 求打包发送

[kaiwei]

弱问磁力链接是种子吗 还是直接就能下载电影了？

[raawaa]

@kaiwei ，我希望你这样一直纯洁下去，所以不打算告诉你……：）

[sinux]

想问一下，那个总进度的不断前进的命令条是怎么做的？

[raawaa]

@sinux 有现成的包可以用的。
http://npm.taobao.org/package/progress

[sinux]

@raawaa 非常感谢

[flw01]

我们现在在招聘 node.js,坐标广州，感兴趣的私聊我哈， http://www.lagou.com/jobs/1284459.html

[greatghoul]

好样的。

[qingwalashi]

我用 python 尝试写了爬虫，有两个链接，没有任何返回值。问题，一个是网站的图片貌似写了判断，代码下载图片会显示一个拒绝的网站。还有一个是，你如何获得磁力链接的地址的？我直接打开 XHR 的链接，没有任何返回值。

[raawaa]

@qingwalashi 图片就是直接获取图片资源的 url 然后下载呗；磁链就是直接从 html 文本里提取呗。

[qingwalashi]

@raawaa 磁力链接获 html 解析不到撒

[raawaa]

@qingwalashi 你说的是「 javbus 」这个站么？

[pangtianyu]

其实这个好像算是传播盗版……

[0rangeT1ger]

对于我等来说, 第 16 行代码最为重要.

[halbert]

@ready2race 一百多年前 弗洛伊德就说过 “力比多”是人类一切活动的基础…

[huage]

学以致用啊，很好！

[eraise]

一直不知道如果不工作，代码还能干吗，现在知道了。。

[raawaa]

@eraise 因为我本职工作不是程序员，所以写的东西都是业余用来改善生活的。