你见过 Web 爬虫, 可是你见过 P2P 爬虫吗?

[CrazySpiderMan]

网络爬虫爱好者为了爬取视频, 图片, 文档, 软件, 可能只想到写一个 Web 爬虫, 从各大网站爬取. 但是你知道吗? 这个世界上, 还有 DHT 协议, BitTorrent 协议.

想想看, 全世界每天有那么多人通过 BT 种子 & 磁力链接下载资源(有你懂滴的资源), 如果写个爬虫, 从 DHT 网络里"监听"人们正在下载的资源, 然后把这个资源的种子信息给下载并保存下来. 打造成属于自己的海盗湾!

这几天, 我用 Node.js 重写了我去年用 Python 写出的 DHT 爬虫 + BT 客户端 = P2P 爬虫. 为什么用 Node.js 重写呢? 除了我闲得蛋疼外, 还有个原因是 Node.js 在这个 Network IO 操作频繁的项目上, 性能非常非常牛逼, 占用也非常少! 不过代码难写倒是真的. 我花了好多天才重写出来.

爬虫运行演示视频: http://v.youku.com/v_show/id_XMTQ4NTIzMDU2MA==.html

默认参数下, 在最便宜的日本区 Vultr VPS 运行 24 小时, 可”监听"到 50 万 个 BT 种子信息. 我那个 Python 版的爬虫(只开源一部分), 已经爬了 1400 万种子信息, 连续运行了一年多.

我平常下载资源, 都是从我私人种子数据库里搜索, 然后拿磁力链接去下载. 比如搜索引擎找不到的新电影, 我都能从我数据库找到.

代码在这里: https://github.com/Fuck-You-GFW/p2pspider

求 Star !

如果你对此也有研究, 建议你看看 README.md, 列有这个项目如何发展的计划. 如果你对此感兴趣, 请 fork 它, 贡献你的智慧.

如果你对 Node.js 比较熟练, 也欢迎你重构我的代码, 我对 Node.js 不是很熟, 代码写得不是很好.

Star 到 1000 的时候, 我会写个文章, 给感兴趣但看不懂相关协议的人讲讲原理, 让每个人都可以写属于自己的 P2P 爬虫建立私人海盗湾. 包教会!

如果有兴趣, 可加 QQ 群即时交流: 145234507 (不用微信群是因为很蛋疼)

@vitovan @iugo (这就是我说的爬虫项目)

[CrazySpiderMan]

@ELIOTT 恐怕 Node.js 得升级到 V4.X.X 版本才可以.

[CrazySpiderMan]

@vdo 还望前辈指点指点.

[ELIOTT]

@CrazySpiderMan 感謝，使用 4.1.0 已成功。

[CrazySpiderMan]

@ELIOTT 你用的什么 SSH 连接工具? 看起来是在平板连接过去的.

[ELIOTT]

@CrazySpiderMan JuiceSSH, 手機連接的.

[l0wkey]

@CrazySpiderMan 看状态栏应该是 juice

[jy02201949]

视频流媒体播放，冲着这个给 star 了，不知道楼主有没有后续开发的动力

[CrazySpiderMan]

@jy02201949 感谢 Star! 我开发它的另外目的之一就是借由这个项目, 不断增强自己的技术能力, 毕竟这个项目需要很多很多我现目前都没有的知识, 那么就有动力去学习相关知识.

另外就是, 我时间多得很, 多得平常睡觉都要 12 个小时 :)

[CrazySpiderMan]

@CupTools 果真有人用 RethinkDB. 我关注它好久了, 然而并未用过. :)

[jasontse]

忠告：不管你是出于什么目的，***一定不要***在境外主机上跑这段程序。

[ooh]

老太太你还在搞这个？

[CrazySpiderMan]

@ooh 换了马甲都还有人活捉我. :(

[ooh]

@CrazySpiderMan 主要时你的马甲一般都比较 abnormal

[SlipStupig]

smb 爬虫专业爬内网共享

[llhh]

见过 web 爬虫，也见过 p2p 爬虫。

[v2014]

@CrazySpiderMan 老太太，我下 metadata 时请求本机的 bt 下载软件，每次都可以，但是请求根据 dht 给的地址去下 metadata 时，基本被拒绝，应该是什么问题啊

[CrazySpiderMan]

@v2014 都不详细说说情况. 我又不是算命的.

[CrazySpiderMan]

@ooh @v2014 以后不要叫我老太太了. 太显眼了.

[CrazySpiderMan]

@SlipStupig samba 协议的爬虫?

[SlipStupig]

@CrazySpiderMan 是的，为啥要叫你老太太呢？