分享一个 Go 写的 BT 种子爬虫

[Lime]

主要实现了 BitTorrent DHT 协议。爬虫的原理主要是利用 DHT 协议监听别人的 announce_peer 消息，然后根据得到的 infohash 利用 BEP-9 下载 medata info(BT 种子文件的主要部分，可以认为是种子文件)。粗略估计了下，不到 24 小时左右下载了 10w+个 BT 种子。

里边的数据看了下，有很多电影、 pdf 、 mp3 、软件等资源，包括很多限制级资源，比如色情视频。你可以拿它做数据分析，也可以用它来建一个 BT 搜索引擎，不过要小心版权问题，也要做好被墙的心理准备(涉及敏感资源)。

最后 http://bthub.io 是用它建的一个 BT search engine 。

Github: https://github.com/shiyanhui/dht

[Lime]

上 Github Go trend 了，内牛满面

[doomhack]

@Lime 小白一个，求怎么使用

[Lime]

@doomhack

# 安装 Go ，设定 GOPATH
# go get github.com/shiyanhui/dht
# 进入到 GOPATH/github.com/shiyanhui/dht ，然后执行 go run example/spider/spider.go

就可以看到效果啦

[doomhack]

@Lime 谢谢指点！

[Lime]

@doomhack release 了编译好的二进制，你可以下载 https://github.com/shiyanhui/dht/releases

[matrix67]

配合这两个图有奇效

[matrix67]

https://gist.github.com/anonymous/b7a3300f42bac9f2b4987188f14ca5e1

[Lime]

@matrix67 这个厉害！

[Lime]

另外，那个软件是什么？

[isbase]

@matrix67 这个软件是什么呢？

[yanyuan2046]

实现的相当漂亮，是我见过最好的

[tinyproxy]

T_T 全是乱码。。。是我打开姿势的问题么

http://bthub.io/search?key=1024

[Lime]

@tinyproxy 改成 GBK 后是这样的

http://imgur.com/a/Z63wH

[Lime]

额

[doomhack]

@Lime 感谢！！！！

[bluesky139]

@Lime 请问内网环境下是否有效，能不能抓到？

[jasondan]

楼主威武

[Lime]

@bluesky139 在内网还不行，目前还不能穿透 NAT

[Garantion]

@Lime burp suite

[yunji3344]

http://www.7tdy.cc 看电影而已