[分享]基于 GO 语言写的 DHT 爬虫实现的种子搜索引擎,小清新流派的。

[xiaojiong1991]

做这个呢
主要是想好好的学习go。然后自己也想折腾折腾玩玩。
目前收录了1000w+资源了，目前资源数以每天5w左右的速度增加的。

http://btku.org

实现的自动入库，自动重建索引，基本上不用维护，然后自动就把资源抓取下来了。
这个可以看见最新收录的资源。。1分钟更新一次。
http://btku.org/new

爬虫实现的核心代码:
github:https://github.com/xiaojiong/DhtCrawler">https://github.com/xiaojiong/DhtCrawler

后续想继续开发，做点电影推介啊什么的。
求指导哈。。

[Anybfans]

@mhycy 。。有问题么。毕业设计不让做这个么。。。

@xiaojiong1991 行。。我研究研究。 不难吧？

[rrfeng]

都不能下载。。。

[xiaojiong1991]

@Anybfans 不难哈

[xiaojiong1991]

@Anybfans 不难哈
@rrfeng 什么问题哟？ 发下 具体链接 ， 你指的是 什么不能下载哟？

[hahasong]

爬dht和爬magnet是一样的源码么

[mhycy]

@hahasong 是的,目的都只是为了获得种子的hash而已,不同点在于magnet获取到hash就完了,这个工具似乎还会把种子下回来...

[leemw]

只知道这种网站流量会蹭蹭蹭的上去。。。

[xiaojiong1991]

@mhycy 对哈，主要是要解析种子内的信息

[rrfeng]

@xiaojiong1991
比如随便搜一个，thunder:// 链接全不能下载，都显示 Index.html
磁力链没试。

种子文件要么不能下载，要么下回来打不开……

[holmesabc]

大家都在搜!!!!!

[fising]

我之前也做了一个，上线几天就主动关闭了。小心有人举报送你进去。

btbook.net 也是此类网站

[des]

@Anybfans 自己搜一下就有了啊
https://github.com/wuzhenda/simDHT
https://github.com/blueskyz/DHTCrawler

[Anybfans]

@des 先谢谢。。回去研究一下

[lirau]

@fising 这种也能进去啊

[fising]

@lirau 涉嫌传播淫秽色情信息、传播盗版内容。哪个都够喝一壶的。认真起来，是要坐牢的。

[chenzhe007]

@fising btbook是我师兄做的～～确实经常被投诉。

[YouXia]

自动构建索引这块怎么做的？

[xiaojiong1991]

@YouXia 增量更新 ，然后 重建索引

[jeanim]

可以加下lz的Q？

[jeanim]

http://www.v2ex.com/t/184116
我想做一个这样的网站，但web还不太熟悉，想加Q请教下。