[分享]基于 GO 语言写的 DHT 爬虫实现的种子搜索引擎,小清新流派的。

[xiaojiong1991]

做这个呢
主要是想好好的学习go。然后自己也想折腾折腾玩玩。
目前收录了1000w+资源了，目前资源数以每天5w左右的速度增加的。

http://btku.org

实现的自动入库，自动重建索引，基本上不用维护，然后自动就把资源抓取下来了。
这个可以看见最新收录的资源。。1分钟更新一次。
http://btku.org/new

爬虫实现的核心代码:
github:https://github.com/xiaojiong/DhtCrawler">https://github.com/xiaojiong/DhtCrawler

后续想继续开发，做点电影推介啊什么的。
求指导哈。。

[sallowdish]

搜索了下‘Voice Lover’, 果然货不少，赞一个

[bugeye]

然后我看了一下大家都在搜什么。。。。

[Mashiro]

大家在搜

[yuewolf]

很强悍！！！

[NewYear]

没有图片预览 差评

[MartinSong]

这些种子都是从哪里爬过来的？

[xiaojiong1991]

@MartinSong 就是DHT网络里面抓取的。 就是 我们使用bt 下载的时候 那个网络里哈

[MartinSong]

@xiaojiong1991 手撕包菜网络那里爬的么？我试了几个用迅雷，打开磁力下载，种子下载不下来呀？

[benjiam]

不错，我也曾想做一个来着。关键就是DHT 协议

[xiaojiong1991]

@MartinSong 自己去抓取的哈， 没在手撕包菜那爬。 你举例下哪些打不开呢。

[xiaojiong1991]

@benjiam 对的哈 就是关键是 协议

[ikaros]

热门搜索简直赞

[wind3110991]

github链接挂了404

[xiaojiong1991]

@wind3110991 https://github.com/xiaojiong/DhtCrawler

[xiaojiong1991]

@ikaros 哈哈。。教你用词呢。 算了 我看什么时候还是把这个词语给去掉算了。

[Anybfans]

请问有没有Python版的。。谢谢了。。学生想学习 顺便建一个这样的站

[mhycy]

@Anybfans
已经说明是Go编写的了,就别做伸手党了...
自己写个也不难,关键搞定了DHT算法就行

[Anybfans]

@mhycy 。。新手。真心不太懂DHT什么什么的第一次听说
> < 想搞一份Python版本的 当毕业设计。。

[mhycy]

@Anybfans
搜索一下就好了,做伸手党可不好啊...
说回来,毕业设计做这个没问题么?

[xiaojiong1991]

@Anybfans 我也是在网上看别人做了， 然后自己觉得好玩 所以就搜索协议什么的 做了一个。