DHT 爬虫遇到奇怪问题

2016-02-22 10:18:39 +08:00
 firemiles

想写一个基于 DHT 网络的磁力链接爬虫,参考网上的实现写了一个。刚开始运行的时候还行,可是最近几天遇到了怪事,每次启动爬虫都获取不到 peer 发出的 announce ,添加调试信息发现获取的 ip 数一直保持在 1261 个左右,不再改变。如果超过 1261 这个数值就很快到达 10000 ,然后能成功获取到 announce ,刚开始以为是局域网的原因,所以转到了阿里云上用独立 ip 测试,发现了是一样的结果,也只能获取 1261 个左右 ip ,各位对此有什么见解吗?

另附上主要参考的 dht 爬虫代码:simDHT,各位也可是试下看是否遇到相同情况。

379 次点击
所在节点    问与答
2 条回复
firemiles
2016-02-22 10:44:33 +08:00
测试发现每次 1261 个 ip 是一样的
firemiles
2016-02-22 17:58:18 +08:00
我发现把 simDHT 里的 ip 队列容量从 200 改成 20000 有一定效果,可以增加打破 1261 这个上限的概率。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/258141

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX