自己做的一个百度云盘搜索引擎，大家支持下。嘻嘻

[k1995]

之前也写过百度云盘爬虫，不过结果是来自 Google 自定义搜索结果，这次自己写了一个百度云盘爬虫程序， 2 天爬取了 60W 数据，其实能够能多，主要是百度有反爬虫机制，爬了几分钟后需要 5 分钟后再次爬取。
网址： http://pan.whatsoo.com
刚刚上线，许多功能还在更新。。。

[abelyao]

竟然没人回复…
60W 数据太少啦，搜个 “苍井空” 都说没结果，怎么可能呢~ 试了一下深度搜索果然还是有的~
那你就弄两个 IP 嘛，每个爬 5 分钟轮流~ 爬个 600W / 6000W 数据之后可以直接卖数据咯~

[k1995]

前两天才开始爬，数据量确实有点少。以后弄个分布式爬虫，应该就开了

[abelyao]

@k1995 相比之下更好奇你的爬虫 [抠鼻]

[xiaoz]

mark ，已收藏。

[lycos]

没有公开的 隐私设置的 可以爬到吗？

[k1995]

@lycos 这个，还真没研究过。估计不行

[easychen]

弱弱的问一句，从哪儿找百度的网盘的文件索引？直接用 site:pan.baidu.com 搜， 70 多页以后就不显示数据了。

[fishlee]

分布式爬虫不好控制

[k1995]

@easychen 肯定不是用 site:pan.baidu.com 直接分析百度云数据包，爬取好友列表

[easychen]

@k1995 thanks :)

[BuilderQiu]

[k1995]

@BuilderQiu 嗯，我昨天在调试，手误，很快就改回来了

[inmyfree]

@BuilderQiu
@k1995

哈哈， ThinkPHP

[cdwyd]

你好，怎么过的百度反爬虫机制，测试连续请求 50 次左右 就被屏蔽了

[k1995]

@cdwyd 1 ，降低爬去频率，比如 2 秒请求一次
2 ，屏蔽只是一段时间，几分钟后会自动恢复，所以可以继续爬取

[k1995]

whatsoo#com 已被墙，需要的朋友可以访问新域名 http://pan.ibying.com

[sadara]

开源吗？怎么授权

[k1995]

@sadara 过段时间会开源，近期较忙，==

[jabingu]

新域名不行，打开是博彩网站