请问各位大佬有没有办法获取搜索引擎收录某网站的所有页面？

[mzlogin]

你要的是搜索 site:xxxx.com 的效果吗？(逃

[sunfishlu]

@mzlogin 不是，这个搜索有限制，最多显示 100 页。

[soy]

入职搜索引擎公司 然后对所有收录的网页数据跑个 MapReduce （逃

[kaiki]

@soy 要不直接入职这个网站的公司吧，这样应该更方便点

[Tianao]

进搜索引擎站长工具 /站长后台。

[Mutoo]

如果网站有 sitemap.xml 直接遍历即可。

[TimePPT]

如果是比较大的站，搜索引擎前台根本不会全放出来。这个跟搜索效率工程实现相关。

[sunfishlu]

@soy 我自己的网站被黑了，备份也没了。