怎么跟踪类似这样的一个网站的二级目录和三级目录

[huangya]

可能标题不是很准确。直接举列子吧：
http://vger.kernel.org/~davem/
http://vger.kernel.org/lpc_net2018_talks/

可以看到这个网站有许多二级目录甚至可能有三级目录，那我怎么知道所有类似~/davem 和 Lpc_net2018_talks 的目录呢？似乎一级目录 vger.kernel.org/没有链接或者列出二级目录。

[vanton]

没有 index 权限的话，是不可能获得的。

要么暴力穷举。

[hcocoa]

google

site:vger.kernel.org

[shaojz2005]

禁止目录列表本来就是网站安全很重要的一环

[huangya]

@shaojz2005 但维护网站的人最好能提供链接吧？这个网站有好多有用的 pdf 和 ppt 。

[huangya]

@hcocoa 感谢，算是比较好的一个 workaround 。

[h0099]

wget --recursive
https://www.gnu.org/software/wget/manual/html_node/Recursive-Retrieval-Options.html
https://stackoverflow.com/questions/273743/using-wget-to-recursively-fetch-a-directory-with-arbitrary-files-in-it

[h0099]

但这不适用于您遇到的
> 似乎一级目录 vger.kernel.org/没有链接或者列出二级目录
> 但维护网站的人最好能提供链接吧？这个网站有好多有用的 pdf 和 ppt

wget -r 不过就是像爬虫那样去跟踪下载到的 html 中所有 url 并递归下载下来

win 上也有个类似 wget -r 的商业软件 https://metaproducts.com/products/offline-explorer
我以前用过破解版 archive 过几个小网站

[shaojz2005]

既然可以联系到维护网站的人，让他提供服务器 ssh 就可以访问所有资源了