怎么批量下载网站上的提供的文件目录？

[ivanchou]

site: http://satdat.ngdc.noaa.gov/dmsp/data/ 首先这是 apache 么？

然后其网站提供的 FTP 目录貌似不一样，而且访问速度极慢，不知道是不是网络问题。

然后尝试用 wget 下载 apache 目录的方法，但只能下载到 index.html 。

[imn1]

wget 可以拖全站的，自己再研究一下参数吧

[ivanchou]

@imn1 wget -r -np -nH – cut-dirs=3 -R index.html http://satdat.ngdc.noaa.gov/dmsp/data/
有什么问题么？

[imn1]

好久没做拖站这事，参数都忘光了

[ivanchou]

@imn1 我不确定这是不是 Apache, wget 能拖非 apache 的站点吗？

[ivanchou]

@imn1 还有 wget 会遵守 robots.txt 么？

[imn1]

跟什么服务器无关，就是 http 协议
robots 没研究过，理应遵守， wget 是从 html 内获取 link ，不是自己猜测