这是一个创建于 1451 天前的主题，其中的信息可能已经有所发展或是发生改变。
问下 v 友们，有没有哪个比较好用的工具可以抓取整个网站的所有网页，都是静态的。
这网站在国外，科学上网了还是慢，想给他全部抓下来，离线看。试了 idm 的站点抓取，提示“连接超时，无法下载文件”，抓不到网页！
 |
1
sedgwickz 2021-01-01 18:22:48 +08:00  1
|
 |
2
musi 2021-01-01 19:05:25 +08:00 via iPhone
写个爬虫放到国外的服务器运行就好了
|
 |
3
mingtdlb OP 土办法 wget 应该是搞定了😂
|
 |
4
oneoyn 2021-01-02 19:11:36 +08:00
网站发来 我试试
|
 |
5
xuanzz 2021-01-03 14:12:32 +08:00 2
试试在国外的服务器、
wget -r -p -np -k ./ https://xxx.com |
|
6
mingtdlb OP @xuanzz 我没加 np 选项，下载是下载下来了，不过没有扩展名，得批量改名为.html，用浏览器打开才正常。这个 np 是啥意思呢
|
 |
7
Y29tL2gwd2Fy 2021-01-04 03:39:36 +08:00 via Android
github 。com/gildas-lormeau/SingleFile
|
|
8
mingtdlb OP @Y29tL2gwd2Fy 你这个不行，我要全站！当页 ctrl+s 可以的
|
 |
9
wangritian 2021-01-04 09:44:07 +08:00
研究下为什么上网慢？我怀疑是网站使用的某个第三方字体或脚本，没在 gfwlist 中，打开 F12 看看吧
|
|
10
mingtdlb OP @wangritian 我挂了$$了，还是不行。非常慢，无奈 就想着给他抓下来了。但抓下来的，又全是没有扩展名的，浏览器打开是源码，我还得搞个本地的 nginx🤣
|
|
11
wangritian 2021-01-04 13:46:10 +08:00
@mingtdlb 只是打开$$不一定走代理，还要确认工作模式，如果是 PAC，会有一个域名列表，包含在内的才走代理，其余直连；全局模式是无脑走代理。切换到全局模式试一下
|
|
12
xuanzz 2021-01-06 15:05:20 +08:00 1
@mingtdlb #6
$ man wget，然后搜索 -np 就有了 -np --no-parent Do not ever ascend to the parent directory when retrieving recursively. This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded. |
|
13
mingtdlb OP @wangritian 这个我确认过了，我用 clash，在 log 里是有看到
|
Select Language