求教，根据现成的 url 清单下载网页的最好方法是？

[werwer]

能够模拟登录状态，尽可能的高效且能避免被 ban

[cutecore]

firefox 有两个插件： "Open Multiple URLs" 和 "SingleFile | 将完整的页面保存到一个 HTML 文件中" 搭配着用可以

[dallaslu]

wget

[tool2d]

我以前用浏览器插件做远程调用实现过。

wget/curl 这种 ssl 指纹都不一样。还是 chrome 主流的指纹，比较不容易进黑名单。当然也需要控制访问频率。

[gdfsjunjun]

不知道你是不是指 Save Page WE 这个 Chrome 扩展。
我觉得很好用，直接将页面保存为单个文件。

[werwer]

@gdfsjunjun 我是指根据已有的 url 大批量地下载网页。另外，你所说的这个扩展和直接 ctrl+s 然后选择格式为 mhtml ，有什么区别吗？

[gdfsjunjun]

@werwer 扩展会直接把图片转成 base64 ，你直接保存存的是图片链接，有可能以后会失效。