打包下载一个网站的所有网页和资料，用哪款软件比较好？

准备雅思口语重考中，理工类高分子材料专业，一战Overall 7，L 8.5,R 8,W 6, S 5,口语悲剧了；

申请CSC够用了，但是申请英联邦的理工类大学至少均分达到6。

目前准备十二月份再考一次，不知那时候来不来得及申请？还是提早到十月份好一点？

以上是背景

想要拉取的资料是这个网站的：
http://ielts-yasi.englishlab.net/

现在找到的资料版本是2009年从这个网站上拉取的：
http://club.topsage.com/thread-2380637-1-1.html

因为做了不少改动，加上雅思口语的时效性比较强，我这边又不能经常上网，所以希望能模仿上面的抓包把最新版的整个网页抓取下来。

想要问一下有什么工具软件能实现这个网站资料的拉取?需要怎么样的设置？到哪里可以找到具体的教程？

如果有人能帮忙拉取后发送到我的邮箱，那就更加爱感激不尽！我会想办法转20银币（数量再讨论）给你（不知目前的金币系统是否可以直接转账？还是只能通过点击“感谢”来实现金币转移？）

不知V2EX是否支持悬赏功能的@livid？我觉得对于一些对门内人不是很复杂对门外人显得有些复杂的Task都可以尝试用这个功能解决：）

saturn

2012-06-25 14:40:23 +08:00

我都为你这个成绩感到可惜啊，瘸腿的厉害。12月估计来不及，等你成绩单出了，黄花菜都凉了。话说你现在申请学校没？拿到COE了吗？申请学校是不需要雅思成绩的啊，建议COE先行，可以早半年。想入学的时候，补交成绩然后催签就可以了。

建议早考，而且口语这东西短期内很难提高，那么就只能靠运气和发挥了；闲得蛋疼可以一次性报两个，先后去考，更保险。

考雅思，战术很重要。

iray1991

2012-06-25 15:08:24 +08:00

@Alcar
@013231
好多命令行，看不懂，自己在用IDM自带的站点抓取，抓的不是很全；
@saturn
实在不行，就去荷兰德国法国，那边没有语言要求，目前看好荷兰的Delft，华人聚集地，而且荷兰的高等教育也是全球出名，不过还是准备考一次，就是不大希望八月份去考，估计两个月口语进展不大；
老实讲，其实是博士生导师让我考的，看他的说法是到时候直接凭借私人关系推荐过去，这样的话学校可能就是有他给我推荐；尽管如此雅思成绩肯定是必须的，就是不知能不能在年底拿到conditional offer，这样不行的话就要等一年，我比较倾向于现在出去，但是一下子报两次，好拼人品呐,一次1500，肉疼。

那么十月份考是否来得及？还是说看具体的学校？

坦白讲八月份去还真没信心

@013231 已下载，非常感谢！怎么样把其余的银币转给你呢？

saturn

2012-06-25 15:18:33 +08:00

@iray1991 你问下具体学校的Admission office那些MM就好了，根据入学时间来安排雅思成绩和COE申请事宜。对于时间的预留，我见过大量的案例，主要不是因为学校的offer问题，而是签证的处理时长问题。

比如，南半球一般在2月底、7月底分别入学，你12月考试，能否赶上也很难说，因为中间有个圣诞节，学校和签证处一般都会放长假（国内的签证处、使领馆很多还会跟着中国人一起放春节假），所以这个时间节点最好不要用来申请签证。

一句话，雅思考试安排得要a.s.a.p ———两年有效期嘛，怕啥。

iray1991

2012-06-25 15:28:47 +08:00

@013231 我主题里提到的2009年的资料包里是按照对应主题建立了子文件夹的，不知道对方是手动操作还是使用的拉取方式不同。
不过这只是一个小瑕疵，毕竟内容是王道，下载下来就可以自己根据需要慢慢整理了。

@saturn 那么十月份或者九月底会否好一点？此外就是大三的这个暑假就要开始，是不是抓紧这个暑假时间在学校里开好相关的学分证明？

最近刚考完试开始泡留学论坛，一无所知啊，有比较推荐的网页让我自己去查找相关留学准备信息不？谢谢！

013231

2012-06-25 15:30:04 +08:00

使用wget進行全站抓取的命令:
wget -mkp -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"
含義:
-m, --mirror, 表示命令用於鏡像, 設置一些遞歸參數什麼的.
-k, --convert-links, 轉換網頁中的鏈接. 如果沒用這個參數, 鏈接還是指向源網站的.
-p, --page-requisites, 把正確顯示網頁所需的圖片, 樣式表什麼的一併保存下來.
-e robots=off, 忽略robots.txt, 有些網站使用robots.txt禁止抓取.
-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" , --user-agent, 把自己爲裝成瀏覽器. 有些網站只允許瀏覽器訪問.

saturn

2012-06-25 15:40:50 +08:00

@iray1991 对的，4年制的本科学位只需要3年的成绩就可以申请了（毕业了之后需要补交全4年的），你现在就可以去教务处开大学前3年的成绩单、翻译、公证就可以去申请学校了。

一无所知的话，最好去问下留学中介。这里我有比较好的描述（#61）：

http://www.v2ex.com/t/40430#reply61

iray1991

2012-07-19 08:22:33 +08:00

@013231
大神，那个网站最近有更新，能否麻烦您再下载一个包给我？
我自己试过用IDM的整站抓取下载，装到goodreader里面发现有问题：点击某个网页中的的链接的时候不会跳到这个包里面其他的网页；但是导入您那个包却能实现网页链接间的跳转；
我自己尝试过用CMD的方式运行wget自行抓取，但是cmd真不会操作，不会进入也不知道在哪里调入命令，如果您这次能在下载一次的话，可否录个像给我？我自己琢磨看看，老麻烦您真不好意思呀

iray1991

2012-07-24 10:30:34 +08:00

@013231
有一个小想法；
可否直接抓取那些有更新的页面，直接打包?这样就不用每次有更新后都下载150M+的压缩包，而且转移到iPad也会方便很多
更新页面在这里：http://ielts-yasi.englishlab.net/Site_Changes_P6.htm
不过有点担心如果只是更新那些有变动的部分，就无法实现链接间的跳转，毕竟链接间的跳转才能保证离线使用起来和直接登录网站的体验是一样的；所以这点实现起来困难的话只是一点小缺陷，不强求；
再次感谢你！V2EX真的有不少技术好人呐！

013231

2012-07-24 19:03:40 +08:00

@iray1991 你可以从这里:
http://654321.org/ielts-yasi/Site_Changes_P6.htm
单独下载更新的页面. http://654321.org/ielts-yasi/ 是原网站的镜像.
顺便说一下, 由于程序Bug, 前几日的压缩包未能正确更新.

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/40484

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.