想批量下载一些网页,有什么好办法?

2011-06-06 10:05:27 +08:00
 ooof
链接格式如下:

http://xxxxa.com/users.php?typeid=1&p=1
http://xxxxa.com/users.php?typeid=1&p=2
http://xxxxa.com/users.php?typeid=1&p=3
...

http://xxxxa.com/users.php?typeid=1&p=999
http://xxxxa.com/users.php?typeid=1&p=1000
4574 次点击
所在节点    问与答
8 条回复
ssword
2011-06-06 10:09:14 +08:00
1.upto(1000) do |i|
`wget http://xxx.com?p=#{i}`
end
airyland
2011-06-06 10:17:22 +08:00
下载工具里照格式建批量任务吧。
ooof
2011-06-06 11:22:02 +08:00
@ssword ,这样的方式需要在linux 下执行吧。

@airyland ,用迅雷去下了,它最多是支持999个,已经开始下载了。
chone
2011-06-06 11:32:41 +08:00
@ooof windows的话可以装个cygwin,然后用wget
2014
2011-06-06 11:36:34 +08:00
@ooof firefox安装down then all扩展,可以批量添加,数量不限。另外wegt.exe是有的,但没用过。
2014
2011-06-06 11:38:10 +08:00
ooof
2011-06-07 18:01:40 +08:00
DownThemAll 真是好用,可定制多,速度也快。

谢谢各位了 :)
ooof
2011-08-18 10:54:43 +08:00
@2014 支持[a-z] 就更好了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/14067

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX