python 爬虫怎么把 url 类似于 www.xxx.com/0001.jpg 到 www.xxx.com/9999.jpg 范围的图片保存到本地啊

2016-02-22 14:58:06 +08:00
 raighne
7725 次点击
所在节点    Python
46 条回复
leeyiw
2016-02-22 15:05:42 +08:00
shell:
`for i in {0..9999}; do wget www.xxx.com/$i.jpg; done`
supersf
2016-02-22 15:06:26 +08:00
有地址了直接下载不就好了。
donghouhe
2016-02-22 15:11:58 +08:00
关键在于什么?在于产生 0001-9999 , for num in xrange(1, 10000) str(num).zfill(4)
yougg
2016-02-22 15:14:34 +08:00
一楼的不满足条件.

是从 0001 到 9999
不是从 1 到 9999

应该这样:

for i in {10001..19999}; do
wget www.xxx.com/${i:1}.jpg;
done
skydiver
2016-02-22 15:15:48 +08:00
@yougg 为什么这么麻烦,直接写{0001..9999}不就行了
yougg
2016-02-22 15:20:29 +08:00
@skydiver

你的 shell 是什么版本可以直接遍历{0001..9999}直接生成
0001, 0002, 0003, 0004 ...... 9999
这样的带前缀的序列码?

我的 bash 不行
izoabr
2016-02-22 15:23:06 +08:00
@leeyiw 对呀,还 py 神马 thon 啊
skydiver
2016-02-22 15:24:13 +08:00
@yougg
试了两个版本的都可以啊,我也一直这么用的

GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)

GNU bash, version 4.3.42(1)-release (x86_64-redhat-linux-gnu)

难道旧版的不行么?
Laobai
2016-02-22 15:24:25 +08:00
我不小心点了下 URL ,好污
vincenttone
2016-02-22 15:26:16 +08:00
for i in {1..10}; do echo www.xxx.com/`printf %04d $i`.jpg;done
yangxiongwei
2016-02-22 15:26:20 +08:00
@Laobai 我去,既然有这种网站....

域名不错
vincenttone
2016-02-22 15:26:52 +08:00
@vincenttone 应该是 for i in {1..9999}; do wget www.xxx.com/`printf %04d $i`.jpg;done
yougg
2016-02-22 15:27:55 +08:00
@skydiver

看来是新版本特性, 我这里生产环境版本都很老.

# bash --version
GNU bash, version 3.2.51(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2007 Free Software Foundation, Inc

$ bash --version
GNU bash, version 3.1.23(1)-release (i686-pc-msys)
Copyright (C) 2005 Free Software Foundation, Inc.
skydiver
2016-02-22 15:29:27 +08:00
@yougg 这也太老了。。。
yougg
2016-02-22 15:31:17 +08:00
@skydiver

公司的环境那是没办法 :)

还是我那个绕弯的方法能兼容.
tSQghkfhTtQt9mtd
2016-02-22 16:53:25 +08:00
@Laobai 我去瞎了
DIYgod
2016-02-22 16:55:10 +08:00
@liwanglin12 我举报楼主涉嫌传播色情网站
rock_cloud
2016-02-22 16:58:50 +08:00
seq -w 1 1000
@donghouhe
raighne
2016-02-22 17:14:59 +08:00
@DIYgod 我随便输入的一个网址啊,竟然 我无辜啊
@yangxiongwei
@Laobai
em70
2016-02-22 17:21:24 +08:00
不用写程序,迅雷和快车都直接这种地址批量下载,设置规则即可

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/258233

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX