python 爬虫怎么把 url 类似于 www.xxx.com/0001.jpg 到 www.xxx.com/9999.jpg 范围的图片保存到本地啊

[raighne]

[ChefIsAwesome]

我不是搞 python 的，不了解 python 爬虫的机制，只是看到这帖子好奇，顺便问下：上万个图片下载，一个下完接下一个么？会不会太慢，中间出错了怎么办

[YUX]

@ChefIsAwesome 错了 pass

[DaCong]

强烈建议各位在发帖的时候不要再使用 xxx.com 作为域名的示范，实在不行用 google.com 虚构一个也好啊

[raighne]

@DaCong 明白了，多谢提醒

[zhjits]

@DaCong URL 里面的 host 标准示例： example.com （可戳）

[lhbc]

curl -O "http://www.xxx.com/[0001-9999].jpg"

[Frapples]

@ChefIsAwesome 可以使用多线程下载，比如开五个线程同时下载五张图片，带宽足够就能加速 5 倍。当然实际考虑的情况还有其它的因素。

[mianju]

要不开十个线程，每个线程下 1000 个图片？

[SlipStupig]

import urllib2, os

downloader = lambda number:[(open(str(k), 'wb').write(urllib2.urlopen('http://baidu.com/%s' % i).read())) for i in xrange(number) for k in xrange(number)]
print downloader(999)

[raysonx]

@DaCong RFC 中保留了 gTLD 中的 example.com example.org 和 example.net 作为示范域名

[MyFaith]

楼主问的是 Python ，为什么回复都是 shell ？改变了问题的本意

[macroideal]

讯雷都这个功能.

[imlinhanchao]

@MyFaith 同问。

[toono]

有地址的话，迅雷的批量下载可以根据表达式下载 XD

[Liang]

迅雷下载啊，哥哥

[dawncold]

@yougg 我的 zsh 也是可以的， zsh 5.0.2 (x86_64-pc-linux-gnu)

[billion]

import requests
content = requests.get('http://xxx.com/1.jpg').content
with open('1.jpg', 'wb') as f:
f.write(content)

[laobaozi]

我点开了链接.......
楼主是想干什么

[latteczy]

我记得有个 retrive 方法，可能拼写不对

[firemiles]

curl http://example.com/pic[0001-9999].jpg