scrapy 能调用 axel 进行批量下载么？

2017-05-30 00:27:01 +08:00
 xiaoyu9527
1357 次点击
所在节点    问与答
3 条回复
wxg4net
2017-05-30 06:52:30 +08:00
如果是 scrapy 获取到文件地址，然后用 axel 下载的话，应该是可以的
shoaly
2017-05-30 08:31:49 +08:00
scrapy 先获取到 下载地址之后, 导出成 axel 需要的 多文件下载 txt 吧, , 然后开一个命令行批量下载.
为什么要这样操作呢, 因为文件下载可能会卡住, 可能会失败, scrapy 去写这部分的代码很多余. axel 本身就自带错误处理功能, 不用再造轮子
xiaoyu9527
2017-05-30 09:40:36 +08:00
@shoaly
@wxg4net
我有几个功能需要支持。

比如链接是 http://www.123.com/123/123/123.jpg
我希望保存为同样的路径
另外 axel 支持加文件头么？ 有些网站限制了头访问

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/364668

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX