Windows 平台下载近 10w 个视频文件选择什么下载工具？而且有定时增量需求。
yangguoshuai · 2018-05-21 19:41:42 +08:00 · 1484 次点击这是一个创建于 2384 天前的主题，其中的信息可能已经有所发展或是发生改变。
用爬虫抓来若干下载地址，爬虫写在 osx 上，数据存在 mysql。
现在用的是 fdm(free download manager),每次同步 500，1000，2000，4000 个这样的视频地址，
然后 fdm 批量添加下载。
缺点：
1 同步文件列表比较麻烦
2 下载速度很不稳定，开一批下载还行，多了就很慢
需求：
1 一次大批量下载（ 10k+，预计几百 G 吧，一个几十兆不等），性能稳定
2 支持远程管理（类似于 utorrent 的远程管理页面）
3 能和其他平台方便对接（爬虫增量自动下载）
不知道大家常用的 idm/aria2 在这方面如何，谢谢。
另，现在 4T 硬盘性价比不错了，刚下单了一块。。。
现在用的是 fdm(free download manager),每次同步 500，1000，2000，4000 个这样的视频地址，
然后 fdm 批量添加下载。
缺点：
1 同步文件列表比较麻烦
2 下载速度很不稳定，开一批下载还行，多了就很慢
需求：
1 一次大批量下载（ 10k+，预计几百 G 吧，一个几十兆不等），性能稳定
2 支持远程管理（类似于 utorrent 的远程管理页面）
3 能和其他平台方便对接（爬虫增量自动下载）
不知道大家常用的 idm/aria2 在这方面如何，谢谢。
另，现在 4T 硬盘性价比不错了，刚下单了一块。。。
 |
1
Aoang 2018-05-21 19:44:40 +08:00 via Android
直接用同步工具
|
 |
2
yangguoshuai OP |
|
3
Aoang 2018-05-21 19:53:14 +08:00 via Android  1
同步工具同步网址，aria2 下载。
aria2 有下载管理器，如果不想管下载的机器，你可以安装好之后。直接在开发机上远程下载。 当然，你开发机关机了，下载机没任务了就没办法了。 |
|
4
yangguoshuai OP @Aoang ok，Aria2 我去了解下。。。
|
 |
5
msg7086 2018-05-21 22:56:11 +08:00
「吃饭什么的就关了」
这都 8012 年了…… |
|
6
yangguoshuai OP @msg7086 讲真我真不知道 osx 怎么能 24 小时不待机。。
|
Select Language