Windows 平台下载近 10w 个视频文件选择什么下载工具?而且有定时增量需求。

2018-05-21 19:41:42 +08:00
 yangguoshuai
用爬虫抓来若干下载地址,爬虫写在 osx 上,数据存在 mysql。

现在用的是 fdm(free download manager),每次同步 500,1000,2000,4000 个这样的视频地址,
然后 fdm 批量添加下载。

缺点:
1 同步文件列表比较麻烦
2 下载速度很不稳定,开一批下载还行,多了就很慢

需求:

1 一次大批量下载( 10k+,预计几百 G 吧,一个几十兆不等),性能稳定
2 支持远程管理(类似于 utorrent 的远程管理页面)
3 能和其他平台方便对接(爬虫增量自动下载)

不知道大家常用的 idm/aria2 在这方面如何,谢谢。

另,现在 4T 硬盘性价比不错了,刚下单了一块。。。
1483 次点击
所在节点    问与答
6 条回复
Aoang
2018-05-21 19:44:40 +08:00
直接用同步工具
yangguoshuai
2018-05-21 19:48:03 +08:00
@Aoang 但是跑脚本的机器是平时的开发机,吃饭什么的就关了。。也不能走开发机的流量下载
下载的机器是长时间不关机的 nas。。。
同步工具有能直接同步网址的?
Aoang
2018-05-21 19:53:14 +08:00
同步工具同步网址,aria2 下载。
aria2 有下载管理器,如果不想管下载的机器,你可以安装好之后。直接在开发机上远程下载。
当然,你开发机关机了,下载机没任务了就没办法了。
yangguoshuai
2018-05-21 19:59:03 +08:00
@Aoang ok,Aria2 我去了解下。。。
msg7086
2018-05-21 22:56:11 +08:00
「吃饭什么的就关了」
这都 8012 年了……
yangguoshuai
2018-05-22 07:48:39 +08:00
@msg7086 讲真我真不知道 osx 怎么能 24 小时不待机。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/456617

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX