V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JohnChu
V2EX  ›  程序员

能否做一个批量远程下载?

  •  
  •   JohnChu · 2013-08-30 13:02:24 +08:00 · 2729 次点击
    这是一个创建于 4105 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想用实现批量文件“离线下载”(或者说是远程下载)。

    思路1:搭在PaaS上,然后导入一个文件地址列表之后开始下载,下载过程中跳过404的失效地址,下载的时候看得到进度,我用浏览器看得到,把浏览器关了再看还是看得到,完毕之后最好有个提示之类的,反正就是让用户知道,任何方法都行。

    语言基本都可以,如:php、erlang、java、node、python、ruby
    文件数目很大,几万。
    远程下载完我还要下载到本地。

    思路2:用类似vps的东西做,搭个Ubuntu 用wget下,但是我是学生党,大学都没进,所以没钱(没有银行卡Amazon的那个也申请不了),请大家提供方案,这个方案得符合匿名性,“被下载的”网站无法通过log查到我的机器里。

    以上是我的两个思路,大家有更好的也可以提出来。
    如果是思路1麻烦大家提供下代码,我不会php,也不见得为了搞一个项目去特地学。
    谢谢
    5 条回复    1970-01-01 08:00:00 +08:00
    ETiV
        1
    ETiV  
       2013-08-30 13:03:53 +08:00
    aria2c + yaaw
    devon
        2
    devon  
       2013-08-30 13:10:21 +08:00
    vps都太麻烦,直接讯雷离线 + 离线脚本。下载的所有文件放到一个文本中即可。

    1, 弄个讯雷离线的VIP号(可以买一个月的,没几个钱)
    2, 安装 https://github.com/iambus/xunlei-lixian
    3, 用命令行登录,然后下载,应该类似 lx login, lx download --input a.txt (把所有链接放到a.txt)里即可。
    JohnChu
        3
    JohnChu  
    OP
       2013-08-30 14:07:51 +08:00
    @devon 可是不符合匿名原则。。。
    如果是国外的工具倒好说
    devon
        4
    devon  
       2013-08-30 14:51:16 +08:00
    要真匿名难度还有点高的。你用vps,能查到是哪个vps下的,从而能查到vps是谁购买的。然后,同样的,可以查到是从哪里连接到vps,vps的流量又走到了哪里。
    JohnChu
        5
    JohnChu  
    OP
       2013-08-30 14:59:44 +08:00
    @devon 这个我知道,但是国外比国内查起来麻烦。
    思路1有没有办法?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4154 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 05:26 · PVG 13:26 · LAX 21:26 · JFK 00:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.