V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NotreDame
V2EX  ›  程序员

如何高效的实现文件的批量下载呢? golang

  •  
  •   NotreDame · 2020-11-09 06:57:25 +08:00 · 2019 次点击
    这是一个创建于 1480 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我的文件系统设计如下:
    文件具有 path 属性; 文件夹的 path 为 null ;两者都有 parentId 。

    我想到的方法是:把服务器的文件先组成一颗文件树,然后使用 filepath.walk 遍历打包成 zip,之后把 zip 压缩包下载。 但是这种方法存在两个问题:

    • 频繁 io 操作,成本过重。
    • 不清楚何时是删除生成的临时文件的最佳时机。

    求教更高效的批量下载实现方式,谢谢!

    3 条回复    2020-11-09 15:02:03 +08:00
    ebingtel
        1
    ebingtel  
       2020-11-09 08:25:16 +08:00
    python 里面有 streamzip 模块, 本质: 并不需要把所有的文件都压入到 zip 之后,再返回,这样太浪费时间了; 边压边返回……
    Evrins
        2
    Evrins  
       2020-11-09 08:30:28 +08:00 via iPhone   ❤️ 1
    边遍历边打包可以用这个库 https://github.com/mholt/archiver
    直接流式写入到 Http response 里面
    huayumo
        3
    huayumo  
       2020-11-09 15:02:03 +08:00
    可以看看七牛的上传下载工具,感觉效率挺高的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1197 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 23:22 · PVG 07:22 · LAX 15:22 · JFK 18:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.