V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
JasonWang97
V2EX  ›  分享创造

Olah - 自建 HuggingFace 镜像服务

  •  1
     
  •   JasonWang97 · 26 天前 · 1151 次点击

    为了解决 HuggingFace 在访问上的困难,以及本地多台服务器重复下载同一个仓库的加速问题。

    如何在本地自建 HuggingFace 镜像一直是头疼的问题。

    Olah应运而生。

    Olah 是开源的自托管轻量级 HuggingFace 镜像服务。相较于 hf-mirror ,Olah 真正地实现了 huggingface 资源的镜像功能,而不仅仅是一个简单的反向代理。Olah 并不会立刻对 huggingface 全站进行镜像,而是在用户下载的同时在文件块级别对资源进行镜像(或者我们可以说是缓存)。

    Olah 能够在用户下载的同时分块缓存文件。当第二次下载时,直接从缓存中读取,极大地提升了下载速度并节约了流量。 同时 Olah 提供了丰富的缓存控制策略,管理员可以通过配置文件设置哪些仓库可以访问,哪些仓库可以缓存。

    好了,目前就是项目的简单介绍,欢迎大家移步项目地址进行讨论

    https://github.com/vtuber-plan/olah

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   956 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 21:56 · PVG 05:56 · LAX 14:56 · JFK 17:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.