Olah - 自建 HuggingFace 镜像服务

26 天前
 JasonWang97

为了解决 HuggingFace 在访问上的困难,以及本地多台服务器重复下载同一个仓库的加速问题。

如何在本地自建 HuggingFace 镜像一直是头疼的问题。

Olah应运而生。

Olah 是开源的自托管轻量级 HuggingFace 镜像服务。相较于 hf-mirror ,Olah 真正地实现了 huggingface 资源的镜像功能,而不仅仅是一个简单的反向代理。Olah 并不会立刻对 huggingface 全站进行镜像,而是在用户下载的同时在文件块级别对资源进行镜像(或者我们可以说是缓存)。

Olah 能够在用户下载的同时分块缓存文件。当第二次下载时,直接从缓存中读取,极大地提升了下载速度并节约了流量。 同时 Olah 提供了丰富的缓存控制策略,管理员可以通过配置文件设置哪些仓库可以访问,哪些仓库可以缓存。

好了,目前就是项目的简单介绍,欢迎大家移步项目地址进行讨论

https://github.com/vtuber-plan/olah

1151 次点击
所在节点    分享创造
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1067503

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX