V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
galtjay
V2EX  ›  OpenAI

Hugging Face transformers 库依赖的 CUDA 是什么?如何安装?

  •  
  •   galtjay · 2023-08-31 11:50:03 +08:00 · 531 次点击
    这是一个创建于 450 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近由于工作的原因,需要去尝试部署海外大厂的开源 LLM 模型,进行一些测试验证。逐步呢就会接触到 AI 生态中的一些概念。

    Hugging Face 的 transformers 库提供了使用 PyTorch 实现的预训练 NLP 模型,这些模型通过 CUDA 支持在 GPU 上进行训练和推理。

    因此对于私有化部署而言,最核心的就是把 GPU 的驱动及 CUDA 都安装好,那么 CUDA 是什么?如何完成安装?

    大家可以收藏一下,后期本地部署的时候,应该能帮大家节省时间。

    https://watermelonwater.tech/hugging-face-transformers%e5%ba%93%e4%be%9d%e8%b5%96%e7%9a%84cuda%e6%98%af%e4%bb%80%e4%b9%88%ef%bc%9f%e5%a6%82%e4%bd%95%e5%ae%89%e8%a3%85%ef%bc%9f/

    julyclyde
        1
    julyclyde  
       2023-08-31 19:30:47 +08:00
    应该把标题改为:我写了一篇介绍……的文章
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2158 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 01:17 · PVG 09:17 · LAX 17:17 · JFK 20:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.