V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
galtjay
V2EX  ›  OpenAI

huggingface Transformers 生态后端项目 text-generation-inference 详解及部署过程

  •  
  •   galtjay · Sep 11, 2023 · 908 views
    This topic created in 961 days ago, the information mentioned may be changed or developed.

    经过精细化调优,Llama2 在不少场景下已经接近于开发者社区喜爱的 ChatGPT3.5 的水平。Meta 对于 Llama2 的态度非常开放,允许开发者直接商用这一强大的语言模型。那么,如何将 HuggingFace 站点上预训练的 LLM 模型运行起来?在本篇文章中,我们将分步介绍 HuggingFace 生态系统中前后端两个关键项目,帮助您深入了解如何部署和使用这些令人兴奋的技术。从 text-generation-inference 再到 Chat UI 。

    https://watermelonwater.tech/huggingface-transformers%e7%94%9f%e6%80%81%e5%90%8e%e7%ab%af%e9%a1%b9%e7%9b%aetext-generation-inference%e9%83%a8%e7%bd%b2%e8%af%a6%e8%a7%a3/

    每日更新的华语 youtuber 的排行榜: https://watermelonwater.tech/ytrank/

    lovestudykid
        1
    lovestudykid  
       Sep 12, 2023
    lol ,你榜单上我一直看到 14 才看到一个认识的 youtuber ,看完了前 200 ,一个 subscribe 的都没有
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3795 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 05:16 · PVG 13:16 · LAX 22:16 · JFK 01:16
    ♥ Do have faith in what you're doing.