V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wxmomomowx
V2EX  ›  Local LLM

2052 年了,求推荐一个可本地部署的 ai 程序员 可学习自己“训练”的内容?

  •  
  •   wxmomomowx · 19 天前 · 1938 次点击
    如本地部署后,专攻一个语言和一个项目,可有效果的 ai 程序员帮手,有吗?🙏
    8 条回复    2025-11-16 00:42:48 +08:00
    wKong753900
        1
    wKong753900  
       19 天前
    蹲点,我也想问这个问题
    bingyuanlang
        2
    bingyuanlang  
       19 天前
    联网的大参数都搞的不怎么行,你本地的,我感觉都不如在线
    xinqian
        3
    xinqian  
       19 天前
    也有这个需求
    TVXL
        4
    TVXL  
       19 天前
    本地的 ai 程序员?单独配台服务器都要不少钱,如果在自己电脑上搞,属实没什么用啊,电脑配置不够的话能部署多少参数的模型? 16g 显存倒是可以部署一个 openai 的模型。做做小项目应该可以,但是大一点的还是性价比太低了。主要还是配置不够,可选的模型普遍参数不高,不如调 api
    TabGre
        5
    TabGre  
       19 天前 via iPhone
    台湾大学李宏毅老师最近课程说了一句话:微调模型是最后的一步。总结,不要瞎折腾😆
    paopjian
        6
    paopjian  
       19 天前
    本地部署就是那些 32B 7B 模型, 自己训练的内容其实现在都是用 RAG, 就是作为资料库提供给模型进行使用, 但是不存在你能微调改参数的, 因为那也是训练, 要显卡的, 不如先试用线上服务做 RAG, 可行之后再找小模型本地部署
    scegg
        7
    scegg  
       19 天前
    2052 年也许会有。2025 年 11 月没有。
    本地部署一个能用的模型也需要不小的资源,要训练的话,资源还要翻好几倍,并且要有充足的时间和训练(包括材料和标注)。
    HankAviator
        8
    HankAviator  
       19 天前
    足添蛇画要必没,了好够足都 MLL 的有现但,跑己自以可都上论理位到件硬
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1147 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 17:51 · PVG 01:51 · LAX 09:51 · JFK 12:51
    ♥ Do have faith in what you're doing.