V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Lucy2025
V2EX  ›  Local LLM

请问: 要部署本地 AI, 投喂 AI 知识库的话, 目前适合个人电脑的最佳方法是啥?

  •  
  •   Lucy2025 · 33 天前 · 2403 次点击
    这是一个创建于 33 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请问: 要部署本地 AI, 投喂 AI 知识库的话, 目前适合个人电脑的最佳方法是啥?

    要达到的效果是: 把代码仓库和个人知识库投喂到本地部署的 AI, 能实现在这些数据基础上做编程开发.

    谢谢

    14 条回复    2025-08-03 20:12:32 +08:00
    mumbler
        1
    mumbler  
       33 天前
    目前本地模型水平还不够编程,前几天发布的 qwen3 code flash 虽然可以本地跑,但能力还是很有限,大概 18 个月后本地小模型才能达到现在 claude4 水平,现在搞是炮灰
    RotkPPP
        2
    RotkPPP  
       33 天前   ❤️ 2
    @mumbler 你咋知道要 18 个月
    8820670
        3
    8820670  
       33 天前
    🤔 有这种知识库+编程的吗。我感觉还是比较的困难。
    我觉得能够达到类似的就是,在 cursor (任何 AI 开发 IDE )做开发的基础上,引入相关的知识库具体文件作为上下文。
    至于本地 AI 也就是换个 API 的问题。
    momo1pm
        4
    momo1pm  
       32 天前   ❤️ 1
    先投二十万买设备,其他都好说
    PrinceofInj
        5
    PrinceofInj  
       32 天前
    @RotkPPP 摩……摩尔定律?
    mumbler
        6
    mumbler  
       32 天前
    @RotkPPP #2 现在本地能流畅跑的 32B 模型,大概相当于 18 个月前的云端顶级模型 gpt4o 水平
    he1293024908
        7
    he1293024908  
       32 天前
    个人电脑部署的 ai 不够聪明吧,一般 32-64g 内存,效果跑出来也不大好
    easychen
        8
    easychen  
       32 天前
    Mac Mini M4 16G 上 14b mlx 模型能跑到 10 token/s 。

    知识库本身不太消耗算力(主要靠嵌入模型),但本地模型一般 14b 的效果不太好,你可以用硅基流动的 14b 和嵌入接口先测试,如果觉得能满足你的需求,那这可能是性价比最高的机型( 3K 左右)。
    streamrx
        9
    streamrx  
       32 天前 via iPhone
    个人电脑做不到这个效果。第一个就是换设备
    gitclose
        10
    gitclose  
       32 天前
    部署一下 dify 算了,然后配置个实惠的 API ,添加一个自己的知识库,想怎么调教就怎么调教
    totoro52
        11
    totoro52  
       32 天前
    楼上的方案就行了 dify + 阿里云的 api ,现在送 100W 的 tokens 每个模型的 半年,完全够用, 还可以微调模型啥的,除非你要部署一些冷门的开源模型
    shuimugan
        12
    shuimugan  
       32 天前
    最佳性价比就是蹲苹果官方翻新的 Mac Studio Apple M3 Ultra 芯片 512GB + 1TB 版本,价格 6.3w ,24 期免息每个月 2.6k ,然后跑 Qwen3-Coder-480B-A35B-Instruct ,5bit 量化速度 19token/s 左右,一天可以输出 150w 左右的 token ,约等于调用价值 400RMB 的官方 API 。
    BingoXuan
        13
    BingoXuan  
       32 天前
    @shuimugan
    24 小时一直输出的话,岂不是五个半月就能回本/doge
    shuimugan
        14
    shuimugan  
       32 天前
    @BingoXuan 24 小时输出的话,库克和阿里都亏麻了
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5442 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 03:37 · PVG 11:37 · LAX 20:37 · JFK 23:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.