V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
windyboy
V2EX  ›  程序员

一个本地运行的 DeepSeek 加上 Cursor,是不是目前一个程序员的终极解决方案?

  •  
  •   windyboy · 14 天前 · 6307 次点击

    通过自己筛选过的文档强化一下本地模型,加上 Cursor 是不是就是目前最好的 AI 辅助方式?

    41 条回复    2025-02-06 16:07:01 +08:00
    Chism
        1
    Chism  
       14 天前 via iPhone
    多大的模型?什么配置的电脑可以跑?
    windyboy
        2
    windyboy  
    OP
       14 天前
    @Chism 32b 的模型只要显存大于 20GB 就可以跑
    Chism
        3
    Chism  
       14 天前 via iPhone
    @windyboy #20
    这个水平也一般吧,跑本地有什么意义?
    bybyte
        4
    bybyte  
       14 天前
    官网 api 也是白菜价
    roygong
        5
    roygong  
       14 天前 via iPhone
    现在 DeepSeek API 在 cursor 部署的话好像没法解锁所有功能,还得开 cursor 的会员
    SenLief
        6
    SenLief  
       14 天前
    直接跑 api ,都已经用 deepseek 就没必要用 cursor ,直接 vs 插件或者 copilot
    hongjic93
        7
    hongjic93  
       14 天前   ❤️ 1
    你这本地能跑的都是拿 r1 蒸馏的 qwen 之类的小模型吧,本地怎么可能能跑 v3 和 r1 。
    duzhuo
        8
    duzhuo  
       14 天前
    @bybyte 是的 白菜价
    asuraa
        9
    asuraa  
       13 天前
    这么便宜的 api ,用不着自己跑吧,我这 10 块钱用了一个礼拜了,直接就 Roo Cline 插件就完事,
    esee
        10
    esee  
       13 天前
    本地跑的电费估计都比 api 贵了
    saobilin
        11
    saobilin  
       13 天前
    7900xtx 带 32b 轻松 带不动 70b 本地运行的成本其实还是有点高的
    amlee
        12
    amlee  
       13 天前 via Android
    api 白菜价了呀,本地跑不满血的 r1 ,图啥呢,隐私要求那么高?
    iorilu
        13
    iorilu  
       13 天前
    都白菜价了, 直接 api 得了, 除非企业内部, 可能有自己部署的需求
    GeekGao
        14
    GeekGao  
       13 天前
    32b 的模型依然渣渣 ,建议不要问,亲自租一台 GPU server 部署试一试。
    ShadowPower
        15
    ShadowPower  
       13 天前
    我试了 R1 蒸馏出来的 Qwen 32B 模型,看 benchmark 感觉不错,然而实际用起来和原版 R1 差很多
    windyboy
        16
    windyboy  
    OP
       13 天前
    deepseek 的意义实际上就是可以摆脱云端的服务,本地运行一个能力不错的模型,并且保有私有的数据
    javaluo
        17
    javaluo  
       13 天前 via iPhone
    @asura 话说 cline 支持 r1 模型吗?
    ypliang9
        18
    ypliang9  
       12 天前 via Android
    q4 量化且是蒸馏 r1 知识微调的 qwen 才是你手上用的模型。这和本体效果差忒多了。
    jiangbingo
        19
    jiangbingo  
       12 天前
    cline+deepseek v3 用了一个月,没有人提到在编程方面,大概十次基于文件夹方面的问答就会卡顿吗?
    RoccoShi
        20
    RoccoShi  
       12 天前
    本地的模型都是💩
    9LCRwvU14033RHJo
        21
    9LCRwvU14033RHJo  
       12 天前
    本地模型最终肯定会成功的。十年后可能 1T 显存也是白菜价。
    windyboy
        22
    windyboy  
    OP
       11 天前
    @user8341 能力强的模型,体积会越来越小
    sharpy
        23
    sharpy  
       11 天前
    希望再过半年,本地的 20~32b 模型能达现在 ds 的能力,那本地就足够了
    crackidz
        24
    crackidz  
       11 天前
    哪怕是 R1 Zero ,比 API 的质量都差... 不如直接跑 API

    只是有些狗逼天天 DDOS 服务器
    MoTao
        25
    MoTao  
       11 天前
    本地笔记本 4060 试了 8b ,一天后劝退,还是充点元子用 API 吧 :(((
    wsbqdyhm
        26
    wsbqdyhm  
       11 天前
    mac m1max 64g, 跑 32b 很轻松,跑 70b 速度我也能接受,强很多。就是叫写小 h 文不给力,审核很严格
    wsbqdyhm
        27
    wsbqdyhm  
       11 天前
    @wsbqdyhm 跑 70b 风扇狂转,内存飙到 59g ,电量刷刷下降。得插电来
    kjstart
        28
    kjstart  
       11 天前
    deepseek 怎么才能交上钱啊? 现在 https://platform.deepseek.com/都打不开...
    fbqk2008
        29
    fbqk2008  
       11 天前
    我想给全硬盘做一个这种功能,有可能吗?
    findex
        30
    findex  
       11 天前 via iPhone
    @windyboy #2 测试了本地 32B 模型,能运行。感觉速度不是很快,还是 API 好点。也许因为我用单卡测试的。
    windyboy
        31
    windyboy  
    OP
       11 天前   ❤️ 1
    如果生成式的 AI 都掌握在巨头手里,运行在一般用户买不起的硬件上,这个世界不知道会堕落成什么样。
    R1 无疑给了大家一只强心针,告诉我们大可不必,一场开源的胜利
    相信以后会有本地可以运行切能力越来越强的模型出现
    Tink
        32
    Tink  
       10 天前
    开发环境无法连接互联网吗
    whileFalse
        33
    whileFalse  
       10 天前
    @sharpy 到时候你又看着新模型眼馋了。gpt3.5 刚出的时候多风光,现在还不是牛夫人
    whileFalse
        34
    whileFalse  
       10 天前
    @windyboy 大哥 R1 的硬件你也买不起啊人家原始模型 600 多 B
    kennylam777
        36
    kennylam777  
       10 天前 via Android
    @windyboy 可以是可以,但 4tps 只有實驗用途,驗證也做不到,更不能作為生產力
    whileFalse
        37
    whileFalse  
       9 天前
    @windyboy 如果是你链接里这种用 CPU 跑也叫能跑,那其实根本用不了 2000 刀,搞个洋垃圾插上 512G 内存都能跑,搞不好 2000 快都用不了
    windyboy
        38
    windyboy  
    OP
       8 天前
    @whileFalse 512G 垃圾内存多少钱
    whileFalse
        39
    whileFalse  
       8 天前
    @windyboy ECC 的二手内存很便宜的,咸鱼上看看
    windyboy
        40
    windyboy  
    OP
       7 天前
    @whileFalse 你是说闲鱼上 52G ECC 内存,价格小于 200 ?
    whileFalse
        41
    whileFalse  
       5 天前 via Android
    @windyboy 刚看了一下,32g 的 ecc 内存 58,16 条还不到 1000
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5900 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 03:21 · PVG 11:21 · LAX 19:21 · JFK 22:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.