V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
waino
V2EX  ›  MacBook Pro

升级 m2 的内存稳定吗?

  •  
  •   waino · 44 天前 · 2427 次点击
    这是一个创建于 44 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近想本地折腾下 llama3:70b ,发现 32g 不够用。

    问问各位大佬:

    1. 升级内存,是不是能解决?

    2. 升级内存靠谱吗?比如找个维修店

    3. 能的话现在什么行情? 32=》 64=》 128
    25 条回复    2024-06-06 10:52:36 +08:00
    icestraw
        1
    icestraw  
       44 天前
    是能解决

    不靠谱,升不了

    没有行情,也可以理解为比置换更贵

    只能卖了再买
    deplives
        2
    deplives  
       44 天前
    Apple silicon 怎么升级内存?连 cpu 一起换?
    InternetExplorer
        3
    InternetExplorer  
       44 天前
    内存不是和 CPU 长在一起的么,要升级只能换个主板吧
    imnpc
        4
    imnpc  
       44 天前
    运行内存换不了的
    waino
        5
    waino  
    OP
       44 天前
    @deplives
    @InternetExplorer 不知道呀,看有视频直接可以重焊内存颗粒上去
    lrigi
        6
    lrigi  
       44 天前 via iPhone
    不能跑不如买个 poe 之类的。等你真的能运行了 70b 可能会发现速度好慢,还不如运行 8b 的舒服
    wxw752
        7
    wxw752  
       44 天前
    那都是 inter 的老机型,才能换内存颗粒
    xcnick
        8
    xcnick  
       44 天前   ❤️ 1
    32G 内存本地可以跑 Qwen1.5-32B 模型,这个模型是 30B 规模下中文最优秀的模型之一
    xayoung
        9
    xayoung  
       44 天前
    m 系列升不了的。目前能升的唯一方法是 cpu 和内存一起换,这样成本就非常高了。退一万步来说,即使能单独升你也敢升?内存和 cpu 连在一起的,风险非常高。
    GeekGuru
        10
    GeekGuru  
       44 天前
    卖了再买最划算。。
    zhwq
        11
    zhwq  
       44 天前
    4bit 或 8bit 量化之后效果可能还不如 8G 的
    Phariel
        12
    Phariel  
       44 天前
    70B? 你想换多大的内存? 128G 也不够吧 你除非要跑很重的 quantized 版本 你本地能跑个 13B 已经可以了
    crokily
        13
    crokily  
       44 天前
    @xcnick 请问这个有什么测试的榜单吗,我一直很好奇 hugging face 上的中文化 llama3 和 qwen 哪个效果更好
    bzw875
        14
    bzw875  
       44 天前
    ![Apple M1 chip]( https://en.wikipedia.org/wiki/File:Mac_Mini_M1_chip.jpg)
    苹果 M2 芯片的内存是和 CPU 焊接在一起,个人理论上换不了,台积电有能力换
    xcnick
        15
    xcnick  
       44 天前
    @crokily 大模型的榜单仅作为参考,不能作为评判的唯一标准。对于中文任务来说,国产大模型比汉化 llama 有先天优势,训练数据集中中文的比重更大
    kuaner
        16
    kuaner  
       44 天前
    m2 max 无头骑士
    7lQM1uTy635LOmbu
        17
    7lQM1uTy635LOmbu  
       44 天前
    @waino #5 原理上可以换,有人成功过,但报废率太高,量产不了
    pelloz
        18
    pelloz  
       44 天前
    别折腾自己的小本子了,搞个服务器,或者工作站,甚至就简单配一个主机,内存随便你加,便宜得很
    waino
        19
    waino  
    OP
       44 天前
    @pelloz 攒个机大概多少预算,比如能运行 llama3:70b 这类大模型
    waino
        20
    waino  
    OP
       44 天前
    听劝不在现在机子上折腾了
    beginor
        21
    beginor  
       44 天前 via Android
    64G 的 M1 Max 也要将显存调整到 56G 才勉强跑的起来 70b 参数的模型, 一秒钟大概一个 token ,还是老老实实跑 32b 左右的模型吧, 一秒钟 2~3 个 token ,自己玩一下还可以。

    折腾 70b 以上的纯属虐待自己的 Mac 。
    jimrok
        22
    jimrok  
       44 天前
    M 芯片采用了统一内存,封装的方式是直接把内存芯片和处理器芯片在微孔上连接在一起,chiplet 方式,是不能升级的。
    dilidilid
        23
    dilidilid  
       44 天前
    卖了再买,别折腾了。大模型为啥不用现成的商业服务非要本地呢,又不搞大模型开发,搞不懂你们
    crokily
        24
    crokily  
       43 天前
    @xcnick 在文本编辑上试用了一下,确实在中文条件下 qwen 更好,汉化的 llama 在中英混杂的情况下,哪怕提示词是中文的,也很容易生成纯英的回答或者是纯中文的回答(例如要生成一句带中文解释的英文例句就不行)。而用 qwen 就能生成出正常的中英混杂文本,哪怕 prompt 是英文的也能正常生成中文回答。
    littlewing
        25
    littlewing  
       43 天前
    M 芯片不支持升级内存,集成在 SOC 里
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   905 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:56 · PVG 05:56 · LAX 14:56 · JFK 17:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.