V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
boboliu
V2EX  ›  分享发现

震惊!知名 AI 大公司竟做出这种事……

  •  1
     
  •   boboliu · 179 天前 · 4329 次点击
    这是一个创建于 179 天前的主题,其中的信息可能已经有所发展或是发生改变。
    早晨看到 Gemma2 的跑分就觉得不对,里面 llama3 那个 666 的 mmlu 太标志性了,抽空把这两个都跑了一遍 GSM-8K

    谷歌这宣传资料很明显是用自家微调过的模型打 llama3 的基础模型,脸都不要了

    全部 bench 都是原汁原味的 pytorch 运行,
    gemma2 发了个 f32 的 base 我还用 f32 跑的,慢的想死

    第 1 条附言  ·  179 天前
    https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf

    有人跟我说谷歌在 report 里面有说是不是预训练模型成绩,我有点困了没找到,请诸君看一下吧
    8 条回复    2024-07-28 16:14:55 +08:00
    luckykong
        1
    luckykong  
       179 天前
    厉害,这事做的,都不知道该如何评价了
    hantianyang
        2
    hantianyang  
       179 天前
    nb
    Donaldo
        3
    Donaldo  
       179 天前
    大厂嘛,不稀奇。。
    kaichen
        4
    kaichen  
       179 天前
    他这里有 5-shot 的标注耶,应该是没公开 prompt 的情况吧
    boboliu
        5
    boboliu  
    OP
       178 天前
    @kaichen 没有,5shot maj@1 本来就是 gsm-8k 常规的评估方法,即使受随机 icl 样本的影响,分数影响也不应该这么大
    NoOneNoBody
        6
    NoOneNoBody  
       170 天前
    9 天前没热度的帖子,怎么还置顶起来了?
    boboliu
        7
    boboliu  
    OP
       169 天前
    @NoOneNoBody 因为看到了 /t/1055707 ,突然想起来我也想吐槽谷歌,顺手顶一下
    yinmin
        8
    yinmin  
       150 天前
    Gemma2 9B 的翻译、文字总结不错。毕竟只有 9B ,STEM 类的肯定不行。Gemma2 9B 对硬件要求也不高,能部署在个人 PC 上。

    在不连 Internet 的内网自己架一个私人 AI ,装上 Gemma2 9B 和 Qwen2 7B 处理些文字类、翻译类的工作,还是蛮好的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5493 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 83ms · UTC 08:55 · PVG 16:55 · LAX 00:55 · JFK 03:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.