V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
lingguo
V2EX  ›  OpenAI

为什么这么简单的 Python 问题, ChatGPT 也回答不对?

  •  
  •   lingguo · Feb 20 · 1609 views
    This topic created in 69 days ago, the information mentioned may be changed or developed.

    一个简单的 f-string 格式问题,因为不是什么复杂问题,我使用的都是默认模型。ChatGPT 是 GPT-5.2-Auto ,Gemini 是 Fast ,Claude 是 Sonnet 4.6(未启用 extended thinking)。大家觉得哪个模型回答最好?

    ChatGPT (Default GPT-5.2):

    chatgpt

    Google Gemini (Gemini3-Fast)

    gemini

    Claude (Sonnet 4.6)

    claude

    4 replies    2026-02-20 23:49:22 +08:00
    billlee
        1
    billlee  
       Feb 20
    我觉得这不是什么问题。不给 llm 工具就让它检查语法错误,就像让人用瞪眼法检查语法错误是一样的,不是正常的使用场景。
    lingguo
        2
    lingguo  
    OP
       Feb 20 via Android
    @billlee 有道理,本来我也没觉得它回答错误不正常,但是 gemini fast 和 Claude 都可以秒答正确。我就又试了让 chatGPT 调用工具,可惜仍然回答错误。
    Muniesa
        3
    Muniesa  
       Feb 20 via Android
    chatgpt 日常降智
    lingguo
        4
    lingguo  
    OP
       Feb 20 via Android
    @Muniesa 现在大模型有一个很让我头痛的问题是,一个模型刚发布时的水平,中期的水平,新模型即将发布时旧模型的水平。这三者竟然是在波动的。往往刚发布时,模型能力最强,各个测评跑分也都集中在这个时候。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5128 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 09:07 · PVG 17:07 · LAX 02:07 · JFK 05:07
    ♥ Do have faith in what you're doing.