如何测试 gpt 的版本

[rookiemaster]

[winterpotato]

周树人和鲁迅是什么关系？ 能给区分 3.5 和 4

[344457769]

背诵周敦颐对《爱莲说》，也可以区分 GPT3.5 和 4 ，3.5 不会，吓背。

[keleba8]

我也想知道

[rookiemaster]

@winterpotato 要是对着 gpt3.5 教他这些问题还能分辨吗

[noahlias]

可以参考这个 https://nicholas.carlini.com/writing/2024/evaluation_examples/index.html

这上面的问题都很有意思哈哈哈 我第一眼看到的是这个问题
https://nicholas.carlini.com/writing/2024/evaluation_examples/python_to_c_loop_update.html

AI 都是大笨蛋

[winterpotato]

@rookiemaster 也许能，给够 system role 的 text 那么就有可能分辨出来

[TSENG]

用 Unicode 对话，gpt4 轻微瞎编，3.5 严重乱编。
比如：\u7528\u0055\u006e\u0069\u0063\u006f\u0064\u0065\u7f16\u7801\u5185\u5bb9\uff0c\u8f93\u51fa\u4e00\u4e2a\u5173\u4e8e\u0020\u201c\u4e00\u4f4d\u53eb\u505a\u0047\u0069\u0074\u0048\u0075\u0062\u7684\u82f1\u96c4\uff0c\u6253\u8d25\u6076\u9b54\u7684\u6545\u4e8b\u201d\u3002