现在的 GPT4 逻辑推理是个猴版

[javlib]

今天看了 b 站上转载的 youtube 博主的微软报告分析，我大收震撼，GPT4 在推理方面有很大的进步，能做数学题。

然后我找了几个微软论文里的测试项，测出来的结果却不如微软报告里的 gpt4 ，如下：

3.1.1 leetcode 题目，动态规划，从矩阵左上角到右下角，给定每个矩阵节点 value ，求所有可能的路径，路径的节点和要被某个数整除 比较：GPT4 能输出正确结果，注释没有微软测试的丰富

3.2 理解伪代码和执行伪代码。代码主体是一个递归函数，递归函数中调用了另一个函数。 比较：微软 GPT4 正确。GPT4 答案错误。执行到递归的最深处，本来需要返回上一层递归继续算，但是 GPT4 在这里直接返回结果了。

4 简单数学 兔子繁殖 比较: GPT4 在按照年份算兔子代数表达式是对的。但是最后求解方程乱算。微软 GPT4 算出了正确答案（有瑕疵）

4.1 数学题 兔子繁殖问题的方程式 比较：GPT4 给出正确答案

4.4 数学题 证明题 比较难，没办法用套路，需要创新思维 比较: GPT4 是乱证明，微软的 GPT4 给出了正确的证明

大家也可以自己上去试一下，找到论文后，把 prompt 部分贴进去就行。总之今天测下来确实不如微软论文里展示的 GPT4 。按理来说微软用的是几个月前的版本，新版本应该更好才对。

[neteroster]

总感觉现在的版本可能经过了某种弱化，推测是算力不够了。这几天 GPT4 输出越来越慢，而且很多时候会不全，要经常继续，可能经过了一些调整。反正我现在感觉体验还不如 3.5 ，快的同时基本能力也没问题。

[javlib]

@neteroster 可能吧，是不是也导致最近加了频率限制，三小时 25 条。还是希望能早点用上更强的 GPT4

[WinG]

反正是离线模型，这玩意迟早得封装成一块芯片，否则满足不了人们的需求。

[sola97]

@javlib 还有每次回复超过 2 分钟就会断掉，一个回答需要消耗两三次