这是一个创建于 452 天前的主题，其中的信息可能已经有所发展或是发生改变。
有很多场景，需要通过测试问题，推测模型。
之前有朋友说，可以问：树上有 9 只鸟，猎人开枪打死一只，树上还剩下多少只鸟？
但是我试了 5 次，GPT 3.5 才答错一次。
你还知道什么其他的问题可以测试？
之前有朋友说，可以问：树上有 9 只鸟，猎人开枪打死一只，树上还剩下多少只鸟？
但是我试了 5 次，GPT 3.5 才答错一次。
你还知道什么其他的问题可以测试？
 |
1
zhangjiashu2023 2024-06-06 21:32:50 +08:00
3.5 的速度不是比 4 要慢很多吗
|
 |
2
Zzdex 2024-06-06 21:35:07 +08:00
  感觉 3.5 的回答更合适一点。 |
 |
3
oldcai OP PRO @Zzdex 我试过开不同 session ，答错概率就 1/5
regenerate 我不知道会不会有影响，但答错概率只有 2/5 |
 |
4
darkengine 2024-06-06 22:47:34 +08:00
直接问他是不是 GPT4 ，GPT3.5 会回答说因为它只知道 2023 年 xx 月之前的事情（具体年月忘了），所以不知道这是啥。
刚试了，3.5 会老实回答说它不是。 |
 |
5
gujuji 2024-06-06 22:48:35 +08:00
@darkengine 这么快就学会撒谎了吗哈哈哈
|
 |
6
hutng 2024-06-06 22:52:18 +08:00  1
鲁迅为什么要暴打周树人。
|
 |
7
zhhmax 2024-06-07 11:11:50 +08:00
“有很多场景，需要通过测试问题，推测模型”，好奇的一点是难道不是选了什么模型就是什么模型吗，怎么还要推测的？
|
 |
8
FishNaCl 2024-06-07 11:20:47 +08:00 via iPhone 1
可以用前段时间的两个经典问题试试
为什么我不能参加我爸妈的婚礼 鲁迅为什么暴打了周树人 |
|
9
oldcai OP PRO 1
@zhhmax 比如你看到一个产品做的不错，想知道背后是什么模型。
比如在第三方 API 转售的时候，测是不是有掺假。 |
|
10
oldcai OP PRO |
 |
11
zhx643 2024-06-07 14:27:49 +08:00
林黛玉倒拔垂杨柳
|
 |
12
rebecca554owen 2024-06-09 22:51:37 +08:00
10000 以内的正整数，有多少个包含数字 1 。
|
|
13
oldcai OP PRO 爱丽丝有 N 个兄弟，她还有 M 个姐妹。爱丽丝的兄弟有多少个姐妹？
|
 |
14
notwaste 2024-06-11 14:31:21 +08:00
测 GPT4 的问题防君子不防小人，中转如果有意伪装成 GPT4 是会针对这些测试的问题做特殊 prompt 的
实在需要的可以参考站内有个帖子 https://www.v2ex.com/t/947700 |
Select Language