用贵的国产大模型 API 是否效果堪比 GPT4？

[lstz]

最近想用 qwen 来协助开发，但感觉总是答非所问，还给人一种懒惰不肯干活的感觉

研究了一下，发现我用的是 qwen-turbo ，单价 0.008 元，而通义千问又提供了 0.12 元的 qwen-max ，切换之后，效果果然棒棒的，唯一缺点就是价格高了，有些贵

再想起各位吐槽国产大模型，我在想是不是因为目前客户端提供的都是菜鸡 qwen-turbo ，而真正高能力的大模型没有被普遍大众体验到，所以导致有种错觉国产不如 GPT4 ？

理性探讨，不要带有情绪，谢绝一切情绪发泄

免责声明，不为 qwen 或者任何其他国产大模型站台，只是开源项目想探讨一下 AI 编程的可行性而已

[JeriffCheng]

国内几乎所有的大模型都是在 llama 的基础上用中文语料二次训练 finetune 出来的, llama 是 facebook 公司搞出来的。集合中国境内所有的显卡都不够从 0 训练出一个大模型，这是算力限制。二次训练就会出现各种后遗症，答非所问，中英文混搭，这种现象在提供给普通用户的几个 G 的小体积裁剪模型文件里尤其严重，大体积几十 G 的模型文件要好很多，但是普通家用显卡没有那么大的显存来运行大体积模型文件，所以只能部署在企业的服务器上，以云服务按 token 计费的方式来提供给普通用户使用。

[JeriffCheng]

严格意义上说，并不存在所谓的国产大模型，因为全都是 fine-tune 人家的模型，只是在毛坯房的基础上刷了一层漆，全世界无数人每天都在刷漆，甚至拿几块 4090 花半个月时间也能浅浅的刷一遍漆。如果英语水平稍微好一点，直接使用联网 Chatgpt 的话，效果比千问这些要好的多的，中文语料的缺失可以通过联网搜索解决，你让它以中文回答就好了。

[sighforever]

@JeriffCheng 都 4202 年了，中国咋可能还不能从 0 训练出来一个大模型呢，gpt 的模型本身就是开源的，一般有几千张卡就能训练个大模型了，很多公司和单位都有这个能力。

[sighforever]

中国的模型总的来说，基础的简单任务还是能胜任的，比如翻译，总结，扩写，代码补全，一般性的聊天都还说的过去，但是稍微复杂一点的推理能力，就差的比较远了，就算是比较好的也一样。

[NXzCH8fP20468ML5]

今日笑话：国内大模型是 llama 微调出来的。

[Ionian]

说叫“国产”大模型，用的英文语料，copy 的西方开源模型，你告诉我，为什么要用它

[princelai]

一楼那位，但凡你用 AutoModel, AutoTokenizer 加载过模型，哪怕是 6b,7b,8b 大小的，都能知道国产的模型结构都不一样吧，你就说说 glm 是抄的谁的啊，gpt 和 llama 都是 decoder-only 架构的，glm 是 encoder-decoder 架构的，这怎么抄?

[graetdk]

@JeriffCheng 狭隘了，chatglm 早在 llama 开源之前就出现了，llama 确实帮助了后来模型百花齐放，但并非所有的模型（包括国内模型）都是基于 llama 的，甚至有技术架构完全不一样的 rwkv 等

[JeriffCheng]

@sighforever 刚才去查了一下最新资料，腾讯、字节、百度英伟达 A100 的存量都不超过 2000 枚，阿里要多一些。llama 第一代的训练花了 2000 多块 A100 ，finetune 它只需要 10 几块 A100 ，所以，阿里的千问，有可能是自己从 0 训练出来的，其他厂家的大概率是 finetune 的。最新的 llama 3 训练花费了 24000 个 H100 ，目前显卡限令下，国内凑不够这个数量级的显卡。

[justfindu]

目前我觉得最佳的还是 qwen-max , 比百度的 ERNIE-4.0-8K 好一些. 这些都是用 API 接入的, 但是效果比不了 gpt-4, 有些逻辑上还是差一点, 但是在中文写作和各种公文稿来说还是优于 gpt 的.

[justfindu]

@JeriffCheng #9 其他显卡都没办法训练吗? 其他算力都没办法推理吗?

[LiYanHong]

一堆敏感词算法就决定了这个领域的失败

[JeriffCheng]

@justfindu 训练大模型绝大多数都是用 A100 和 H100 ，其他的很少用，具体为啥我也不清楚，我也不是搞硬件的。

[murmur]

@sighforever 因为中文语料就一坨屎，环境限制，没法好好说人话

所以现在评测弱智吧的语料质量最高，首先弱智吧的逻辑都很有意思，其次弱智吧是在好好讨论逻辑，没有拐弯抹角的东西，文字质量非常高

[dokke]

https://claude.ai/ 这家是最好用的

[NXzCH8fP20468ML5]

@JeriffCheng 你说互联网企业没 2 千张 A100 是认真的吗。
就我所知，就连几家国有银行都有 2 千张卡了。

[pkoukk]

@sighforever #3 请问 GPT 在哪里开源的？

[Azure99]

今日笑话 2：腾讯、字节、百度英伟达 A100 的存量都不超过 2000 枚。🤣"出处"： https://new.qq.com/rain/a/20230404A0AO0G00

[JeriffCheng]

@xxfye 这半年应该从黑市里流入一些 A100 了吧。

[chiu]

试下经典问题 “鲁迅为什么殴打周树人”