尝试了讯飞的星火大模型后的感受分享~

[MZSAN]

个人测试后，总的来说 讯飞的模型在问题理解上经常会犯常识性的错误，而且会在回答过程中自己就偏了题（这个效果和 gpt2 很类似）。此外，讯飞的回答总是十分宽泛，有一种说了也是白说的感 jio~

星火似乎对某些常问的问题提前设定好了，举个例子 问它一棵树上有 10 只鸟打死一只还有几只 它能答的不错，而把 10 换成 114514 就开始胡言乱语了。

说实话，试用了几次星火大模型后 已经没了兴趣。ta 的能力偏弱，也没有文生图之类的附加能力。。给我的感觉，ta 可能就是个在开源的 llama 模型基础上进行的魔改~

另外我在对话过程中也多次问出了漏洞，，似乎发觉星火大模型是在回答输出时 检测是否有涉及到敏感信息或询问其开发公司等回复，检测到后进行替换（哪怕是答非所问）。虽然是小概率，但不能排除 gpt 套壳的可能。

另外也有一个极大的可能，讯飞在训练模型时 使用了 ShareGPT 或其它类似的 GPT 对话数据集，导致了当下星火大模型所出现的回答逻辑与 ChatGPT 相像、询问开发信息时答复 OpenAI 等等问题。

如果星火大模型确是在数据来源上大量取自 chatGPT 的对话，一方面这在最终呈现的效果上又成了另一种形式的套壳，另一方面该模型的文本质量必定是低于 chatGPT 的，更别提超越了。。。

[baka]

@scruel 好文。其实用向量数据库做 cache 也是正常的，是缝合时的策略问题。我体验下来疑点最重的在于 2 点：1.针对 openai 关键字的干预有点过头了，有此地无银三百两的感觉。2.

[baka]

@scruel 2. 语言风格时而俏皮时而学术，不得不让人怀疑是多个语言模型缝合。

[coyoteer]

@Biluesgakki 难道在中文领域都不会吗

[ttimasdf]

讯飞的一个工程师在 Github 开源了一个中文的基于 LLaMA 的对话模型，有理由相信他们的商业产品也是基于这个来做微调的。
他们那个项目里讲了，数据集就是 ChatGPT 投喂的。

[MZSAN]

@ttimasdf 项目地址有吗