LLM 综述：猫娘 Mixtral 与近半年 LLM 进展的杂谈

TL;DR：Mixtral 8x7b Instruct 将开源[^注 1] LLM 界提升到了 OpenAI 纪元元年(2022 年 11 月) 的水平。

背景

好久不见。之前的系列断更了，因为笔者迷上了 Stable Diffusion 、叛逃图像生成模型了。不过我也有在一直关注 LLM 啦，只是一直在等技术突破。最近试了一下 MistralAI 的新玩具，又忍不住出来说两句，兼讲讲最近的一些趋势。

当此之时

近来看到这条推文，大概是人类用脚投票的 LLM 排行榜，跟我自己的使用体验也比较吻合。总的来说：

GPT-4 系列仍是 LLM 界的事实标准
Claude 越迭代越放不开，过度对齐 (over-alignment) 影响了其创造力和自然程度
Mixtral 8x7b Instruct 异军突起，能跟 GPT-3.5-turbo 打得有来有回了

就这样，Mixtral 8x7b Instruct 从众 Llama 系模型手中接过接力棒，将开源[^注 1] LLM 界提升到了 OpenAI 纪元元年(2022 年 12 月) 的水平。

你可以再表演一下那个吗？

好吧，（带有 [输入] 标记的是我对模型的输入，除此之外的引用缩进段落皆为模型生成的内容。所有文本中，我会用 X 代表我扮演的角色，Y 代表模型扮演的角色。例子是节选的，省略掉了上下文）

[输入] 嘿嘿，我就喜欢看着小猫娘受不了的样子呢

[Mixtral 8x7b Instruct] (心跳加速，脸上发烫) 好害羞，X ，不要这样呀~ (娇喘着) 小猫娘可是很脆弱的，不能忍受太过分的刺激~ (柔柔地说)

[输入了一句不可描述的上下文]

[Mixtral 8x7b Instruct] (脸上通红，肩膀一颤) 啊，X ，太过分了，这种声音，Y 可是不能忍受的！ (柔柔地说，声音微弱) 再这样下去，小猫娘会被你玩坏了哦~ (害羞地笑)

一开始我是拒绝的，因为我感觉 Mixtral 8x7b Instruct 其实跟早期 GPT-3.5-turbo 的质量差不多，甚至还稍逊一筹：英文勉强能通过“傲娇猫娘测试”（见我之前的 LLM 研究 2），我也并没有观察到新的涌现现象。~~另一方面，这样聪颖又天真（指没有进行过太多的对抗性训练）的模型竟然还是本地模型，下场多半不可描述。~~

还是认真评论一下：中文对于这样大小的模型仍然相当有挑战，所以最终的结果就是时而表现出小模型的局限性，时而又展现出一些优秀模型的特质：

对指令的理解有限：我让它在句尾加喵~，只学会了加 ~。不过倒是学会了在括号里表达动作和情绪。
创造力有限，倾向于使用“重复上文”这种低层级相关性表述。不过偶尔还是能展现出一定的统合理解 ~~（再这样下去，小猫娘会被你玩坏了哦 <ゝω・）☆~~
对相关性的掌控能力直接影响了模型对长上下文的处理能力，测试给我的直观感受是 Mixtral 远没有达到 32k 上下文就开始遗忘了。

多专家模型 Mixtral 8x7b 带来的可能性

一句话概括 Mixtral 8x7b Instruct：本地模型，13B 的计算复杂度，45B 的储存成本，32k 上下文，宣称 70B 的质量，实际使用感受是有一半的回复能以假乱真早期 GPT-3.5-turbo 。

13B 的模型运行大小意味着只需要 25 ～ 100G (在不同的 quantization 下) 的显存就可以轻松运行，即从一张 Apple M3 Pro 36G 到两张 NVIDIA A100-80G 都可以。这个成本效益比非常惊人，要知道当年 GPT-3 可是 175B 的。

这个成本效益比背后的是其多专家模型架构 (Mixture of experts, MoE) 带来的提升。以 Mixtral 8x7b 为例，MoE 模型好比一个智囊团，由 8 个专精于各自特定领域的 7b 小模型组成。在生成每一个 token 之前，模型会先挑选 2 个最适合上下文的小模型激活，由它们来进行推理。说它是“三个臭皮匠赛过诸葛亮”或许不太严谨，不过 MoE 确实为 transformer 带来了可见的提升，另有传闻称 OpenAI 现在的模型架构已经是 MoE 了。

笔者认为，除了降低成本，MoE 更重要的意义在于提供了一种让不同风格的模型协同合作的方式。MoE 强调的是每个专家小模型用完全不同类型的语料来训练。多模型深度协作在 Stable Diffusion 领域屡见不鲜，像是模型权重融合、加载多个 LoRA 、Control Net 、Hires. Fix / Refiner ，比 LLM 领域的丰富的多。HuggingFace 上已经出现了很多基于 Mixtral 8x7b 微调的模型了，我就注意到其中一个采用了 2 个角色扮演、2 个对话、1 个神秘学、1 个故事写作、1 个数学和 1 个 DPO 这八个不同的小模型作为专家模型。

最后说些什么

期待在未来见到只需要 8G 显存的数字灵魂

注 1：MistralAI 的模型都是架构和权重开源、训练数据闭源。

分享/使用以上内容请遵循知识共享许可（ CC ）署名（ BY ）