关于手机/车机侧开发语音助手，本地部署 AI 小模型

[maokg]

我想做一个语音助手，现在有两种场景，联网和断网。断网下我想部署一个端侧的小模型处理我的指令，不知道现在有哪些开源模型可以使用？

[coefu]

想一想就行了，目前你这个想法整个业界也没有什么 80 分的方案。

[Solix]

？？？别闹了，7b 全精度显存需求：大约 28~32 G ，量化 8/16G 能运行，然后跑起来有啥用，它能搞指令遵循还是结构化？

[maokg]

@Solix 不用很复杂，断网环境下能识别到播放音乐、打开车窗这类简单指令就可以，但准确度可能要高一点

[play78]

如果只是固定单词指令，现在 AIOT 芯片和方案就有现成的。便宜的几毛钱的芯片就内置了。淘宝搜索“LED 语音灯”，准确率比大模型准非常多。

[maokg]

@play78 感谢，我了解一下

[jacketma]

自己部署这个就可以 huggingface.co/Qwen/Qwen2.5-Omni-7B

[bigtear]

小米的智驾用的是一个 128g 显存的 NVIDIA 开发版，你可以试试能不能调用它

[otakustay]

@Solix 车机有限场景下的指令遵循，Siri 的水平就够了，Siri 这方面可是纯端的，哪需要 7B 这么大规模

[ca2oh4]

固定指令的话，乐鑫都有成熟的方案可直接用了

[imliuruiqi]

非要本地的话也有一些量化后的小模型，但效果可能需要你自己实验一下 相关研究可以顺着 huggingface 的 smollm 去找： https://huggingface.co/blog/smollm

[Tink]

@maokg #3 单纯指令的话，看一下机芯智能的离线语音模块 su03t ，还有天问的 asr 系列，都可以满足。我在家里的智能家居控制用的都是这些

[skallz]

我觉得你这个方案就想错了，应该是做一个语音识别，然后根据关键词，去做对应的操作，而不是接入 llm 大模型。。。

[me15000]

@coefu 到处都能看到这个喷子，你到底懂不懂啊，不懂别瞎逼逼行不行

[humminwang]

gemma 3 270m 可以试试 500 多 MB 内存即可

[wheat0r]

我理解这个 OP 的这个逻辑，人是很复杂的，很多时候用户并不会给出指定的指令，确实需要端侧具有一定的思考能力。
比如用户可能并不会说“播放歌曲千万次的问”，而是说“给老子整个刘欢那个 ask 啥的歌”

[op351]

@wheat0r 我想了想 离网做了这个也没啥用 因为音乐软件还是要联网搜索，然后播放 哈哈