@wsbqdyhm 这个 https://github.com/RVC-Boss/GPT-SoVITS

如果不会用的话 B 站搜搜教程，现在应该听多了。

@muxiaofei

中文微调推荐 Qwen 系列，llama3 预训练估计没多少中文语料。

微调分不同类型，全量，LoRA ，QLoRA 等，最近也有一些新兴技术。例如，llama3 8b 用 LoRA 基本 24G 能满足，但是全量微调这个大小则是天方夜谭。部分任务下 LoRA 等技术和全量微调效果接近甚至更好，但是也有很多任务是不及全量微调的，需要实际测试。

租算力完全可行。

另外，知识库不推荐微调，先试试 RAG 。

@neteroster 再补充几句，70B 还没到 Mac 的适应区间，2 * 3090 就能拉爆 M3 Max 了，还是在便宜的多的情况下。拉高 batch size 差距应该会更加显著。

再大的模型？那就要想清楚你是不是真的需要那么大的模型了，现在大部分模型都集中在 <100B 区间，就算 >100B 的模型 Mac 也跑不快的。唯一有优势的可能是 MoE ，不过现阶段并不多，可能战未来吧。

真要考虑 Apple Silicon 跑 LLM 的话先看看这个：

https://github.com/ggerganov/llama.cpp/discussions/4167

不是所有 M 芯片都是那么快的。等级森严在苹果这里也是不会变的。

除非你非跑超大模型不可，否则就性能而言 M 芯片的性价比是不如 NVIDIA 的。总之就是先想清楚需求。

然后就是如果涉猎比较广泛，不止玩 LLM ，当然还是 NVIDIA ，毕竟生态再这里。

4060Ti 16G ，但是最近涨的貌似有点多，胜在显存大些，要跑比较大的模型的话可能有用，单看性能其实性价比不高。

如果模型不需要那么大显存就 4070(s) 吧，跑模型速度会快点，游戏也能开高点画质。能接受二手的话，也可以考虑，毕竟 40 系没有经过矿潮洗礼，挑个一线带个人送保的牌子就行。

如果愿意折腾的话也可以看看 P100 / P40

5800U 从 Win11 发布用到现在，没遇到过这些问题。

客观来看，国内目前还没有大模型能和 GPT4 Turbo 能力上对位。

不过 OpenAI 现在也就 4Turbo 能拿得出手了，3.5-turbo-0125 烂成什么样子就不多说了，属于是 Chatbot Arena 上要翻好几下才能看到的水平。价格也并不能算得上低。

Claude3 全系列 200K 上下文，GPT4 Turbo 128K 上下文。绰绰有余。

开源模型这边，Qwen1.5 词表有中文词汇，如果是中文的话 Tokens 量会比汉字数量少不少，32K 完全足够。但上下文较长时效果可能下降。

Deepseek Coder 6.7B / 33B

https://chat.deepseek.com/coder 这里可以体验，上面是 33B 的版本，但是 6.7B 也很不错。

是有点问题，降级到 2.5.2 可解，前段时间也遇到了。用 GPU 就没这事。

GPT-SoVITS

@laminux29 你拿官网 API 自己试一下就知道了。ChatGPT 和 OpenAI 的 API 不是一个产品，前者加入了额外的系统提示词，甚至可能有更多的介入。

#2 的 Mermaid 再加上 AI 这不就来了。

现在很多语言模型前端都支持 Mermaid 语法渲染了，只需对模型说：用 Mermaid 语法画一个 ... 图。就行了。

这里有一个免费的测试链接（不过没法发图）： https://labs.perplexity.ai/
右下角改为 claude-3-haiku 即可。

实际上很可能是因为今天某些验证域名被 DNS 污染了。

把 DNS 改为 4.2.2.1 ，然后重新连接 WiFi 大概率可解。也可等待苹果自己处理。

是的确实不错，中日也还行，总体感觉是比 GPT 3.5 强，有的精彩的地方甚至能超过 4 ，这是一个好时代。

@neteroster 另外，用 decimal 应该也不行。它能正确表示精确的 1/3 吗？

@v24radiant 算多也是有可能的，不过我的直觉是算少（查表的时候意外撞上的可能性感觉不大），不过反正都是不精确的。
几百条肯定是少了，我原程序算的六万多条都化成整数运算检验过的，只可能少不会多。