本地 AI 桌面应用 Chaty:GGUF + 原生 MLX,带一个能开真浏览器的本地编码智能体

[fangzhilin]

独立开发者,分享一下做了一段时间的开源项目 Chaty(MIT)。

初衷很简单:想要一个真正"全在本机"的 AI 应用,不止聊天。现在它有:

• 任意 GGUF 模型 ,Apple Silicon 上还能原生跑 MLX

• 本地编码智能体:选个文件夹描述任务,它自己探索、改代码、跑测试;还能驱动真实 Chrome 读网页、填表单、登录,配视觉模型时会"亲眼看"页面

• 给小模型做了"工具端智能化":语义搜代码返回排序好的文件+关键定义、按符号读函数+调用处、自动找相关测试只跑最小集——8B 模型在多文件项目上找 bug→修→验证 18 秒跑完

• 知识库(混合检索+逐文件引用)、多轮 Deep Research 带引用报告、离线语音、模型商店(按内存提示"能否完整载入")

• 界面中英双语,数据全在本地一个文件夹

• GitHub: https://github.com/Fangyuan025/Chaty

• 官网/文档: https://chaty.ca

[q0000001]

想问 op ，其实本地小模型特别是 8b 左右的，真的有生产力吗？

[yuping913]

这和 code agent 接个本地模型 api 有什么区别？

[fangzhilin]

@yuping913 没本质区别,我最早也是这么玩的。玩下来的感受是那些 agent 的提示词都是给 claude/gpt 写的,动辄几千 token,工具格式一不对完全没法跑。所以我干脆自己写了一层:提示词砍到最小,解析器专门治小模型的错 JSON(空参数、少右括号这种都能修回来),想太久会被掐,起 dev server 自动丢后台。再就是懒人包属性,模型下载、GGUF/MLX 、视觉语音 RAG 都在一个 app 里,不用自己拼三件套。

[fangzhilin]

@q0000001 看活。改样式、写个小脚本、单页面这种它能干完,重构就别想了。这个 app 干的事主要就是在应用层专门为小模型优化,同一个模型加完兜底完成步数能少一半多。小模型没有工程思维，应用层通过强制交付门槛和针对性提示词来尽可能弥补能力上的差距，减少用户需要干预的情况，当然拿它和 claude 那些比肯定还是没可比性。