fangzhilin's recent timeline updates fangzhilin's recent timeline updates |
fangzhilinV2EX member #520976, joined on 2020-11-27 22:57:33 +08:00 |
| 本地 AI 桌面应用 Chaty:GGUF + 原生 MLX,带一个能开真浏览器的本地编码智能体
1 Local LLM • fangzhilin • 13 days ago • Lastly replied by fangzhilin
|
4 |
fangzhilin's recent replies
13 days ago Replied to a topic by fangzhilin › Local LLM › 本地 AI 桌面应用 Chaty:GGUF + 原生 MLX,带一个能开真浏览器的本地编码智能体 |
@q0000001 看活。改样式、写个小脚本、单页面这种它能干完,重构就别想了。这个 app 干的事主要就是在应用层专门为小模型优化,同一个模型加完兜底完成步数能少一半多。小模型没有工程思维，应用层通过强制交付门槛和针对性提示词来尽可能弥补能力上的差距，减少用户需要干预的情况，当然拿它和 claude 那些比肯定还是没可比性。
13 days ago Replied to a topic by fangzhilin › Local LLM › 本地 AI 桌面应用 Chaty:GGUF + 原生 MLX,带一个能开真浏览器的本地编码智能体 |
@yuping913 没本质区别,我最早也是这么玩的。玩下来的感受是那些 agent 的提示词都是给 claude/gpt 写的,动辄几千 token,工具格式一不对完全没法跑。所以我干脆自己写了一层:提示词砍到最小,解析器专门治小模型的错 JSON(空参数、少右括号这种都能修回来),想太久会被掐,起 dev server 自动丢后台。再就是懒人包属性,模型下载、GGUF/MLX 、视觉语音 RAG 都在一个 app 里,不用自己拼三件套。
Select Language