V2EX › fangzhilin 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

13 天前

回复了 fangzhilin 创建的主题 › Local LLM › 本地 AI 桌面应用 Chaty:GGUF + 原生 MLX,带一个能开真浏览器的本地编码智能体

@q0000001 看活。改样式、写个小脚本、单页面这种它能干完,重构就别想了。这个 app 干的事主要就是在应用层专门为小模型优化,同一个模型加完兜底完成步数能少一半多。小模型没有工程思维，应用层通过强制交付门槛和针对性提示词来尽可能弥补能力上的差距，减少用户需要干预的情况，当然拿它和 claude 那些比肯定还是没可比性。

13 天前

回复了 fangzhilin 创建的主题 › Local LLM › 本地 AI 桌面应用 Chaty:GGUF + 原生 MLX,带一个能开真浏览器的本地编码智能体

@yuping913 没本质区别,我最早也是这么玩的。玩下来的感受是那些 agent 的提示词都是给 claude/gpt 写的,动辄几千 token,工具格式一不对完全没法跑。所以我干脆自己写了一层:提示词砍到最小,解析器专门治小模型的错 JSON(空参数、少右括号这种都能修回来),想太久会被掐,起 dev server 自动丢后台。再就是懒人包属性,模型下载、GGUF/MLX 、视觉语音 RAG 都在一个 app 里,不用自己拼三件套。