我用 3.5 天的时间和 Claude 3.5 联手开发了一个 Mac App，利用本地运行的 Llama 3.1 提供实时的 AI 反应。在 M 系列芯片的 Mac 上可用。免费，完全本地，飞快。

[unstop]

朋友们好，好久不见。

前几天 Llama 3.1 发布，我体验之后感到——

时代的变化突然降临了，现在每个人都有几乎免费而且无限量的机器智能。

问题在于缺少应用。

我要做一个大量使用本地 AI 的应用！

整个开发过程和 Claude 3.5 合作完成，3.5 天之后，Snapbox 横空出事：

下载链接：

https://snapbox.app

Snapbox 最基本的用法是在任意 App 中选中一段内容，按 Alt + Space 快捷键启动 Snapbox ，立即获得来自本地 AI 的回应。

修改会自动触发重新请求，因此叫 Live Reaction.

更高级的用法是可以利用预设的 Prompt ，选中内容之后直接套入特定的 Prompt ，可以实现翻译、查词、找 bug 、改写等各种业务。

一切都在本地完成，完全免费，速度飞快。

推荐 Llama 3.1 8B 和 Gemma 2 2B 这两个模型，16G 内存选前者，8G 选后者。

[YsHaNg]

@Chad0000 afm 没开源出来 on-device 是个不到 3b 的模型 按照公测评价实际不咋样 苹果自己评分对比 op 这两个是胜的 https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

[john990]

楼主可以分享下使用 Claude 技巧吗？为什么我和他沟通好几次才能完成一个小功能…

[unstop]

@john990 也没有什么技巧，大概就是两点：1. 描述需求要准确到细节，2. 提供相关的上下文。

[joejiang]

👍

[gebiwanger]

nice 。后续还会有更多有价值的迭代更新吗？

git4all 这样的 app 也可以快速下载开源模型，叠加 RAG 文档训练，开启本地 server 。

这些开源模型都需要比较大的内存，服务器上跑跑还可以，但质量还是不行。
本地的话，还是得上 gpt 和 claude ，但是又不开源。

so ，这个方向价值的局限性，看起来还是很大。

[unstop]

@gebiwanger 刚刚更新 v1.10 支持了远程服务商

[tomdddd]

楼主之前有开发这个桌面端 app 的经验么，求问下技术栈是啥

[quainter]

@unstop 去 X 上搜

[fcten]

@unstop 选择 custom endpoint 填写相关信息后，使用时提示 An error occurred ，是哪里不对？我尝试了一下阿里云百炼的 api

[unstop]

@fcten Custom Endpoint 目前仅支持 Openai 兼容的 API

[weilongs]

下载下载,看起来还不错的样子.

[xing7673]

@djyde #11 m1max 32g 内存，输出字符和网页版差不多，基本可用。但是非常后悔为什么当时不再多加一点钱上 64g ，这样就可以跑主流 70b q4 的模型了

[Neo18761]

直接下载 Ollama 就可以呀

[xing7673]

@xing7673 忘了说了，用的模型是 gemma2:27b

[fcten]

@unstop 我用的是 openai 的兼容 api ，直接用 OpenAI Python SDK 调用是没问题的。主要是没有错误提示，也不知道为啥

[unstop]

@fcten 配置为 https://dashscope.aliyuncs.com/compatible-mode/v1 理论上应该可以，我测试了其他的 Openai 兼容接口是好用的。

[xing7673]

看起来目前的需求 raycast 都能够覆盖到，op 加油

[jackple]

模型文件是下载到哪里了呢?

[jackple]

找到了, 在~/.ollama/models

[mitoop]

An error occurred. Please try again. 这是为什么