我用 3.5 天的时间和 Claude 3.5 联手开发了一个 Mac App，利用本地运行的 Llama 3.1 提供实时的 AI 反应。在 M 系列芯片的 Mac 上可用。免费，完全本地，飞快。

[unstop]

朋友们好，好久不见。

前几天 Llama 3.1 发布，我体验之后感到——

时代的变化突然降临了，现在每个人都有几乎免费而且无限量的机器智能。

问题在于缺少应用。

我要做一个大量使用本地 AI 的应用！

整个开发过程和 Claude 3.5 合作完成，3.5 天之后，Snapbox 横空出事：

下载链接：

https://snapbox.app

Snapbox 最基本的用法是在任意 App 中选中一段内容，按 Alt + Space 快捷键启动 Snapbox ，立即获得来自本地 AI 的回应。

修改会自动触发重新请求，因此叫 Live Reaction.

更高级的用法是可以利用预设的 Prompt ，选中内容之后直接套入特定的 Prompt ，可以实现翻译、查词、找 bug 、改写等各种业务。

一切都在本地完成，完全免费，速度飞快。

推荐 Llama 3.1 8B 和 Gemma 2 2B 这两个模型，16G 内存选前者，8G 选后者。

[BearD01001]

好强的执行力，已下载体验

[arongpm]

已下载，需要和你学习执行力

[wangshushu]

楼主太强了，能否加我微信一下？ R29vZ2xlTWljcm9zb2Z0

[BearD01001]

不知道是不是我使用方法有问题，更改快捷键后好像不会生效，快捷键无法唤起应用主窗口

[unstop]

@wangshushu 微信不太用，可以 X 私信联系我：dm.new/qqs

[CSGO]

🐂🐸！

[CSGO]

15.0 Beta 版是不是用不了啊。

[unstop]

@BearD01001 确认是一个 bug ， 已经在 v1.9.10 中修复。推荐更新一下。

[unstop]

@CSGO 能用，我就在用 15.0 Beta

[djyde]

8.2MB, electron 用户流下了羡慕的泪水

[djyde]

我用的 16G m1 air, 跑 llama 3.1 还是挺吃资源，会从本来 5G free 变成 1G. 速度大概是一秒两三个字。

这也是为什么我一直想用本地模型但最终还是会回到中心化模型。不知道大家一般用什么配置能流畅使用 llama3.1 这个级别的模型。

[unstop]

@djyde 推荐试试 Gemma 2 2B ，我在 M3 Air 8G 上使用速度很快。

[richangfoo]

横空出事? 出什么事了？

[unstop]

@richangfoo 故意留的错别字，目前只有你☝️一个人发现

[djyde]

@unstop 确实快，但是幻觉也严重。看来要发掘一些适合小模型的使用场景

[yb2313]

@djyde #10 快使用 tauri, 还能做移动端

[djyde]

@yb2313 风评太差了

[Chad0000]

苹果的模型性能需求不是只有你那个 8B 的六分之一么，有没有人试试效果

[yb2313]

@djyde #17 ??诶, 完全没有听说过, 网上搜了一下也没有搜出来这个风评太差了,给个地址我看看

[kaxiu]

的确飞快！