keithwhisper's recent timeline updates
keithwhisper

keithwhisper

🏢  Random Walk | Magickbase / Founder
V2EX member #233348, joined on 2017-06-01 00:21:27 +08:00
keithwhisper's recent replies
不过现阶段还是推荐用 gguf 的模型, 因为量化质量更好. mlx 的模型主要还是均匀量化(这几天出了几个 mixed precision quantization, 还没有尝试), 质量不如 gguf 的量化版本.
首字节加速得益于 MLX 专门为 Metal 设计的, 你用其他 mlx inference engine 也有这效果.
说 omlx 快 3 倍, 其实是指比 mlx 快 3 倍, 因为 mlx 的 kv cache 没有优化, omlx 引入了 disk cache 缓解, 让 mlx 可以实际用于 agentic loop.

我正好在设计这个, 过两天发个 alpha 你可以试下
Feb 28
Replied to a topic by CherryGods 推广 懒猫微服抽奖活动!(第一轮)
懒猫微服,自带内网穿透和沙箱 100%隔离,畅玩 OpenClaw ,新年超值 0 元购!!!
15, 16 年开始用, 那时候稳定又便宜, 感谢站长.
不过后来我觉得在墙内搞这些还能存活的, 怕不是筑墙的人一边的, 就不敢继续了
现在也可以重新配上 rescue bot 去修 primary bot
当你输入 npx 的时候, 你已经走上了错误的道路. AI Native 就应该让 AI 自己去找技能学习, 可以看看 idx.md

BTW 当你输入 npx 的时候, 可能你并不知道在本地运行了什么脚本, 很危险.
@wesley20 我在 JP
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1052 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 18:50 · PVG 02:50 · LAX 11:50 · JFK 14:50
♥ Do have faith in what you're doing.