stefwoo

为了把大模型和草稿小模型一起塞进 24G 显存，选 4-bit 量化（~16G ），草稿保持 BF16 （~1.2G ），KV 缓存用 quant 量化。
预填充时，草稿小模型飞速扫遍长文本，只挑出最重要的 5% 片段；大模型只对这 5% 做稀疏预填充，跳过其余 95% 的无关内容。
随后进入生成阶段：草稿模型一次幻想出多个候选 token ，大模型用树形注意力一次性验证整棵树，实现高速逐词解码。

5 days ago

Replied to a topic by zxypro › 分享创造 › 亲身经历猫咪急症，我做了一款猫狗疼痛检测工具，希望能救你家毛孩一命

网站挂了，楼主

Apr 27

Replied to a topic by zsj1029 › Local LLM › qwen3.6 27b 本地编码测试

Qwen3.6 A35B-A3B 4bit 在我的 3090 下运行也飞快啊

Apr 25

Replied to a topic by JZen › 分享发现 › 一个性价比极高的数据冷备份路子

冷备份我用的 aws s3 deep achieve
反正就是永远不会用，做个保险

Apr 25

Replied to a topic by KaiWuBOSS › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现

很棒的工作，回家试试我的 3090

Apr 24

Replied to a topic by tianjiyao › DeepSeek › DeepSeek V4 终于出来了。。不知道强不强

https://mp.weixin.qq.com/s/DwleBgjy3EiS7zWqlrsTEw

Apr 24

Replied to a topic by dingawm › 程序员 › 只能说 DeepSeek V4 Pro 继续努力吧，天气卡片效果一般

https://mp.weixin.qq.com/s/DwleBgjy3EiS7zWqlrsTEw

文中提到：
其四，不讲究的架构与 UI 。V4 基本保留了之前 DeepSeek V3 在各类架构设计上的思路，不讲究，不够精致，但也不糊弄，该有的分层，解耦，都会有。做不到 Opus 那样一看就出自大手的规范性架构。UI 方面同样如此，直出效果不算优秀，偶尔会有些精细表达，但多数时候就是基本能用的程度。甚至 high 档位偶尔下限更低，考虑不周全。如果实际开发配合设计稿，那么问题不大。但如果是纯 vibe coding ，那实现效果就需要反复抽卡。

Apr 22

Replied to a topic by shuaijinchao › 分享创造 › 一行代码，让 Claude Code / Gemini / Codex 接入任意 LLM

@shuaijinchao #43 昨天编译的有问题，今天用你们的预编译是 ok 的了。👍

» More replies by stefwoo