笔记本 125B 模型 Q4 量化， xHigh256k 调优峰值 64tps。附部署和调优源码

[flkaylor19]

笔记本：幻 X2025 windows 96G 显存分配 32G RAM 操作模式：增强模式 修了识图，去拒答 配置：q4xs 量化、上下文 256K ，配置如下，96G 显存分配 32GRAM 峰值 64.63TPS 智商类似不降智 opus4.6 https://github.com/xszwow/Strata

[panghu960]

数据点很有参考价值。我自己做端侧离线推理时也踩过类似的坑：权重压到 4bit 之后，真正卡住长上下文的往往不是权重而是 KV cache ，256K 下 KV 的占用很容易反超模型本身，所以把量化收益优先给 KV 通常比继续压权重更划算。另外 64tps 是空载峰值还是带对话历史的稳态，差别很大；方便的话补一组 32K/128K/256K 的 decode 速度曲线，对准备上统一内存机器的人更有决策意义。