V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  clemente  ›  全部回复第 1 页 / 共 46 页
回复总数  909
1  2  3  4  5  6  7  8  9  10 ... 46  
16 小时 37 分钟前
回复了 echoVic 创建的主题 程序员 boss-skill v3.9.5 发布,聊聊对 Harness 的一点新理解
@echoVic references 也是 skill 的一部分

skill 服从 渐进式披露 原则 按需加载 skill ,只是 skill 的 desc+name+ CLAUDE.md 或者 AGENTS.md 是默认加载的
18 小时 25 分钟前
回复了 echoVic 创建的主题 程序员 boss-skill v3.9.5 发布,聊聊对 Harness 的一点新理解
Harness != skill
20 小时 40 分钟前
回复了 Sakurayuki2 创建的主题 硬件 618 想买台显示器,求大家帮忙推荐推荐
@peteretep 爽点在哪里? 不是很懂
1 天前
回复了 littlemis 创建的主题 问与答 请问大家目前 AI 使用工具清单 🙌🧑
搜索 perplexity
长文本理解 gemini
代码 codex+cc
图片 gpt
日常 豆包
录音 通义听悟
open -a 'Claude' --args --proxy-server="http://xxxx.com:xxx" --proxy-bypass-list="localhost,127.0.0.1,::1"
open -a 'Codex' --args --proxy-server="http://xxxx.com:xxx" --proxy-bypass-list="localhost,127.0.0.1,::1"


最佳方案在这里
其实是模型拆到 硬件的 sip core 里面了 通常只能定制模型
1 天前
回复了 awesomes 创建的主题 分享创造 该运动起来了程序员朋友们
少吃 吃的好 睡得好 才是值得关注的

这是优化项 里面的 top1
上架流程快嘛
1 天前
回复了 followadc 创建的主题 Local LLM mac 64g 能部署哪个本地大模型
一般 小设备都跑 nvfp4 或者 fp8

mac fp8 的话 你大概跑 36 - 40+ 左右的差不多了 但可能你做其他功能就卡了
1 天前
回复了 followadc 创建的主题 Local LLM mac 64g 能部署哪个本地大模型
我正好写过类似工具

如果是稠密模型
运行时显存需求 = 模型参数 x dtype(是什么量化版本) + 冗余量 留给 kv cache

如果是 moe 的模型
实际运行时显存需求 少于上面


用 13b 模型为例
格式 每参数字节 13B 权重
FP16/BF16 2B ~26 GB
FP8 (E4M3) 1B ~13 GB
NVFP4 0.5B ~7 GB


kv cache 按照 1/4 冗余计算

26 * 5/4
13 * 5/4
7 * 5/4
@conky 美国身份证?
@TerranC 最新的 claude code 内置了 superpower skill
我觉得你这个用车 不如去买个二手的油车
从 优化这门学科的角度 你应该分析一下地球 top5 的浪费活动 然后优化他们 比 你现在考虑的重要的多
钝刀秀刀功

不如做全套 hook + ai
改了也没用 驱动和 Kernel 不支持
5 月 20 日
回复了 Rrrrrr 创建的主题 NVIDIA 去年 H200 能买,不让买是代替快出来了?
h200 算力很强大 还有 fp8 支持
5 月 20 日
回复了 meetyuan 创建的主题 程序员 大家都是怎么判断中转站安全性呢?
用 10 个冷门知识验证
@Ketteiron 你拿 自由市场的例子 来做推理 退不出的答案
@Ketteiron 你知道最近化债是做什么的吗? 一个系统要维护稳定 最先的动作是 投钱加固 而不是拆墙根
1  2  3  4  5  6  7  8  9  10 ... 46  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1306 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms · UTC 23:49 · PVG 07:49 · LAX 16:49 · JFK 19:49
♥ Do have faith in what you're doing.