 |
coefuV2EX member #616381, joined on 2023-02-28 17:15:35 +08:00Today's activity rank 9507 |
 |
Per coefu's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
coefu's recent replies
17h 52m ago Replied to a topic by KingCoding › 相亲 › 相亲贴-找对象自救 |
你还不如去王婆那里看看情况，😂
21h 12m ago Replied to a topic by qwzhang01 › Local LLM › 小模型训练、蒸馏、微调的需求大吗？目前想训练自己的模型、又觉得成本太高放弃或犹豫的团队多吗 |
虽然从 0 训练一个 LLM ，现在技术上门槛降低了，但也不是 随便一个只会 web 的 team 能搞得定的 case 。
没有 x000+w 级别的资金压舱 ，也就只能搞个自娱自乐的玩具。
没有 x000+w 级别的资金压舱 ，也就只能搞个自娱自乐的玩具。
21h 15m ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
llama.cpp v0.6.0 优化里 Mac meta 的 矩阵运算，现在 qwen3.8 flash next IQ3-S 无限 context 都能 tg 20tok/s ，真是无敌了。
3 days ago Replied to a topic by qwzhang01 › 程序员 › 做模型训练、蒸馏门槛高吗 |
"简单描述一个我的判断，针对很对垂直细分领域的模型训练、微调、蒸馏，以及端侧模型的推理应该会有很多真实场景。"
你这个判断不成立，over 。
你先搞清楚参数和智能的关系先，在 ANN 基础上的泛 transformer/mamba 架构，都是一份参数一份智能。端侧参数少，有个毛的场景，你不会以为像 shell 的命令 拼出 shell 脚本 一样，能把多个小参数 搭积木搭出大效果？不存在的。
你这个判断不成立，over 。
你先搞清楚参数和智能的关系先，在 ANN 基础上的泛 transformer/mamba 架构，都是一份参数一份智能。端侧参数少，有个毛的场景，你不会以为像 shell 的命令 拼出 shell 脚本 一样，能把多个小参数 搭积木搭出大效果？不存在的。
3 days ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
你这个资源，可以尝试一下 https://huggingface.co/FINAL-Bench/POCKET-Darwin-180B-GGUF
按照 card 里面吹的，已经非常强悍了，但是查了一下，这是个 韩国 team ，所以，置信度要打折扣了。😂
按照 card 里面吹的，已经非常强悍了，但是查了一下，这是个 韩国 team ，所以，置信度要打折扣了。😂
3 days ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
量化之后的能力，是看往哪边侧重的使用了。量化也只能往某种方向保留原本能力，舍弃部分别的能力。
IQ3_XXS 主要是保 stem 这一块的综合能力，主要是在 AIME ，GPQA-D 这两个核心 benchmark 和 BF16 对齐，这一块的能力实际上就是大家能感受到的所谓的 智能密度。
其实主要还是 GPQA-D ，90 分是一个分水岭，90 分之后每提升 1 分，都能指导前一个阶段的工作，发现前一个阶段留的 bug 。
IQ3_XXS 主要是保 stem 这一块的综合能力，主要是在 AIME ，GPQA-D 这两个核心 benchmark 和 BF16 对齐，这一块的能力实际上就是大家能感受到的所谓的 智能密度。
其实主要还是 GPQA-D ，90 分是一个分水岭，90 分之后每提升 1 分，都能指导前一个阶段的工作，发现前一个阶段留的 bug 。
3 days ago Replied to a topic by blackantt › 程序员 › 为什么 google 在 AI 编程模型方面落后了呢？ 印象中， google 无所不能，集中了全球顶尖的人才，也不缺钱，怎么在 AI 编程方面老是处于追赶的地位呢？ |
三哥上位了，鸡犬升天。连 Jeff dean 这种级别的元老都出走了。
3 days ago Replied to a topic by riceball › 程序员 › Cordis 的坑与账-DeepSeek Harness 运行时拿它当底座 |
@riceball you win.
4 days ago Replied to a topic by qclown › 职场话题 › 裸辞三个月：貌似要结束地球 online 了 |
还是要找个女人，能解决大部分问题。
Select Language