catazshadow's recent timeline updates catazshadow's recent timeline updates |
catazshadowV2EX member #399613, joined on 2019-04-08 17:11:05 +08:00Today's activity rank 15783 |
| 诸位 v2er 怎么看超人故事里指责超人的那些人？ 问与答 • catazshadow • Sep 11 |
| 小米 17 把这次西班牙日食 P 成了月食 分享发现 • catazshadow • Aug 16 • Lastly replied by catazshadow | 5 |
| AI 回旋标来了 分享发现 • catazshadow • Jun 12 • Lastly replied by woshishui2022 | 12 |
| 为什么你该停止使用 Ollama
1 Local LLM • catazshadow • Apr 22 • Lastly replied by seakingii
|
14 |
| 疑似被 ban，求解封 水 • catazshadow • May 5 • Lastly replied by catazshadow | 2 |
| 跪求个邀请码 水 • catazshadow • Sep 16, 2025 • Lastly replied by pcy | 2 |
| 再来一个代沟，你们知道保存按钮上为什么是这个图标吗 分享发现 • catazshadow • May 20, 2025 • Lastly replied by sc2yml | 19 |
| 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 分享发现 • catazshadow • May 16, 2025 • Lastly replied by ltux | 175 |
catazshadow's recent replies
23h 13m ago Replied to a topic by YanSeven › 职场话题 › llm 时代，架构师和普通大头兵的在专业上的区别在哪 |
区别在知识和经验上，终于是时候意识到知识也是有价值的了
把 35 岁及以上人员通通开除就是对这些人随身携带的知识和经验的彻头彻尾的蔑视，这些短视、愚蠢、不够格的管理层是时候出来认错了
把 35 岁及以上人员通通开除就是对这些人随身携带的知识和经验的彻头彻尾的蔑视，这些短视、愚蠢、不够格的管理层是时候出来认错了
1 day ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
1 day ago Replied to a topic by sentinelK › Local LLM › strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill |
"--prompt-cache",
"32",
"--prompt-cache-every",
"2048",
我就改了这些，不然一两轮就完整 refill 一次
还有如果是多路主板用多 GPU 的话，可以注意一下跨 NUMA 的问题，节省点通信延迟，它这个 pipeline parallelism 的时候的数据流动是按照启动命令行里制定的 GPU 号来的，所以不要整成 NUMA0 -> NUMA1 -> NUMA0 -> NUMA1 了，配置成 NUMA0 -> NUMA0 -> NUMA1 -> NUMA1 更好
"32",
"--prompt-cache-every",
"2048",
我就改了这些，不然一两轮就完整 refill 一次
还有如果是多路主板用多 GPU 的话，可以注意一下跨 NUMA 的问题，节省点通信延迟，它这个 pipeline parallelism 的时候的数据流动是按照启动命令行里制定的 GPU 号来的，所以不要整成 NUMA0 -> NUMA1 -> NUMA0 -> NUMA1 了，配置成 NUMA0 -> NUMA0 -> NUMA1 -> NUMA1 更好
1 day ago Replied to a topic by cj323 › Windows › 微软新开源 LiteBox library OS |
这种玩意(library OS)的作用是降低 API 的数目，减小攻击面
1 day ago Replied to a topic by diandian666 › 职场话题 › 五年后，还有多少程序员能靠写代码活着？ |
怎么都是这么悲观的
来看看 Claude 前不久整出来的 70 多个内核安全漏洞里到底有多少算得上是安全漏洞：
太长不看版：个位数有效，还只能勉强算漏洞
拿这个推算，这 700 多数学篇论文里估计能有 10 篇有一点点贡献，大语言模型真的只会写屎山
来看看 Claude 前不久整出来的 70 多个内核安全漏洞里到底有多少算得上是安全漏洞：
太长不看版：个位数有效，还只能勉强算漏洞
拿这个推算，这 700 多数学篇论文里估计能有 10 篇有一点点贡献，大语言模型真的只会写屎山
6 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
@zzutmebwd flash next 是 MoE 的缘故吧
8 days ago Replied to a topic by Hef › 分享发现 › 最近一段时间使用 ai 的惊人发现 |
@Hef 你都说了如果了，我也没必要继续了
9 days ago Replied to a topic by Hef › 分享发现 › 最近一段时间使用 ai 的惊人发现 |
所有这些都是表面现象，机器不可能有意识
9 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
你们都该去试试这个：
https://github.com/Niko1221/Strata
27B 的速度，flash next 的能力，屌
记得把 prompt cache 开多点，不然问两次就重新 prefill 一次，要炸毛的
https://github.com/Niko1221/Strata
27B 的速度，flash next 的能力，屌
记得把 prompt cache 开多点，不然问两次就重新 prefill 一次，要炸毛的
11 days ago Replied to a topic by 5xX4U5sUwdELgdQ3 › 买买买 › 有什么有意思的 3C 产品推荐嘛 |
示波器
Select Language