mkdirmushroom 最近的时间轴更新
mkdirmushroom

mkdirmushroom

V2EX 第 434020 号会员,加入于 2019-08-05 16:57:59 +08:00
今日活跃度排名 8932
mkdirmushroom 最近回复了
1 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@hootigger 应该是电感啸叫声,我刚开始有点介意,现在无所谓了,反正正常也听不到。
代理工具需要开启增强模式吗,毕竟是 app
7 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@AndyWang666 散热非常好,但是我的机器低负载有电流或者电报的声音,换了一台还是更严重了,只好忍了。pve 直通 oculink 没试过,手里没有显卡坞。
13 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@tclm 有点慢的,我试过,大概就 2.3token/s 吧
20 天前
回复了 serafin 创建的主题 Apple 买 M4 iPad 1TB 以下 建议等 6 月 WWDC 后再决定
@maolon apple 的优势其实还是生态,本地模型完全可以用家庭服务器跑,但是肯定不能接入苹果的软件就是了。
20 天前
回复了 serafin 创建的主题 Apple 买 M4 iPad 1TB 以下 建议等 6 月 WWDC 后再决定
为啥要用移动设备跑本地大模型,如果实在在乎隐私,完全可以在家里搭建一个家庭服务器来跑啊,内网直接连,外网穿透连。(我现在就是这个方案)
21 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@mkdirmushroom
@lchynn 8845hs 的 npu 算力不是浮点数,是整数 16TOPS
21 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@lchynn 买了啊,目前是我的主力家庭服务器,ollama 7b 推理肯定没问题啊,大部分电脑都随便跑的,主要还是看内存带宽的。我还试了 qwen 的 72B 4bit ,大概 2 ,3Token/s 吧。

我目前是 PVE 分了一个 32GB 内存的 ubuntu 跑 ollama ,基本上都用的 14B ,大概能有 10 几 token/s 吧。
48 天前
回复了 keyfunc 创建的主题 NAS 4 块 nvme 的 SSD 怎么组阵列
大佬既然是小主机全闪的话,万兆网口是怎么解决的?
60 天前
回复了 villivateur 创建的主题 云计算 oracle 东京网络是不是出问题了?
甲骨文真正诠释了免费的就是最贵的,我 3 月初好不容易注册成功了,也升级了,不到半个月被封了,那种过山车的体验很不爽。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1528 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 23:59 · PVG 07:59 · LAX 16:59 · JFK 19:59
Developed with CodeLauncher
♥ Do have faith in what you're doing.