V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ShadowPower  ›  全部回复第 8 页 / 共 105 页
回复总数  2083
1 ... 4  5  6  7  8  9  10  11  12  13 ... 105  
187 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@BernieDu
PCIe 接口在推理的过程中,传输的数据只有用户输入的文本和模型返回的文本(一次一 Token )
多卡的话,再加上一些层与层之间传输的信息以及一些上下文更新信息,也非常少

吃的带宽都是 GPU-显存之间的带宽,这部分不走 PCIe 。为什么吃:因为生成一个 Token 就得访问一次所有激活参数。但你需要注意的是,这是 GPU 访问自己负责的那部分参数,多 GPU 也不会需要 A GPU 去访问 B GPU 上的显存。

如果用 NVIDIA 以前的 SLI 技术,那倒是会有上面说的情况。但跑模型并不采用这种技术方案,AI 工程师不会那么蠢……
187 天前
回复了 Fdyo 创建的主题 Windows 腾讯应用宝专区正式上架 Microsoft Store
@Fdyo 那太好了
187 天前
回复了 Fdyo 创建的主题 Windows 腾讯应用宝专区正式上架 Microsoft Store
Windows on ARM 能用吗
187 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@BernieDu 推理对 PCIe 带宽要求很低,训练的要求倒是很高
188 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@DICK23 数据敏感的场景拿出来租几天 VPS 跑,没有哪家厂商会花成本去监听和解析内存数据
188 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
这个容量能跑的实用模型,消费级 N 卡都能单卡或者双卡跑( 32B / 70B )
实用程度更高的模型,128GB 内存不够跑,想方设法跑起来也会有很严重的性能/质量问题
C++每个第三方库都有自己的字符串实现
你可能会见到:
QString
CString
……
另外,在不在主线程里执行并不能用来判断是不是异步。异步一般跟 IO 有关,主要用于解决线程会被 IO 阻塞的问题。
这里的 IO 可以是文件,可以是网络,也可以是用户的输入。
当然,也可以用多线程实现异步,但是并发不会很高。
Promise 不提供异步机制,而是管理异步流程
190 天前
回复了 liudewa 创建的主题 汽车 雷车,为什么能把价格打下来
@feikaras “垃圾本子 thinkpad 低温锡出货量也不小”这个例子不妥,我类比一下:
垃圾本子 MacBook 显卡门、电池鼓包( 15 款)、CPU 虚焊( 12 英寸)、屏幕涂层脱落、蝶式键盘、排线门( Flexgate ),出货量也不小。

你有感觉出这个例子的不妥之处吗?
190 天前
回复了 liudewa 创建的主题 汽车 雷车,为什么能把价格打下来
@catazshadow
从我的视角来看
我用得好好的,啥问题都没有
有个人一定要逼我承认,我用的是垃圾,被忽悠瘸了

如果他告诉我到底哪里垃圾,如何分辨,我能亲自检查和确认,那没有问题
要是真的垃圾,我自己都会去维权,毕竟花的是自己的钱

但啥都讲不出来,就直接一口咬定“小米的东西就是偷工减料”

我只会觉得,要么他的“偷工减料”标准划得很高,除了无比完美的产品外,都是偷工减料的
要么这个标准很灵活,对不同品牌适用不同标准
190 天前
回复了 maizero 创建的主题 Apple 挂一个吃相难看的软件: NTFSTool
@MacsedProtoss NTFS 的地位类似于 PSD 格式在数码绘画领域的地位。虽然是私有格式,但因为使用过于广泛,大多数软件都会去支持它
190 天前
回复了 ColdEye1984 创建的主题 MacBook Pro 有没有和我一样脑子一热买 M4 Air 的?
@goldenalex 那时候的 MBA 应该可以用转接卡改装 m2 接口的硬盘
191 天前
回复了 ColdEye1984 创建的主题 MacBook Pro 有没有和我一样脑子一热买 M4 Air 的?
@goldenalex 我查了一下,15 款的 MBA 的多核性能只有 M4 单核性能的一半
这居然还能用……
1 ... 4  5  6  7  8  9  10  11  12  13 ... 105  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   880 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 21:02 · PVG 05:02 · LAX 14:02 · JFK 17:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.