Windows、 Linux 平台支持类似于 apple M 系列芯片的 Unified Memory Architecture(UMA)架构吗, AI 模型跑不起来...

[wwwuser]

目前在试着跑了下开源的大模型，发现大模型数据比较占用显存，一般消费级别的显存都很小，不会超过 16G ，但是稍微参数大些的模型数据就超过 16G 了，当加载模型数据到显存时显然是不够的，然后发现程序就完全在硬盘上推理，速度奇慢无比，如果显卡能使用内存加显存岂不是很爽，再大的模型都可以加载，而且不用跑的那么慢 有大佬比较清楚吗，可以详细说说么

[NoOneNoBody]

不要滥发分享创造这个节点，站长会处理的
一般提问就问与答就可以了

消费级就不要跑建模了，不如只用 CPU+内存

[handuo]

nvidia jetson agx 64GB ，但是 CPU 和 GPU 很弱，一般用于边缘计算的，勉强可以跑小型 llm

[minami]

https://nvidia.custhelp.com/app/answers/detail/a_id/5490/~/system-memory-fallback-for-stable-diffusion

[wwwuser]

@minami 驱动解决，感谢
@NoOneNoBody 好的，下次会注意的

[mortal]

明明有混合模式