有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？

[godqueue]

有人用 4070 、4060 显卡的笔记本测试过跑 llama3 ，问问题，或者读取文档做总结，需要多长时间吗？

[godqueue]

@rabbbit 我用 llam3:8b 输出的和 lrigi 一样。。应该是正确的吧

[godqueue]

@lrigi 哈哈。。我知道 llama3 默认是 8b,你们说的 4bit 不懂。。。fp16 也不懂。。还得回炉学习下。。

[looveh]

macM1 跑 8B 都有点卡，我试了一下服务器上的 3090 ，跑 8B 完全没问题，跑 70B 也很卡

[godqueue]

你们不会拿笔记本显卡跑 70b,如此大模型吧。。

[rabbbit]

@godqueue
没错，能输出长宽就是符合要求的。
可以按小时租 gpu ，便宜的几块钱一小时，不用的时候关掉。

[Ayahuasec]

@godqueue 现在软件兼容性上，AMD 和 Intel 没有太大区别吧。我感觉支持 AVX 然后内存带宽不差、内存容量够的话，CPU 跑起来 int4 的 14b 左右的模型，虽说不算快但是起码可用了。

虚拟机的话主要考虑 GPU 能不能直通进去，或者虚拟机内部要能调用到主机的 CUDA ，不然 GPU 加速跑不起来。

[godqueue]

@rabbbit 还有这种业务，非常棒，适合我~~~我之前看阿里云啥的都贵的要死。。

[godqueue]

@Ayahuasec 嗯。。看来也可以考虑 AMD 的 cpu 了~~~

[kenvix]

@beginor #19 我指的是对模型表现

[bibi012]

同问， 一直想自己搭环境

[Charon2050]

外行人有个疑问，能不能用时间换空间，不考虑速度的情况下，在小内存的机器上跑 70b 之类稍大的模型呢？