V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  beginor  ›  全部回复第 7 页 / 共 115 页
回复总数  2292
1 ... 3  4  5  6  7  8  9  10  11  12 ... 115  
@wsbqdyhm ollama 只提供了 q4_0 版本的 [llama3]( https://ollama.com/library/llama3), 这个和原始模型相比,损失比较多,不推荐。

可以从 huggingface 直接下载 [meta/llama-3]( https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct) 的原始模型,自己量化, 也可以下载 [已经转换好的 gguf 文件]( https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF)

一般推荐 q5_k_m 或 q4_k_m 版本的量化模型, 接近原始模型,如果配置够的话, 更建议运行 f16 版本模型 。

依据自己电脑的配置, 建议的优先级是:f32 > f16 > q5_k_m > q4_k_m > others .

另外我不玩 ollama ,ollama 虽然简单, 却隐藏了很多细节。 我玩的是 llama.cpp , 可以体会到更多的技术细节。

模型需要的内存大小大概就是模型文件的大小,量内存大小而行。64G 的 M1 Max 最多能分出 48G 内存来跑模型, 当然其它应用还要占用一些内存, 所以只能勉强运行 q4_k_m 的 70b 模型。
@kenvix 也有影响的,70b 的话 q5_k_m 跑不动, 提示超内存,q4_k_m 勉强能跑起来
64G 跑 70b 的 llama3 ,应该是 q4_k_m 量化版本的吧,我跑 q5_k_m 版本的会报错的?
确实,13b 以下的都只能称之为小模型,用于学习其原理或者娱乐一下还可以。

真正能用的得 30b 以上的模型,最好是非量化版本的,然而 30b 以上的模型又不是一般电脑能跑得动的。
187 天前
回复了 baozijun 创建的主题 Apple 大家的 rmbp 都是用的什么鼠标呀
罗技 MX Anywhere 3 , 不过我运气比较差,已经换了两次微动了 😔
搭车问一下,有没有 Arm 版本的 ltsc ,win10 或者 win11 都行, 用 fusion 装虚拟机, 标准版太占用磁盘空间。
190 天前
回复了 alexcding 创建的主题 Apple 微软发布 ARM 版本的 Surface Pro 系列
内存比苹果的还贵!苹果加 16G 内存需要¥1500 ,微软加 16G 内存要¥2800 ,这么一比较,库克还算良心! 😊
199 天前
回复了 xu33 创建的主题 macOS mac 用 vm 装了 arm 版的 win11,卡的几乎没法用
@shinsekai 客户机装驱动程序,虚拟机设置里面打开 3D 加速就行了
200 天前
回复了 xu33 创建的主题 macOS mac 用 vm 装了 arm 版的 win11,卡的几乎没法用
VMware fusion 路过, 支持 arm win11 3d 加速, 效果还算可以。

不要再推荐 UTM 了, 个人用的话就是 pd 或者 fusion 。
203 天前
回复了 devzhaoyou 创建的主题 React React 中添加、删除、变更子组件疑问
可以通过 ref 拿到 canvas 元素自己想干啥都行,react 确实是数据/状态驱动的
208 天前
回复了 jellen 创建的主题 MacBook Pro 海鲜市场淘垃圾之 MBP20 款 13 寸 i5
Intel 版本的 Mac 可以净身安装 Linux
209 天前
回复了 jjxtrotter 创建的主题 Apple 盲猜 M4 芯片 CPU/GPU 挤牙膏, NPU 性能大增
@s7964926 然而,64G 跑大模型还是不够用,34B 以上都需要量化才能运行,70B 级别的只能跑 q4 量化版本的,q5 级别的量化上下文稍微大一点儿就跑不起来了。

如果只是打算跑 13b 以下的, 个人娱乐一下的话,32g 都够了, 买 Ultra 是不是太浪费了?
212 天前
回复了 7eurvQrEtS 创建的主题 MacBook Pro MacBookPro M1 M2 M3 怎么选
自从开始跑大模型,发现手上的 M1 Max 64G 再也不香了😂
215 天前
回复了 nzbin 创建的主题 Angular ng-dnd 3.0 发布了!🎉
动作有点儿慢,因为 ng18 就要发布了😅
219 天前
回复了 bigtear 创建的主题 配件 笔记本外接屏幕买 显示器 还是 便携屏
好的 15 寸 4K oled 便携屏,1K 拿不下来吧
226 天前
回复了 para1810dise 创建的主题 程序员 独立开发的真正含义是什么?
全干程序员!
226 天前
回复了 sheller 创建的主题 Apple MBP 如何增加内存呢
跑 LLM64G 都不够用,上 M3Max128G 吧
1 ... 3  4  5  6  7  8  9  10  11  12 ... 115  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3402 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 11:51 · PVG 19:51 · LAX 03:51 · JFK 06:51
Developed with CodeLauncher
♥ Do have faith in what you're doing.