首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
有人在 colab 上通过 chatglm.cpp 部署 ChatGLM3 模型过吗,有个问题想请教下,运行时内存没有变化
daxiaolaogui
·
170 天前
· 168 次点击
这是一个创建于 170 天前的主题,其中的信息可能已经有所发展或是发生改变。
通过
python3 chatglm.cpp/chatglm_cpp/
convert.py
-i /content/chatglm3-6b -t f32 -o chatglm-ggml.bin
得到的模型
能跑起来,也能正常回答,就是内存占用没有变化,而且速度极慢( 1-2 分钟回答)
是哪里出了问题,有没有排查的方向吗
v2ex 怎么发图片。。。
目前尚无回复
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2655 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms ·
UTC 09:31
·
PVG 17:31
·
LAX 02:31
·
JFK 05:31
Developed with
CodeLauncher
♥ Do have faith in what you're doing.