首页
注册
登录
mmjy 最近的时间轴更新
ONLINE
mmjy
V2EX 第 638389 号会员,加入于 2023-07-13 13:20:17 +08:00
今日活跃度排名
2344
mmjy
提问
技术话题
好玩
工作信息
交易信息
城市相关
mmjy 最近回复了
2 天前
回复了
fid
创建的主题
›
程序员
›
8x4090 离线部署 Qwen2.5 求助
vllm 文档是有量化实验特性支持的,可以试试好不好用:
https://docs.vllm.ai/en/latest/quantization/auto_awq.html
»
mmjy 创建的更多回复
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
5979 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms ·
UTC 02:14
·
PVG 10:14
·
LAX 18:14
·
JFK 21:14
Developed with
CodeLauncher
♥ Do have faith in what you're doing.