大模型什么样的速度是靠谱的 - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

用了一台昇腾 910b 跑 qwen32b 的模型，

一个 dify 知识库的回答，跑 LLM 用了 30s ，这个正常吗？手头没有 H100 这样 nb 的机器。

https://i.imgur.com/N63dxld.jpg

2 条回复 • 2025-08-17 15:58:40 +08:00

1

guoguobaba

OP

28 天前

2

oldlamp

17 天前

粗略来说，得看 tokens/s

关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · 实用小工具 · 2944 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 24ms · UTC 13:36 · PVG 21:36 · LAX 06:36 · JFK 09:36
Developed with CodeLauncher
♥ Do have faith in what you're doing.