V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
frankyzf
V2EX  ›  Local LLM

模型有时会很快返回并且结果错误是什么原因?

  •  
  •   frankyzf · 19 小时 12 分钟前 · 450 次点击

    同样的 prompt ,同样的环境(同一个 service ,没有重启。模型、机器相同,temperature=0 ,top_k=1),大部分情况返回结果是正常的。但发现偶尔会发生返回结果不正常,并且返回比正常的速度要快,正常返回需要大概 5s ,不正常的返回大概 2s 。 请问有哪些因素会造成这种情况?

    3 条回复    2025-01-08 09:04:03 +08:00
    dddd1919
        1
    dddd1919  
       18 小时 58 分钟前
    模型伐开心,喂点笑话
    frankyzf
        2
    frankyzf  
    OP
       18 小时 58 分钟前
    忘了说,是用的 vllm 作为推理框架
    halov
        3
    halov  
       18 小时 53 分钟前
    缓存呢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1021 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 19:57 · PVG 03:57 · LAX 11:57 · JFK 14:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.