Taylor77
V2EX  ›  Jev

做了一个 Jev AI Playground,尝试让 AI 在不确定时别急着“猜”

  •  
  •   Taylor77 · Sep 20 · 1214 views
    This topic created in 35 days ago, the information mentioned may be changed or developed.

    最近在研究一个我觉得挺有意思的问题:

    现在很多 LLM 应用遇到信息不完整、存在歧义的时候,往往还是会直接“猜一个答案”。

    但真实业务里,很多时候我们并不希望 AI 猜。

    比如:

    “王老师说下周四 8:00 到单位,具体讨论时间看你安排。”

    这里其实存在很多不确定性:

    • 8:00 是见面时间,还是她到单位的时间?
    • 应该直接创建 8:00 的日程吗?
    • 还是应该先追问确认?

    所以我最近做了一个小项目:Jev AI Playground。

    目前主要想实验三种 primitive:

    • Live Choice:让 AI 在几个候选项之间做结构化选择
    • Noul:处理信息不足、歧义和需要进一步确认的情况
    • Score:对候选结果进行评分

    我的想法不是再做一个 ChatGPT 套壳,而是尝试把 LLM 的一些“不确定决策”从自由生成里拆出来,变成更容易控制和验证的流程。

    现在做了一个可以直接体验的 Playground:

    Jev AI Playground: https://tryjev.ai/

    目前还是比较早期的版本,主要想验证:

    1. 这三种 primitive 是否真的容易理解;
    2. Playground 能不能让开发者快速理解 Jev 在解决什么问题;
    3. 哪些真实场景最适合这种方式。

    如果你平时也在做 Agent / AI Workflow / LLM 应用,很希望听听大家的意见。

    尤其想知道:

    你们实际开发 AI 应用的时候,有没有遇到过“模型不应该猜,而应该停下来判断 / 追问”的场景?

    欢迎拍砖。

    4 replies  •  2026-10-08 15:45:08 +08:00
    fuyou97
        1
    fuyou97  
       Sep 20
    访问不了
    Taylor77
        2
    Taylor77  
    OP
       Sep 20
    抱歉,刚发现发帖时把域名写错了 😂
    正确地址是: https://tryjevai.com/
    感谢提醒!
    594mantou
        3
    594mantou  
       Sep 20
    怎么跟 https://jevplayground.com 差不多
    Taylor77
        4
    Taylor77  
    OP
       17 days ago
    更新一下这个项目。
    上次发这个 Playground 时,我主要还在研究 Jev 的 Choice / Noul / Score 到底怎么用。后来我真的把 Jev 接进了一个 AI 日程助手,并针对上面提到的“8:00 到单位 ≠ 8:00 开会”这类问题做了 3 组对照。
    结果挺出乎我预期:
    现有流程:42/48
    只改善 LLM context:46/48
    改善 context + Jev:38/48
    也就是说,这轮实验里 加 Jev 反而比不加差。在 holdout 中 Jev 也没有修正原方案的错误,反而引入了新的 mismatch 。 粘贴的 Markdown (1)
    复盘后我现在觉得,比“再加一个模型”更重要的是先把 context/evidence flow 做对。如果继续测 Jev ,我会把它负责的 decision 缩得非常窄,而不是让它再判断整个 Agent 的行为。
    完整实验记录放这里了:
    https://tryjevai.com/blog/jev-ai-agent-scheduling-test
    算是给上次这个帖子的一个后续,也把负结果一起记录下来。

    新帖里也开了一贴讨论具体实验结果,就不在这里重复贴完整数据了。https://www.v2ex.com/t/1247068
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2634 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:52 · PVG 21:52 · LAX 06:52 · JFK 09:52
    ♥ Do have faith in what you're doing.