V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Jason168
V2EX  ›  程序员

如何利用大模型增加测试范围及能力

  •  
  •   Jason168 · 34 天前 · 1302 次点击
    这是一个创建于 34 天前的主题,其中的信息可能已经有所发展或是发生改变。

    求助各位大佬,如何用大模型增加测试范围,如接口测试用例,但是大模型又肯定必须懂业务逻辑。

    不知道如何开始。

    5 条回复    2025-02-26 16:08:24 +08:00
    foolishcrab
        1
    foolishcrab  
       34 天前 via iPhone   ❤️ 1
    最近火的是 llm 驱动 e2e 测试,比如 computer use, browser use ,微软的 omniparser 你都可以了解下。

    至于 ai 驱动传统测试工具,我本人一整个很大的团队尝试过了,效果不好,具体不展开了。
    总的来说传统测试作为最后一道人力把关,引入 ai 不是一个合适的点位。我们当时也是被什么知识库,自动化提效啦吸引了,看起来很合适 llm 发挥的,但是实际上效果真的不好。
    但是 e2e 的话,我看有戏
    musi
        2
    musi  
       33 天前 via iPhone
    @foolishcrab e2e 也不一定,测试的首要前提是了解业务,而不是程序不报错就行了,就现在的 LLM 而言,公司有没有一个完整的业务描述文档是一个问题,怎样把这个文档喂给测试又是一个难题
    foolishcrab
        3
    foolishcrab  
       33 天前 via iPhone
    @musi e2e 的点就在于模拟最终用户啊,你还在纠结业务领域知识这个点。
    让大模型通过 rag 啥的一系列方法,伪装成业务专家,再去产出什么呢?再去写你们传统测试工具的用例?再让它去解析传统测试的错误?只要底层还在利用传统测试工具,它的价值就不大,因为在这个位置你需要的是 100% 的放心,而不是不稳定不确定的大模型判断。

    我的意思是我们尝试过这条路走不下去,但是终归也只是尝试,或许你们能成功。
    yh7gdiaYW
        4
    yh7gdiaYW  
       33 天前
    @foolishcrab 你这不就是用成了 AI 版的 monkey 了吗,只能做做稳定性测试,楼上说的是怎么用这个做功能测试的 UI 自动化
    liulicaixiao
        5
    liulicaixiao  
       33 天前
    能举一个比较具体点的问题吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1017 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:30 · PVG 03:30 · LAX 12:30 · JFK 15:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.