GaryHu
V2EX  ›  Local LLM

有没有类似 bob 那种 all-in-one LLM 的 plugin

  •  
  •   GaryHu · Dec 22, 2023 · 2083 views
    This topic created in 893 days ago, the information mentioned may be changed or developed.

    思路其实和 mistral MoE 有点像(但是是软件层面的,不是神经网络架构层面的)

    痛点

    • 现在不同模型关于一个输入(例如讲义里面的一道例题,或者是一段代码)可能理解和见解都不尽相同
    • bob 解决了翻译可能单用某个模型词不达意的痛点,那么是否有类似的软件,把翻译任务 -> LLM Q&A 的任务?

    需求场景:

    • 在做练习题的时候,让多个 LLM 共同发表对这题的看法,因为每个模型给出的答案可能不同(相当于一个班上有不同水平的学生),自己汲取多方的意见然后解答
    • 在写代码的时候,面对一段复杂的开源代码(是一些比较复杂的算法),可以让 LLM 共同给出见解,那么可能有的模型( e.g llama )给出的某个见解有误,也可能在阅读多个模型回答后对代码有很深的理解

    实际上应该把 bob 的翻译后端改成和 LLM 交互的后端应该就可以了,但是不清楚目前有没有现成的类似产品。现在最接近我想法的是 Chathub ,但是那玩意儿是个浏览器插件,我希望的是在 MacOS 下可以像 bob 一样无感呼出的。

    有一些单用 Chatgpt 的呼出方法:

    但是都没有做到像 bob 那样支持 Model ALL-in-one/ocr/输入/划词 多合一的工具

    4 replies    2023-12-25 09:53:53 +08:00
    XMV2e4PmK5F85h17
        1
    XMV2e4PmK5F85h17  
       Dec 22, 2023
    可惜 ChatGPT 是免费账户 也没有 apikey 可以用了
    my3157
        2
    my3157  
       Dec 22, 2023
    ollama 可以 serving 多个不同的模型, 不过你需要一个 gui 或者自己调 api
    realzsy
        3
    realzsy  
       Dec 25, 2023
    试一下 pot ?
    GaryHu
        4
    GaryHu  
    OP
       Dec 25, 2023
    @realzsy pot 似乎也没有 chatgpt 相关的插件?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5754 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 06:36 · PVG 14:36 · LAX 23:36 · JFK 02:36
    ♥ Do have faith in what you're doing.