思路其实和 mistral MoE 有点像(但是是软件层面的,不是神经网络架构层面的)
痛点
- 现在不同模型关于一个输入(例如讲义里面的一道例题,或者是一段代码)可能理解和见解都不尽相同
- bob 解决了翻译可能单用某个模型词不达意的痛点,那么是否有类似的软件,把翻译任务 -> LLM Q&A 的任务?
需求场景:
- 在做练习题的时候,让多个 LLM 共同发表对这题的看法,因为每个模型给出的答案可能不同(相当于一个班上有不同水平的学生),自己汲取多方的意见然后解答
- 在写代码的时候,面对一段复杂的开源代码(是一些比较复杂的算法),可以让 LLM 共同给出见解,那么可能有的模型( e.g llama )给出的某个见解有误,也可能在阅读多个模型回答后对代码有很深的理解
实际上应该把 bob 的翻译后端改成和 LLM 交互的后端应该就可以了,但是不清楚目前有没有现成的类似产品。现在最接近我想法的是 Chathub ,但是那玩意儿是个浏览器插件,我希望的是在 MacOS 下可以像 bob 一样无感呼出的。
有一些单用 Chatgpt 的呼出方法:
- alfred: https://github.com/chrislemke/ChatFred
- alfred: https://github.com/yohasebe/openai-chat-api-workflow
- popclip: https://www.popclip.app/extensions/x/1g1Pz
- monica: http://monica.im/
- raycast: chatgpt extension
但是都没有做到像 bob 那样支持 Model ALL-in-one/ocr/输入/划词 多合一的工具