V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
Jackyxiaoc
V2EX  ›  奇思妙想

整了个音箱接上大模型之后还是感觉缺了点什么

  •  
  •   Jackyxiaoc · 32 天前 · 2299 次点击
    这是一个创建于 32 天前的主题,其中的信息可能已经有所发展或是发生改变。
    近期将家里的 HomePod 接上了大模型。个人感觉需要唤醒词才能唤醒,用起来还是缺了点什么。不是真正的贾维斯~

    处理的时候有个思路不知道是否实际:

    如果将所有东西都转录成文字,1 分钟给到机器一次,由机器判断这句话是不是跟他说的,再回复出来,这样不知道会不会好一点。不过用时间间隔好像还是有点问题。还没试过把实时语音接口接入~回头试试
    11 条回复    2024-12-12 14:25:44 +08:00
    musi
        1
    musi  
       32 天前 via iPhone
    有严重的隐私问题
    evan9527
        2
    evan9527  
       32 天前
    无唤醒词是不是要分析所有听到的声音?
    会不会有半夜「幽灵唤醒」的情况。
    我觉得自定义唤醒词+连续对话就挺好的。
    rechardwong0522
        3
    rechardwong0522  
       32 天前
    可以在用它的时候在开头加上唤醒词,比如“小爱同学,帮我定个七点半的闹钟”,而不是先说“小爱同学”去唤醒后才能接着说。后面的话是不是跟它说的,就由上下文判断
    Jackyxiaoc
        4
    Jackyxiaoc  
    OP
       32 天前
    @musi 确实是有这个问题。但是如果是长期独居的话,想找个人聊天,唤醒词就觉得不太顺。
    @evan9527 整个流程大概是,实时检查声音——转成问题——给到大模型——大模型判断是否是噪音,还是正常的人类对话——文字转语音回复。
    @rechardwong0522 感谢,可以稍微优化下。
    qping
        5
    qping  
       31 天前
    找人聊天别依赖机器人,还是出去社交下。。。或者找个女朋友?
    r6cb
        6
    r6cb  
       31 天前
    https://platform.openai.com/docs/models#gpt-4o-realtime 这有实时性更好的,先用 asr 过一遍,将所有过滤后的语音直接传到 api
    liaanj
        7
    liaanj  
       30 天前
    加油!!!
    yiton
        8
    yiton  
       30 天前
    最近我也在整这个
    fcten
        9
    fcten  
       30 天前
    本地的端到端语音模型才是体验最好的,不知道什么时候能有成熟的产品
    和文本聊天不一样,语音聊天对延迟是非常敏感的。不要说一分钟了,延迟 2 ~ 3 秒就非常难受了。
    Jackyxiaoc
        10
    Jackyxiaoc  
    OP
       26 天前
    @qping emmm ,其实一个人有时候也挺舒服的,有个机器人聊聊也就够了。

    @r6cb 好的,感谢,我试试。

    @liaanj 谢谢。

    @yiton 有进展嘛?

    @fcten 小模型性能不足的话,回答出不太好的答案也不太行。不过延迟确实是个问题。
    leothevan244
        11
    leothevan244  
       13 天前
    或许可以试试在本地先部署一个小模型判断一句话是否是跟他说的,是的话再上传云端大模型
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5657 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 03:08 · PVG 11:08 · LAX 19:08 · JFK 22:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.