V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
rizon
V2EX  ›  程序员

[求助最佳实践] 客户端流式传输语音播放的方案

  •  
  •   rizon ·
    othorizon · 6 小时 4 分钟前 · 268 次点击

    nextjs 项目。

    服务端调用 http 接口接收流式返回,或者 websocket 接收音频的二进制数据。( mp3 格式)。

    客户端想要播放流式边接收边播放,有什么好的实现方案吗,不引入 rtc 这样的框架。

    我现在的实现方法就是 audioContext.decodeAudioData(mergedBuffer); 读一点 buffer 过来就合并后试着播放一点, 但是总觉得这样会有问题。

    求助大佬们最佳实践

    5 条回复    2024-12-19 16:35:47 +08:00
    rizon
        1
    rizon  
    OP
       6 小时 2 分钟前
    另外也顺便问下,支持音色克隆的语音合成,有什么朗读感情好一些的吗,fishaudio 读出来太平了。
    gfreezy
        2
    gfreezy  
       5 小时 35 分钟前
    https://github.com/gfreezy/streamaudioplayer

    可以看下我这个库,实现的就是流式下载播放,为 tts 写的
    gfreezy
        3
    gfreezy  
       5 小时 32 分钟前
    js 不确定能不能实现。这个从下载、解码、播放都需要流式处理,以一个音频 frame 为最小单位,每个环节都需要 buffer 。不知道浏览器有没有提供这么底层的接口
    dapang1221
        4
    dapang1221  
       5 小时 27 分钟前
    好像做这种流式传输的用 mp3 的不多……试试 rtmp ? github 上有现成的 nginx rtmp 模块,一边推流,另一边拉流就行
    cxsz
        5
    cxsz  
       4 小时 26 分钟前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3132 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 13:02 · PVG 21:02 · LAX 05:02 · JFK 08:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.