V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
marcushbs
V2EX  ›  程序员

语音听写单词 app,为什么所有智能音箱都没做呢?

  •  
  •   marcushbs · 2018-11-23 14:30:28 +08:00 · 2816 次点击
    这是一个创建于 2187 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想给三年级的娃做一个语音背单词 app,场景很简单:app 通过 tts 念出单词中英文,用 stt 将娃说的字母和原词对比,看是否一致,全程语音完成,不用看手机,保护视力——这么杀手级的应用,为什么所有智能音箱都没做呢?

    我试用了如下工具和库:

    • voixen-vad
    • iOS Speech Framework(react-native-voice)
    • Pocketsphinx.js
    app: “请背单词星期一,Monday ”
    娃: “ M O N D A Y ”
    app: “您说的是 MNDEY,请重试”
    娃: “...”
    

    正确率最好的(iOS)也不过六七成正确率左右,这里是每个字母的听写正确率,几个字母连一块能否认对基本就看脸了。 ——请注意,这里的“ M O N D A Y ”为了使用体验,必须进行整体识别。如果加个按钮,按一下识别一个字母倒是可以把正确率提高到 99%以上——但这样做 app 还有人愿意用吗?

    说白了 iOS 的近场语音识别还是面向正常会话和整句逻辑建模,拿来背单词显然不合适,不过因此发现了一个听写的各种用法合集,通过各种预定义 annotation 来实现特种输入,Apple 也不容易......

    目前能想到的唯一方案,这哥们做过类似的,就是把常用 1500 单词列出来,让娃从头到尾拼写一遍,我录音、手动标注之后用 TF 调参训练,再导入 CoreML,听起来很有爱,但只对一个娃有效......

    ——谨献给认为 AI 即将统治世界的人们

    14 条回复    2018-11-24 17:10:46 +08:00
    wutiantong
        1
    wutiantong  
       2018-11-23 14:42:48 +08:00
    Good idea, I will try
    XIAOAcao
        2
    XIAOAcao  
       2018-11-23 14:52:57 +08:00
    京东叮咚智能音箱上有一款单词拼写的语音技能。
    marcushbs
        3
    marcushbs  
    OP
       2018-11-23 15:38:25 +08:00
    @wutiantong 有进展请这里通知一下啊!
    marcushbs
        4
    marcushbs  
    OP
       2018-11-23 15:40:49 +08:00
    @XIAOAcao
    ···
    技能使用说明:



    1、直接说出想要查询的单词,中文或英文都可以:苹果、苹果的英语怎么说、苹果怎么拼

    2、没听清可以说:重复一遍
    ···
    这个 stt 模型还是通用的,和听写 letter 不一样
    XIAOAcao
        5
    XIAOAcao  
       2018-11-23 16:01:00 +08:00
    @marcushbs 你说的这几点,单词拼写这个技能都是支持的,你可以加我个联系方式我录个视频给你。微信:1141020002
    marcushbs
        6
    marcushbs  
    OP
       2018-11-23 16:15:35 +08:00
    @XIAOAcao 我看介绍意思是:音箱听人说“苹果”,音箱说“ A P P L E"几个字母;顶楼里说的听人拼单词判定对不对也支持?
    KingEngine
        7
    KingEngine  
       2018-11-23 16:22:27 +08:00
    从步步高学习机上提取软件。。哈哈
    XIAOAcao
        8
    XIAOAcao  
       2018-11-23 16:32:09 +08:00
    @marcushbs 你有京东叮咚智能音箱的话可以体验一下就知道了 。没有听人拼单词判定。
    SeaRecluse
        9
    SeaRecluse  
       2018-11-23 16:38:30 +08:00   ❤️ 1
    你这个需求正则表达就够了。现在的语音助手还是一种宽泛式的,而你这个是一个专门的需求,所以没必要做。
    nedu
        10
    nedu  
       2018-11-23 19:50:14 +08:00
    这个各个 AI 助手都可以实现吧
    nedu
        11
    nedu  
       2018-11-23 19:51:03 +08:00
    可以尝试在 Google assistant 平台上做开发
    Newbing
        12
    Newbing  
       2018-11-24 15:36:36 +08:00
    楼主说的这个其实不容易实现,识别单个字母还是有很多问题的。很多 ASR 都是针对词组 /短语做优化。
    Newbing
        13
    Newbing  
       2018-11-24 15:40:43 +08:00
    再补充一点,有的孩子可能擅长图形记忆,有的孩子可能擅长声音记忆。
    marcushbs
        14
    marcushbs  
    OP
       2018-11-24 17:10:46 +08:00
    @Newbing 说得太对了,看来做过
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1930 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:21 · PVG 00:21 · LAX 08:21 · JFK 11:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.