想给三年级的娃做一个语音背单词 app,场景很简单:app 通过 tts 念出单词中英文,用 stt 将娃说的字母和原词对比,看是否一致,全程语音完成,不用看手机,保护视力——这么杀手级的应用,为什么所有智能音箱都没做呢?
我试用了如下工具和库:
app: “请背单词星期一,Monday ”
娃: “ M O N D A Y ”
app: “您说的是 MNDEY,请重试”
娃: “...”
正确率最好的(iOS)也不过六七成正确率左右,这里是每个字母的听写正确率,几个字母连一块能否认对基本就看脸了。 ——请注意,这里的“ M O N D A Y ”为了使用体验,必须进行整体识别。如果加个按钮,按一下识别一个字母倒是可以把正确率提高到 99%以上——但这样做 app 还有人愿意用吗?
说白了 iOS 的近场语音识别还是面向正常会话和整句逻辑建模,拿来背单词显然不合适,不过因此发现了一个听写的各种用法合集,通过各种预定义 annotation 来实现特种输入,Apple 也不容易......
目前能想到的唯一方案,这哥们做过类似的,就是把常用 1500 单词列出来,让娃从头到尾拼写一遍,我录音、手动标注之后用 TF 调参训练,再导入 CoreML,听起来很有爱,但只对一个娃有效......
——谨献给认为 AI 即将统治世界的人们
1
wutiantong 2018-11-23 14:42:48 +08:00
Good idea, I will try
|
2
XIAOAcao 2018-11-23 14:52:57 +08:00
京东叮咚智能音箱上有一款单词拼写的语音技能。
|
3
marcushbs OP @wutiantong 有进展请这里通知一下啊!
|
4
marcushbs OP @XIAOAcao
··· 技能使用说明: 1、直接说出想要查询的单词,中文或英文都可以:苹果、苹果的英语怎么说、苹果怎么拼 2、没听清可以说:重复一遍 ··· 这个 stt 模型还是通用的,和听写 letter 不一样 |
5
XIAOAcao 2018-11-23 16:01:00 +08:00
@marcushbs 你说的这几点,单词拼写这个技能都是支持的,你可以加我个联系方式我录个视频给你。微信:1141020002
|
6
marcushbs OP @XIAOAcao 我看介绍意思是:音箱听人说“苹果”,音箱说“ A P P L E"几个字母;顶楼里说的听人拼单词判定对不对也支持?
|
7
KingEngine 2018-11-23 16:22:27 +08:00
从步步高学习机上提取软件。。哈哈
|
9
SeaRecluse 2018-11-23 16:38:30 +08:00 1
你这个需求正则表达就够了。现在的语音助手还是一种宽泛式的,而你这个是一个专门的需求,所以没必要做。
|
10
nedu 2018-11-23 19:50:14 +08:00
这个各个 AI 助手都可以实现吧
|
11
nedu 2018-11-23 19:51:03 +08:00
可以尝试在 Google assistant 平台上做开发
|
12
Newbing 2018-11-24 15:36:36 +08:00
楼主说的这个其实不容易实现,识别单个字母还是有很多问题的。很多 ASR 都是针对词组 /短语做优化。
|
13
Newbing 2018-11-24 15:40:43 +08:00
再补充一点,有的孩子可能擅长图形记忆,有的孩子可能擅长声音记忆。
|