现在在扒谱的时候,花费了太多时间,所以想有没有一种工具可以直接通过上传音频文件,在选择某种乐器类型,提取出音乐特征,最终生成乐谱,同时可以在线进行编辑的一个工具呢?
在找了很多工具之后,有的工具是可以提供部分功能,暂未找到可以在一个工具上一键生成的,所以我现在想是不是可以开发这么一套工具。当然我在查阅了很多资料后,发现在提取特征这一步很有难度。我理解大概处理流程如下,如有非常了解的朋友,我们可以聊聊!
1.音频文件上传,根据选择需要分离的音频类型,分离出其中的音频,如(鼓、人声、吉他、贝斯),当然这一步可能是需要对音频降噪、增强等
2.根据分离出的音频,提取其中的音乐特征,提取的方式有多种(短时傅里叶变换、离散余弦变换、离散小波变换、梅尔频谱和梅尔倒谱、恒 Q 变换)等算法,当然还有很多的开源库:librosa 、essentia 等
3.通过提取出的音乐特征与乐谱中需要表示的音乐标记作映射
4.最后通过这些音乐特征来绘制乐谱,生成乐谱。
当然这里面最难的肯定是对音乐特征的提取,由于在音频中可能会参杂很多的其他杂音,导致通过人工智能、机器学习也很难去分析出其中的音乐特征值。有兴趣的话,可以邮件联系我,我们一起探讨下吧!
email:aGVqdW5jaGVuZzk0QGdtYWlsLmNvbQ==
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/971299
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.