基于这个开源小项目，做哪些受欢迎的 ChatGPT 插件模型？

[829939]

本人研二，专业深度学习音频领域研发，去年在校做了一个开源小项目，是关于音频特征提取和分析的，可以针对音频领域的各种业务做原型开发，目前规划的音频领域的研究任务方向：

1. 智能调音器， 针对吉他弦乐乐器的调音，识别音高和拨动的哪一根琴弦，
2. 旋律提取，从音乐音频中识别旋律音高轮廓，主要针对人声唱歌主旋律声音的基频提取，
3. 音轨分离，从音乐音频中分离出人声，钢琴、吉他、鼓、贝斯等多个乐器声音
4. 和弦估算，识别音乐音频中和弦，和弦类型有大小三、挂 2/4 、属七、属九和弦以及各个类型的转位，包括起始和持续时间
5. 钢琴转录，针对钢琴乐器音频的复音识别，确定复音的端点、音高组合、持续时间，转录为 midi 或曲谱
6. .....

如果做成 ChatGPT 插件模型哪些会更受欢迎？这些方向应用场景和需求怎么样？
欢迎大家参与论讨或给出新的方向建议！！！ 后续按大家讨论建议汇总， 确认几个研究方向后按优先级逐步开发实现并开源贡献。

项目地址： https://github.com/libAudioFlux/audioFlux

[chatWell1]

和弦估算吧，我觉得这个应用价值广泛，和 chat 结合后，传音频就能出来和弦进行数据吗？

[829939]

@chatWell1 是的，目前我这个小项目是可以实现这个功能的。chat 这边我还需要看下文档。

[CMLab]

给 chat 一个 mp3 , 使用你的插件模型 音轨分离 --->旋律提取（人声）+和弦估算（伴奏）---->钢琴转率（不一定钢琴乐器），这些走通，估计 chat 上会飘起来

[dark009]

我感觉目前的音轨分离方案在处理复杂音乐时效果还不够理想，希望能够有更加准确的算法和模型来解决这个问题

[xbcslzy]

目测新一波炼丹需求要来了

[829939]

@dark009 音轨分离一般常用的做法是频域掩码，最简单的就是二值化掩码，有很多这块定向算法的研究，典型的如 NMF 算法相关的有很多种，很多也取得不错的效果，但效果好的还是使用深度学习训练频域掩码，也是这些年音频领域研究的热点之一。

[829939]

@CMLab 大佬提的这一套能实现下来确实能方便很多音乐学生？

[chatWell1]

@xbcslzy 音频音乐领域的盛宴估计要开始了

[chatWell1]

@CMLab 厉害，这个能走通，目测能火

[dark009]

@CMLab 这个想法非常棒啊

[ManxCat]

音轨分离和和弦估算最受欢迎吧 但是成年人不做选择,我全要

[CMLab]

@829939 我觉得音乐生成这个业务和方向，是个热点，楼主可以考虑下这个点的研发

[CMLab]

@ManxCat 成年人，爱音乐的话， 我觉得可能调音器最重要😃

[chatWell1]

@829939 @CMLab 加上音频指纹这个模型，估计更好玩

[collinmehle]

@CMLab 调音器只针对了部分乐器领域 不够通用

[Aloento]

玩音乐的表示你这个出来了记得踢我，简直不要太棒

[829939]

@chatWell1 音频指纹确实是不错的想法。这个库可以帮助你实现。两种方式：1 、基于时频分析的方式，2 、基于深度学习的方式。 都可以用到库里提供的方法提取一些音频特征。

[CMLab]

@collinmehle 音轨分离这些可能对老师或 B 端这样的用户有用，调音器单说吉他这一块，做出智能的模型和 chat 相结合，全球吉他用户估计都会碾压式测试，和音轨分离目标用户不是量级

[chatWell1]

@829939 大佬，这个方向我投你深度学习的模型做出来开源，会在这个 github 地址上开源吗

[fanjk]

@829939 我一直想做一个关于音乐情绪分类的模型，不知道如何下手。大佬可否给个思路？