超过现有最先进模型！网易云音乐2篇论文入选ICASSP2023乐谱新专辑歌曲电子音乐论文音乐分享网站音乐软件

据了解，ICASSP（InternationalConferenceonAcoustics,SpeechandSignalProcessing）即国际声学、语音与信号处理会议，是IEEE主办的全世界最大的，也是最全面的信号处理及其应用方面的顶级会议，在国际上享有盛誉并具有广泛的学术影响力。此次入选，代表了网易云音乐在国际舞台上，展示出了在音乐音频领域的技术实力。

而且凭借在音乐技术领域的积累创新，网易云音乐也不断将前沿领域研究成果应用于实践。依靠目前准确率最高的歌曲质量评价算法，歌唱评价将不再依赖人力手工准备模板物料，歌手也不再需要模仿模板以获取高分，更鼓励歌手的个性化演绎。而且相比卡拉ok中的传统歌唱评价，该模型未来将用于更加丰富的使用场景，如歌曲分发、优质歌手挖掘、声音社交等等领域。而利用识别图像乐谱的算法模型，可以将模糊的图片乐谱准确识别，方便转换为利用率更高的格式，服务于音乐人、用户在欣赏、教育、创作等场景的需要。

三大技术创新拆解“开口跪”，将全球最优算法准确率至少提升4%

当歌唱老师和专家听到一首歌，就能迅速可以判断出歌手的演唱水平，而普通人则会用“开口跪”表达夸赞。当人们评价歌声质量时，人声的音色是影响判断的重要因素。受其启发，网易云音乐首创提出了一个音色为指导的歌唱评价模型：TG-Critic，将全球最优算法准确率提升4%以上。

据介绍，网易云音乐音频实验室在歌唱评价模型的设计过程中引入了三个主要创新点：

2.迁移高分辨率网络结构处理声谱特征：除了音色特征输入，团队从音频样本中提取CQT声谱特征作为模型的主要输入。为了解决卷积网络局部性带来的问题，团队将图像分割领域较为常用的“高分辨率网络”迁移到歌声评价任务中，分别通过高、中、低三个不同的分辨率分支分别处理特征。通过高分辨率特征捕捉局部信息（如演唱技巧、小瑕疵等）、低分辨率特征捕捉长距离信息（气息稳定性、音准等），从而实现保持高效性的同时，提升模型提取有用信息的能力。

实验结果表明，在各类公开数据集上，网易云音乐提出的TG-Critic均达到国际最先进水平，相比已有算法，准确率提升至少4%，部分数据集提升10%以上。而且应用于网易云音乐业务测听的结果显示：在音乐人业务：运营评估歌曲推荐值≥3共159首歌曲中，算法评价为“演唱水平好”共144首，准确率达90.5%；在直播业务：运营提供100首算法判定“演唱水平好”歌曲的人工验证，准确率91%；在500+全演唱水平分类实验中，准确率81.2%。

据了解，TG-Critic歌曲质量评价模型将进一步减少人力依赖并扩大应用场景在直播、音乐人等内容分发场景，可协助人工挑选优质内容，可服务于作品审核、分发或推荐，优质歌手挖掘在社交、游戏等C端场景，可提供“开口跪挑战”等运营玩法。

懂AI又懂乐理，看图识谱技术上的又一次突破

随着深度学习方法的应用，OCR（图像文字识别）近年得到了长足的进步，而OMR（图像乐谱识别）却始终处于研究应用的初级阶段。由于这个方向属于交叉学科，既要懂视觉算法又要懂乐理。目前市面上的商业或开源软件都不具备可用的准确率。

因此，网易云音乐音视频实验室采用基于端到端的算法识别路线，优化识别流程：1）拿到一个乐谱图片，检测图片中的曲谱位置坐标；2）提取曲谱区域，进行曲谱识别，识别出乐谱中的内容信息，如下图：

针对该乐谱识别模型，网易云音乐音频实验室也做了多方面的创新，大大提高了准确性。例如，将Transformer引入到乐谱识别任务中，通过该结构可以实现更大的感受野，有利于对长序列进行预测，提升识别准确率；同时，将乐谱的信息维度将乐谱符号分为：乐谱符号全局表征+乐谱符号局部表征+音符音高。这样的拆分方式更利于机器理解和学习。

值得注意的是，团队还精心设计了一套乐谱图片拍摄的方案。为了收集大量真实的数据，使用手机作为拍照工具，模仿最真实的拍照场景，对明、暗光场景的纸质乐谱进行拍照，以及对显示在显示屏上的乐谱进行拍照。

实验结果表示，网易云音乐的乐谱识别算法的准确性已经超过目前最好的端到端音乐谱识别方法，大幅降低错误率。下图中第一行为正确的乐谱识别结果，第二行为目前最好的复音乐谱识别方法的识别结果，第三行为本技术提出方案的识别结果，红框标记的为错误区域。

据介绍，该方法可以准确地将图片乐谱转换为midi、musicxml等格式，未来可用于音乐辅助教育、听歌搜谱等场景中，致力于在音乐欣赏、教育、创作等场景上，为音乐人、用户提供更好的服务。