基于深度学习的多基频提取研究

发布时间：2020-06-21 07:15

【摘要】：多基频提取是指提取多音音乐中的基频。多音音乐是指同一时刻有多个音源的音乐[1]。如果多音音乐的音源是人声音乐和其它乐器音乐的混合音乐,提取人声音乐的旋律,即人声音乐的基频轮廓曲线,称之为主旋律提取(Melody Extraction)。如果多音音乐的音源是同一个乐器的不同琴弦或按键发出的,需要将这样的多音音乐自动转化成曲谱,称之为自动音符转写(Music Transcription)。本论文以主旋律提取和自动音符转写这两个实际应用来研究多基频提取。主要工作包括:1、提出了基于深度谐波网络(DHNN)的主旋律提取算法。针对多音音乐复杂的谐波特性,利用了分谐波叠加的思想[2],将主旋律提取看作是一个多分类问题,基于深度神经网络,借鉴了 Sangeun Kum的网络结构[3][4],提出了深度谐波网络DHNN。本论文通过改变原始频谱的结构信息,只将与候选基频相关的对应频率点及其谐波相关特征输入网络,赋予DHNN谐波结构的先验信息,相当于在深度神经网络的基础上加入了谐波特性的先验信息。本论文实现了 LSTM和Resnet两种方式的深度谐波网络。以MIREX-1K数据集的80%数据做训练,剩下20%做测试,同时将训练的模型在mirex05数据集上做迁移测试,在关键指标overall accuracy上达到了 state-of-the-art的结果,比Dressler的结果提升了 4个百分点。2、提出了改进的DHNN音符转写算法。自动音符转写(AMT)的主要任务是将乐器弹奏的音乐自动转化为对应的音符,AMT分为多基频提取(Multi-pitch Extraction)和Note Tracking两个部分[5]。因为同一时刻可能存在多个音符,因此本论文将AMT的多基频提取看作是一个多标签分类问题,每一时刻最多存在88个音符,每个音符都分别建立一个二分类网络。因为频移不变性,相邻音符的谐波网络共享网络参数。与主旋律提取类似,引入深度谐波网络(DHNN),赋予了深度网络的谐波特性处理多音音乐复杂的谐波结构。考虑到音频频谱的两个维度表示的意义不一样,DHNN用一种特殊的一维卷积highway network去实现,而不是更常用的二维卷积。同时引入attention机制去提取有用的关键帧,并且引入竞争网络机制解决八度错误。实验表明,多基频提取的输出结果基于帧判决在MAPS数据库上得到的F-measure值达到了 0.8134,比Siddharth(state of the art)的结果高出了 10%[6]。借鉴了轮廓线算法[7],提出了一种启发式的Note Tracking轮廓线提取算法,得到的F-measure值为0.6970。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN912.3;TP181
【图文】：

频谱,筛除,频谱,迭代

１）基于频谱筛除的音符转写方法逡逑２００３年，Ｋｌａｐｕｒｉ采用频谱迭代删除的方法［２１１。频谱筛除算法整个系统如逡逑图１．邋１所示。整个系统的算法核心是从多音音乐中不断迭代估计、筛除主导基频逡逑Ｚ７。。主导基频厂０估计是指从包含噪声、谐波的多音音乐中提取出主导声音的基逡逑频。Ｋｌａｐｕｒｉ认为不同激励源产生的声音的基频、谐波、噪声组成了原始的音乐逡逑信号。首先，对信号进行白化处理，目的是尽可能减少噪声带来的影响。逡逑，逦估计混合音的［逦逦逡逑逦邋｜数量并迭＃X杠3?音乐信号逡逑ＺＥＩ邋！邋１邋，邋逦邋！邋Ｉ逡逑预＆理一？主导基频估计一？频谱滤波检测—去｜麦霉栻频逡逑存储基频逡逑图１．１频谱迭代筛除方法逡逑４逡逑

度量方法,高清,幅度分布,行分

图２．邋１频率幅度分布图逡逑２．邋１．２音乐的频率特性与度量方法逡逑当看一幅图像的时候，像素点再高清，可能人眼也没有办法再进行分辨。人逡逑眼有分辨率，同样人的耳朵也是有分辨率的。人耳的耳蜗结构注定了人耳是不可逡逑能区分开任意两个频率点的。当两个频率点距离相近到一定距离的时候，是没有逡逑办法进行分辨的。而且人耳对于频率的感知是分线性的，是一种对数感知。人耳逡逑对于低频分辨率更高，对于高频的分辨率更低。基于这种特性，韵律学家发明了逡逑很多律法，其中最著名的，国际公认的律法是十二平均律。逡逑十二平均律认为，耳能听到的频率范围很广，但是一个音的频率为另一个音逡逑的频率的二倍时，听起来像是同一个音（调提高了），每提高一个倍频程都有重逡逑复的感觉［３８］。所以只要把一个倍频程内的音排列好了，就等于把所有的音都排逡逑列好了。人们为了确定乐音中各个音的绝对音高，人们创造了十二平均律，对于逡逑每个音的音高进行定义。将一个八度平均分成十二等份，每等分称为半音，本文，逡逑也采用此种定律法来确定音高。当频率增加一倍是提升一个八度，所以前后两个逡逑：逡逑

【相似文献】