基于深度学习的钢琴和声自动编配系统研究
发布时间：2020-09-01 12:39
和声是由多个音符构成的组合,对于丰富旋律表达方式具有重要的作用。为旋律编配和声,就是为旋律的单音增加和声效果,涉及到基础乐理以及和声规则等专业知识,技术门槛要求较高。随着深度学习和神经网络技术的兴起,人工智能正被广泛应用于音乐检索、音乐创作和音乐教学等领域。本文通过深度学习的方式,代替人工为旋律编配和声,为钢琴音乐创作提供一个强大的辅助工具。本文的研究针对WAV格式钢琴音乐,把和声编配分为三个主要的子任务:音符检测、多基频估计和模型训练。音乐信号经过音符检测被划为多个片段,通过多基频估计提取每个片段的主音符以及和声成分,把它们分别作为神经网络的特征和标签对模型进行训练,使其具有编配和声的能力。本文的主要研究内容和创新点如下:(1)研究音符起点检测算法,以往方法大多数都没考虑到乐器音高的先验知识,考虑到钢琴是十二平均律制乐器,本文提出一种基于十二平均律的音律滤波器组的设计方法,目的是获取音乐信号中每帧能量在音阶频率上的分布,并以此为依据判断音符起点。该方法考虑到乐音特征,并结合具体的音高信息,从而改善音符起点检测效果。(2)研究多基频估计算法,常用思路是将待测音乐频谱分解到各个单音的频谱之中,但是频谱含有大量冗余频率信息,本文利用钢琴琴键的谐波结构,提出一种基于谐波结构的音色滤波器组的设计方法,目的是从音乐信号中提取基频和谐波等特征信息,然后将待测音乐的特征分解到各个单音的特征上去,表示为各个单音特征的加权和形式,从而实现多基频估计。(3)对深度学习算法进行研究,由于编配和声需要着重考虑附近音符分布,本文选用基于长短期记忆的双向循环神经网络,并在编码-解码模型的基础上引入注意力机制。训练完成后,往模型输入单音旋律即可得到和声序列,再利用音符起点信息合成音乐,以便于与原始的单音音乐作对比。(4)构建网络评分平台,将原始的单音音乐和经过和声编配的音乐上传至云服务器,音乐爱好者可通过浏览器在线试听并评分,其中大部分歌曲的得分较高,说明试听者对和声编配效果相当满意,从而验证本文的和声自动编配系统的有效性。
【学位单位】：华南理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TN912.3;TP18;J624.1
【部分图文】：
随后他们又提出一个基于贝叶斯框架的 NMF 算法[32]；Dessein 等人[33]使用基于 beta 散度代价函数的 NMF 进行实时谱分解。目前国内对多基频估计的研究较少，主要有：陈雪梅[34]在迭代谱减法的基础上利用谐波乘积谱提取候选基频并通过谐波重置将重叠的谐波分离；严亮[35]对于频谱中的峰值区域和非峰值区域进行建模，采用最大似然概率的方法进行多基频估计；郭奕[36]把基于谱包络的梅尔倒谱系数作为特征，并通过最小二乘法把待测信号的频谱特征表示为各个音符的频谱特征的加权和形式；万玉龙等人[37]提出基于平均能量谱包络的非负矩阵分解算法对多个音符进行识别；陈静[38]通过块稀疏约束的 NMF 算法，分别从建模和学习两个角度建立多原子音符字典并通过该字典对音乐信号进行谱分解。1.3 本文的主要研究内容如图 1-1 所示，本文所设计的钢琴和声自动编配系统主要包含三个子任务：音符检测、多基频估计和模型训练，所有的研究和创新工作都是围绕这三个子任务进行展开。
图 2-1 低音区和高音区琴键对应的频谱对比图-1 分别展示音符 A0 和 A5 的频谱图，分别对应钢琴的第 1 个和第 61 个基频分别是27.5Hz和880Hz，容易发现音符A0的频谱图含有丰富的谐波 A5 的频谱图中，能量基本集中在基频上，谐波成分所占的能量很少。声基本概念是两个或者两个以上的音符同时发声构成的音响组合，主要包含纵向结构个方面。其中，纵向结构是指柱式和弦，也就是和弦的各个音同时发声。音的前后连接，也称为和声进行。与旋律有着重要的联系，旋律是按照一定的音高、时值和音量构成的音符的音乐都有一个地位突出的旋律，称之为主旋律，一组和声就是为这条旋种伴奏方法也叫和声织体，也就是一条主要的旋律加上比较次要的和声声编配具体的工作内容是根据旋律中各个音的前后连接关系，为旋律中的
图 2-3 音符 A3 和音符 A4 谐波重叠现象图 2-3 分别展示了音符 A3 和音符 A4 各自的频谱图以及两个音符同时出现的其中音符 A3 的基频是 220Hz，音符的基频是 440Hz，可以看出，音符 A3 的和音符 A4 的基频在 440Hz 处发生重叠，导致 440Hz 处的幅值达到最大。在多中，往往会同时出现多个音符，谐波重叠现象会更加复杂，针对这种现象，大法只能根据非重叠谐波的信息近似分离重叠出的谐波，这给多基频估计带来一。3 不谐和性本文的研究对象是钢琴音乐，而钢琴是一种半谐和乐器，即音符的基频和各次之间不是成完美的倍数关系，其中会存在一定的偏差，而且这种偏差会随着谐增加而增大，这种偏差一般用不谐和因子来衡量。对于半谐和乐器，基频与各关系如下：
本文编号：2809743
【学位单位】：华南理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TN912.3;TP18;J624.1
【部分图文】：
随后他们又提出一个基于贝叶斯框架的 NMF 算法[32]；Dessein 等人[33]使用基于 beta 散度代价函数的 NMF 进行实时谱分解。目前国内对多基频估计的研究较少，主要有：陈雪梅[34]在迭代谱减法的基础上利用谐波乘积谱提取候选基频并通过谐波重置将重叠的谐波分离；严亮[35]对于频谱中的峰值区域和非峰值区域进行建模，采用最大似然概率的方法进行多基频估计；郭奕[36]把基于谱包络的梅尔倒谱系数作为特征，并通过最小二乘法把待测信号的频谱特征表示为各个音符的频谱特征的加权和形式；万玉龙等人[37]提出基于平均能量谱包络的非负矩阵分解算法对多个音符进行识别；陈静[38]通过块稀疏约束的 NMF 算法，分别从建模和学习两个角度建立多原子音符字典并通过该字典对音乐信号进行谱分解。1.3 本文的主要研究内容如图 1-1 所示，本文所设计的钢琴和声自动编配系统主要包含三个子任务：音符检测、多基频估计和模型训练，所有的研究和创新工作都是围绕这三个子任务进行展开。
图 2-1 低音区和高音区琴键对应的频谱对比图-1 分别展示音符 A0 和 A5 的频谱图，分别对应钢琴的第 1 个和第 61 个基频分别是27.5Hz和880Hz，容易发现音符A0的频谱图含有丰富的谐波 A5 的频谱图中，能量基本集中在基频上，谐波成分所占的能量很少。声基本概念是两个或者两个以上的音符同时发声构成的音响组合，主要包含纵向结构个方面。其中，纵向结构是指柱式和弦，也就是和弦的各个音同时发声。音的前后连接，也称为和声进行。与旋律有着重要的联系，旋律是按照一定的音高、时值和音量构成的音符的音乐都有一个地位突出的旋律，称之为主旋律，一组和声就是为这条旋种伴奏方法也叫和声织体，也就是一条主要的旋律加上比较次要的和声声编配具体的工作内容是根据旋律中各个音的前后连接关系，为旋律中的
图 2-3 音符 A3 和音符 A4 谐波重叠现象图 2-3 分别展示了音符 A3 和音符 A4 各自的频谱图以及两个音符同时出现的其中音符 A3 的基频是 220Hz，音符的基频是 440Hz，可以看出，音符 A3 的和音符 A4 的基频在 440Hz 处发生重叠，导致 440Hz 处的幅值达到最大。在多中，往往会同时出现多个音符，谐波重叠现象会更加复杂，针对这种现象，大法只能根据非重叠谐波的信息近似分离重叠出的谐波，这给多基频估计带来一。3 不谐和性本文的研究对象是钢琴音乐，而钢琴是一种半谐和乐器，即音符的基频和各次之间不是成完美的倍数关系，其中会存在一定的偏差，而且这种偏差会随着谐增加而增大，这种偏差一般用不谐和因子来衡量。对于半谐和乐器，基频与各关系如下：
【参考文献】
相关期刊论文 前6条
1 林静;贺前华;李新超;杨继臣;;基于高频加权CQT谱的音符起始点检测[J];计算机工程与设计;2015年09期
2 杨龙;;基于MFCC倒谱距离的语音端点检测方法[J];信息通信;2015年07期
3 万玉龙;王宪亮;周若华;颜永红;;基于非负矩阵分解的钢琴多音符估计[J];网络新媒体技术;2014年05期
4 宋倩倩;于凤芹;;基于EMD和改进双门限法的语音端点检测[J];电声技术;2009年08期
5 徐恩平;;计算机软件辅助音乐教学[J];科技信息;2009年02期
6 谭劲;MIDI接口和MIDI文件[J];惠州大学学报(自然科学版);1995年04期
相关博士学位论文 前1条
1 郭奕;自动音乐标注系统多基频估计方法研究[D];电子科技大学;2013年
相关硕士学位论文 前6条
1 陈静;钢琴音乐的多基频估计研究[D];电子科技大学;2016年
2 严亮;自动音乐识谱技术研究[D];电子科技大学;2016年
3 曾贞;钢琴即兴伴奏中和声思维的培养[D];贵州师范大学;2015年
4 陈雪梅;乐音信号的多基频估计[D];山东大学;2014年
5 冯亚楠;基于小波域Teager能量熵的音符起点检测算法研究[D];天津大学;2012年
6 张秋月;基于相位特征的音乐符起点检测[D];天津大学;2010年
本文编号：2809743
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/2809743.html
