基于CNN的钢琴音乐自动记谱算法的研究与实现
发布时间：2020-08-10 20:28
【摘要】：随着生活水平的提高,人们学习钢琴演奏的热情不断高涨,兴起了钢琴教育的热潮。钢琴音乐自动记谱技术可以检测钢琴音乐声音信号中各个音符的音高和起始点,可以用于自动、客观地评价钢琴演奏的正确性,帮助钢琴学习者及时发现自己的演奏错误,提高学习效率。但是实现一种准确的钢琴音乐自动记谱算法仍然是一个具有挑战性的问题。本文研究并实现了一种基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)的钢琴音乐自动记谱算法。对输入的钢琴音乐声音信号,首先进行时频分析,将钢琴音乐声音信号的原始时域波形变换为频率分布随时间变化的表示;然后进行音符起始点检测;最后进行多基音检测,分别检测各个音符起始点处新弹奏的音符的音高。本文的主要工作包括:(1)对国内外的研究现状与相关工作进行了广泛的调研,并对自动音乐记谱技术进行了综述;(2)分别实现了短时傅里叶变换和常数Q变换时频分析方法,并且基于CNN模型分别实现了音符起始点检测和多基音检测,对CNN的网络结构、训练方法和后处理方法进行了优化;(3)实验对比了分别采用不同的输入时频表示和不同的训练方法时CNN网络的准确度,并分析了本文算法的检测错误。本文提出的钢琴音乐自动记谱算法在MAPS ENSTDkCl中钢琴曲的前30s上的F值为86.80%(音符起始点允许偏差范围取±100ms)。测试表明,本文实现的算法的准确度是目前基于CNN的钢琴音乐自动记谱算法中最高的,为实现计算机辅助钢琴教学提供了技术支持。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：J624.1;TP183
【图文】：
中Ｂ科学院语言声学与内容理解重点实验室逦周若华、颜永红等逡逑电子科技大学逦郭奕［２４］、陈静Ｐ５】、严亮ｗ等逡逑西南交通大学逦｜壬建英、陈强唐静＿、杨静ｐ９］等逡逑多音杳乐的基音检测仍然是一个具有挑战性的问题。因为多音音乐的声耆＃比较复杂，多个音符在时域重叠，并且在频域互相影响。此外，多音组合的输出空非常大，进一＊ki加大了建模难度。音乐信息检索领域的顶级国际比赛ＭＩＲＥＸ邋（ＭｕｓｉＩｎｆｏｒｍａｔｉｏｎ邋Ｒｅｔｒｉｅｖａｌ邋Ｅｖａｌｕａｔｉｏｎ邋ｅＸｃｈａｎｇｅ）邋１邋是^悖呒蔥隼中畔⒓焖飨低称泪芄攀滴蹋ǎ桑睿簦澹颍睿幔簦椋铮睿幔戾澹停酰螅椋沐澹桑睿妫铮颍恚幔簦椋铮铄澹遥澹簦颍椋澹觯幔戾澹樱螅簦澹恚箦澹牛觯幔欤酰幔簦椋铮铄澹蹋幔猓铮颍幔簦铮颍澹桑停桑遥樱牛蹋┲靼斓摹＃停桑遥牛乇热衾中畔⒓焖髁煊虻亩嘀秩挝裉峁┝送骋弧⒄娴钠啦馄教āｅ义希咤澹玻埃埃纺昶穑停桑遥牛乇热屑尤肓硕嗷倒兰朴敫偃挝瘢渲邪智僖衾郑叨瞧鬃尤挝瘛Ｍ迹保备隽隋澹停桑遥牛乇热懈智僖衾肿远瞧兹挝衩磕辏罾氲钠澜峁ǎ停桑遥牛厥菁兰凼敝豢悸且舴鹗嫉愕恼沸裕豢悸莣符的结束时刻），逡逑其中最高的Ｆ值为８１．９９％。最近几年，ＡＭＴ算法的准确度似乎已经集体到达了一．稳定水平。逡逑
２．２音乐信号时频分析逡逑ＡＭＴ算法逋常先将音乐信号前原始时域波形变换为时频表示，ＳＴＦＴ和ＣＱＴ是逡逑广泛使用的两种时频分析方法＾逡逑２．２．１短时傅里叶变换逡逑因为离散傅里叶变换（Ｄｉｓｃｒｅｔｅ邋Ｆｏｕｒｉｅｒ邋Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）是数字信号处理领域最逡逑常用的分析方法之一，详细的介绍可以参看相关的书籍（比如《数字信号处理》［４２］）。逡逑长度为＃的信号的ＤＦＴ表达式为逡逑Ｎ－ｌ逦－ｉ—ｋｎ逡逑Ｖｘ（ｎ）Ｑ邋Ｎ邋，邋Ｑ＜ｋ＜Ｎ＿＼逡逑雄）邋＝邋ＤＦＴ＿＝台、；逦，逦（２．２）逡逑0，逦其它逡逑Ｘ（々）表浪aず牛ǎ浚┑钠灯祝冢粒扛龅愣杂Φ钠德饰义
本文编号：2788571
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：J624.1;TP183
【图文】：
中Ｂ科学院语言声学与内容理解重点实验室逦周若华、颜永红等逡逑电子科技大学逦郭奕［２４］、陈静Ｐ５】、严亮ｗ等逡逑西南交通大学逦｜壬建英、陈强唐静＿、杨静ｐ９］等逡逑多音杳乐的基音检测仍然是一个具有挑战性的问题。因为多音音乐的声耆＃比较复杂，多个音符在时域重叠，并且在频域互相影响。此外，多音组合的输出空非常大，进一＊ki加大了建模难度。音乐信息检索领域的顶级国际比赛ＭＩＲＥＸ邋（ＭｕｓｉＩｎｆｏｒｍａｔｉｏｎ邋Ｒｅｔｒｉｅｖａｌ邋Ｅｖａｌｕａｔｉｏｎ邋ｅＸｃｈａｎｇｅ）邋１邋是^悖呒蔥隼中畔⒓焖飨低称泪芄攀滴蹋ǎ桑睿簦澹颍睿幔簦椋铮睿幔戾澹停酰螅椋沐澹桑睿妫铮颍恚幔簦椋铮铄澹遥澹簦颍椋澹觯幔戾澹樱螅簦澹恚箦澹牛觯幔欤酰幔簦椋铮铄澹蹋幔猓铮颍幔簦铮颍澹桑停桑遥樱牛蹋┲靼斓摹＃停桑遥牛乇热衾中畔⒓焖髁煊虻亩嘀秩挝裉峁┝送骋弧⒄娴钠啦馄教āｅ义希咤澹玻埃埃纺昶穑停桑遥牛乇热屑尤肓硕嗷倒兰朴敫偃挝瘢渲邪智僖衾郑叨瞧鬃尤挝瘛Ｍ迹保备隽隋澹停桑遥牛乇热懈智僖衾肿远瞧兹挝衩磕辏罾氲钠澜峁ǎ停桑遥牛厥菁兰凼敝豢悸且舴鹗嫉愕恼沸裕豢悸莣符的结束时刻），逡逑其中最高的Ｆ值为８１．９９％。最近几年，ＡＭＴ算法的准确度似乎已经集体到达了一．稳定水平。逡逑
２．２音乐信号时频分析逡逑ＡＭＴ算法逋常先将音乐信号前原始时域波形变换为时频表示，ＳＴＦＴ和ＣＱＴ是逡逑广泛使用的两种时频分析方法＾逡逑２．２．１短时傅里叶变换逡逑因为离散傅里叶变换（Ｄｉｓｃｒｅｔｅ邋Ｆｏｕｒｉｅｒ邋Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）是数字信号处理领域最逡逑常用的分析方法之一，详细的介绍可以参看相关的书籍（比如《数字信号处理》［４２］）。逡逑长度为＃的信号的ＤＦＴ表达式为逡逑Ｎ－ｌ逦－ｉ—ｋｎ逡逑Ｖｘ（ｎ）Ｑ邋Ｎ邋，邋Ｑ＜ｋ＜Ｎ＿＼逡逑雄）邋＝邋ＤＦＴ＿＝台、；逦，逦（２．２）逡逑0，逦其它逡逑Ｘ（々）表浪aず牛ǎ浚┑钠灯祝冢粒扛龅愣杂Φ钠德饰义
本文编号：2788571
本文链接：https://www.wllwen.com/wenyilunwen/mzqiyue/2788571.html
