基于多模态融合的音乐情感分类方法研究

发布时间：2017-10-20 16:19

  本文关键词：基于多模态融合的音乐情感分类方法研究

  更多相关文章： 音乐情感分类 多模态 图学习 Hough森林 隐式空间

【摘要】：随着信息技术的飞速发展,海量的音乐数据涌现在互联网中。如何有效地对这些音乐数据进行组织与检索吸引了越来越多来白不同领域研究者的关注。作为音乐检索的一个重要手段,基于音乐的情感属性对音乐进行分类可有效提高音乐检索的精度和效率,但同时也面临着诸多技术挑战。音乐数据通常由音频信号与歌词文本两种模态所组成,传统的音乐情感分类方法多数侧重于对单一模态数据的分析,由于单模态数据中所包含语义信息的局限性,使得其往往无法完全表达音乐中蕴含的情感信息,因此研究有效的方法挖掘和利用音乐中多种模态数据间相关性与互补性,对提高现有音乐情感分类方法的性能具有十分重要的意义。本文以融合多种模态数据的音乐情感分类方法为具体研究对象,探索综合利用多种模态音乐数据中包含的相关情感信息以有效提高情感分类的准确率。不同于以往基于文档级音乐表示的多模态音乐情感分类方法,本文提出了句子层次的音乐特征表示机制以从更细粒度精确刻画其情感属性,并且提出了基于区分度排序与同义词扩展的音乐文本预处理方法以提高音乐文本数据的情感类别区分能力。另一方面,为消除不同模态数据间的异构性以实现更加有效的融合,本文提出了针对音乐情感分类的多模态Locality Preserving Projection算法,将音频与歌词模态数据映射到更具情感分类能力的公共隐式特征空间中。在其基础上,本文进一步提出了基于多模态投票的Hough森林音乐情感分类方法,利用不同模态的音乐数据在时间上的相关性提升了音乐情感分类的准确率。另一方面,本文提出了基于多模态K近邻与图学习的音乐情感分类方法,基于不同模态特征在隐式空间中的相似度实现情感标签的有效传播,充分利用了不同模态音乐数据之间的相关性和互补性,提高了音乐情感分类的准确率。实验结果表明,本文提出的方法有效融合了不同模态音乐数据中的情感信息,有效提升了音乐情感分类的精度。
【关键词】：音乐情感分类 多模态 图学习 Hough森林 隐式空间
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.1
【目录】：

• 摘要4-5
• Abstract5-11
• 第一章 绪论11-16
• 1.1 研究背景、现状和意义11-12
• 1.2 本文工作12-14
• 1.3 文章结构14-16
• 第二章 多模态问题与情感分析相关研究16-23
• 2.1 多模态问题研究现状16-19
• 2.1.1 跨模态统一表示16-17
• 2.1.2 多模态融合分析17-19
• 2.2 情感分析研究现状19-23
• 2.2.1 基于音频的音乐情感分类19-20
• 2.2.2 基于文本的情感分类20-21
• 2.2.3 多模态音乐情感分类21-22
• 2.2.4 多模态微博数据情感分类22-23
• 第三章 多模态音乐特征表示23-40
• 3.1 引言23-25
• 3.2 歌词文本特征表示25-32
• 3.2.1 基于TF-IDF的词袋模型特征25-26
• 3.2.2 单词的分布式表示26-28
• 3.2.3 半监督的递归式Autoencoder28-30
• 3.2.4 基于情感区分度与稀疏情感词扩展的文本预处理方法30-32
• 3.3 音频特征表示32-35
• 3.4 融合音频与文本模态的音乐隐式空间表示35-38
• 3.5 本章小结38-40
• 第四章 多模态音乐情感分类方法40-52
• 4.1 引言40-41
• 4.2 传统多模态情感分类方法41
• 4.3 基于多模态的Hough森林的音乐情感分类方法41-46
• 4.3.1 针对句子层次音乐表示的Hough森林分类模型42-43
• 4.3.2 基于特征融合的多模态Hough投票机制43-44
• 4.3.3 基于模型融合的多模态Hough投票机制44-46
• 4.4 基于多模态K近邻与图学习的音乐情感分类方法46-50
• 4.4.1 多模态音乐数据的图模型表示46-48
• 4.4.2 基于K近邻的图学习算法48-49
• 4.4.3 基于多模态K近邻与图学习的音乐情感类别预测49-50
• 4.5 本章小结50-52
• 第五章 实验结果与分析52-65
• 5.1 实验数据集52-54
• 5.1.1 实验数据收集52-53
• 5.1.2 数据集组成53-54
• 5.2 歌词预处理有效性评估54-56
• 5.3 音乐多模态隐式空间表示评估56-59
• 5.4 基于多模态Hough森林的音乐情感分类方法评估59-60
• 5.5 基于多模态K近邻与图学习的情感分类方法评估60-63
• 5.6 相关方法比较63-64
• 5.7 本章小结64-65
• 第六章 总结与展望65-67
• 6.1 论文工作总结65
• 6.2 未来展望65-67
• 参考文献67-73
• 简历与科研成果73-74
• 致谢74-75

【相似文献】

中国期刊全文数据库 前10条

1 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期

2 保罗·范登侯汶;杨颖;;多模态论辩话语重构:以美国广播公司一则新闻为例[J];国际新闻界;2013年04期

3 王学东;胡宋敏;谢辉;丁帅;曹高辉;;多模态网络主题资源聚合与实证研究[J];情报科学;2014年07期

4 胡壮麟;;谈多模态小品中的主体模态[J];符号与传媒;2011年01期

5 张薇;徐筱秋;;基于云教育平台的多模态输入优化模型建构[J];校园英语(教研版);2012年05期

6 郭志斌;;网络环境下的新闻听力多模态教学模式[J];新闻爱好者;2010年14期

7 ;《妈祖文化的多模态语篇研究》简介[J];莆田学院学报;2011年01期

8 王瑜;穆志纯;徐正光;;多模态生物特征识别技术进展综述[J];计算机应用与软件;2009年02期

9 胡阿旭;陈贵萍;于洪志;;多模态语音实验室在语言研究中的应用[J];西北民族大学学报(自然科学版);2012年01期

10 黄戎;肖超;;多模态策略在复杂控制过程中的应用(英文)[J];机床与液压;2012年24期

中国重要会议论文全文数据库 前10条

1 王爱东;谷珍;杨燕平;白鹤;;多媒体多模态教学在民办高校大学英语教学中的适用性及效果研究[A];语言与文化研究（第十四辑）[C];2014年

2 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

3 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

4 赵贤;;多模态基底系统性质研究[A];2010年全国应用逻辑研讨会会议论文集[C];2010年

5 张友安;胡云安;周绍磊;;Hammerstein系统的多模态模型及其两步辨识法[A];1996中国控制与决策学术年会论文集[C];1996年

6 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

7 康志峰;;口译中多模态的AA研究[A];第十四届全国科技翻译研讨会论文汇编[C];2011年

8 黄俊辉;李文政;李学军;;基于多模态医学影像数据的计算机辅助医疗设计与肿瘤精确治疗[A];中国肿瘤内科进展 中国肿瘤医师教育（2014）[C];2014年

9 孟祥亮;史元春;杨欣;;基于分层原语的多模态输入统一访问接口[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 郭华东;王为民;朱博勤;;多模态传感器辐射模态数据在SZ-4飞船模拟验证研究[A];全国国土资源与环境遥感技术应用交流会论文文集[C];2004年

中国重要报纸全文数据库 前2条

1 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年

2 罗绵卫 王建成;中国航天科工高分专项实现零突破[N];中国航天报;2011年

中国博士学位论文全文数据库 前10条

1 高静;信息物理融合系统中基于多模态数据的事件监测问题研究[D];哈尔滨工业大学;2015年

2 侯涛;多信息融合滤波的多模态智能控制在高速列车速度控制中的研究[D];兰州交通大学;2015年

3 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年

4 刘鹏;慢性伤口光学仿体的多尺度多模态医学影像技术研究[D];中国科学技术大学;2016年

5 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年

6 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年

7 潘鸣威;多模态视角下的口语交际能力：重构与探究[D];上海外国语大学;2011年

8 逯波;多模态媒体信息检索技术研究[D];东北大学;2013年

9 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年

10 王洋;多模态图像检索技术[D];中国科学技术大学;2013年

中国硕士学位论文全文数据库 前10条

1 蒋迪;计划生育宣传画的多模态语篇分析[D];天津商业大学;2015年

2 宋康利;概念整合理论视角下平面广告中的多模态隐喻研究[D];湖南工业大学;2015年

3 仲丽娜;译林版初中英语教材的多模态语篇分析[D];扬州大学;2015年

4 欧阳素珍;多模态输入对英语专业学生听力理解影响的实证研究[D];湖南师范大学;2015年

5 邓林霞;多模态话语分析理论下的初中英语语法教学实证研究[D];湖南师范大学;2015年

6 刘丹彤;基于多模态隐喻理论的家用空气净化器设计研究[D];华东理工大学;2015年

7 钟帆;平面环保公益广告的多模态隐喻研究[D];北京林业大学;2016年

8 郭浩东;普适计算环境下多模态信息融合的活动识别研究[D];浙江大学;2016年

9 张瀚之;基于多模态特征的人体运动识别系统[D];浙江大学;2016年

10 马林涓;《今日中国》封面构图意义的多模态语篇分析[D];西南民族大学;2015年

，

本文编号：1068150