基于RNN的藏语语言模型的研究与实现
发布时间：2021-03-19 22:46
随着互联网的迅速普及和信息的快速更新,人工智能已成为未来科技发展的重要方向。语音识别是人工智能研究的一个重要分支,其目的是让机器与人之间能够通过语音互相交流,实现人机交互。目前语音识别在英、汉等大语种方面已经取得了较高的识别率,而在藏语等小语种方面的研究却相对缺乏。语言模型是语音识别中的重要模块,也是语言事实关系的主要表现形式,很大程度上影响了语音识别系统的最终效果。除语音识别外,语言模型也广泛使用在机器翻译、自动分词、句法分析等研究中。本文主要研究基于循环神经网络Recurrent Neural Network,（RNN）语言模型和传统的N-gram统计语言模型,构建相关藏语语言模型并测试模型性能,通过改变参数,添加优化方法等实验对比两者困惑度,目的是得到识别性能更好的藏语语言模型,以便能够在后续藏语语音识别系统中,可以结合声学模型得到更准确的识别率。传统的N-gram语言模型是一种浅层模型,随着数据量增多、数据结构复杂性增强,会造成数据稀疏等问题,其建模能力也会下降。而循环神经网络RNN作为较深层次的模型,具有比N-gram模型更好的学习和建模能力。本研究通过改变RNN藏语语言模型...
【文章来源】：西北民族大学甘肃省
【文章页数】：45 页
【学位级别】：硕士
【部分图文】：
语言模型结果
西北民族大学硕士学位论文在语料库较大时采用改进后的模型对训练速度的提升更加明显，在类别层0 时，模型训练时间比未分类时大约节省 4/5，而模型性能基本不降低 所衡模型训练时间大幅减少和性能略微降低的情形，在后续实验中选择在训练入适当的类别层，以减少模型训练时间提升效率 本实验是利用相同的数据集，将 RNN 语言模型的隐含层大小改为不同的行训练，并与使用 Kneser-Ney 平滑算法的 3-gram 模型进行对比[52] 本研究取既能加快训练速度又能保持较好模型性能的 100 的类别层，坐标轴中横轴选取 0~500 的神经元数目，纵轴表示语言模型的困惑度值，因 PPL 较集中取 60~120 部分，模型采用通过时间的反向传播算法迭代 4 次，对比结果如 4-5 所示：
【参考文献】：
期刊论文
[1]基于稀疏表示和特征加权的大数据挖掘方法的研究[J]. 蔡柳萍,解辉,张福泉,张龙飞. 计算机科学. 2018(11)
[2]基于LSTM的船舶航迹预测模型[J]. 权波,杨博辰,胡可奇,郭晨萱,李巧勤. 计算机科学. 2018(S2)
[3]基于LSTM深度学习模型的中国电信官方微博用户情绪分析[J]. 蔡鑫,娄京生. 电信科学. 2017(12)
[4]基于情感词向量和BLSTM的评论文本情感倾向分析[J]. 邓楠,余本功. 计算机应用研究. 2018(12)
[5]基于自适应学习的小学英语本体构建方法研究[J]. 景然,骆力明,刘杰,周建设. 计算机应用与软件. 2017(08)
[6]深度学习在控制领域的研究现状与展望[J]. 段艳杰,吕宜生,张杰,赵学亮,王飞跃. 自动化学报. 2016(05)
[7]基于循环神经网络语言模型的N-best重打分算法[J]. 张剑,屈丹,李真. 数据采集与处理. 2016(02)
[8]基于循环神经网络的汉语语言模型建模方法[J]. 王龙,杨俊安,陈雷,林伟. 声学技术. 2015(05)
[9]一种恶意代码特征选取和建模方法[J]. 李盟,贾晓启,王蕊,林东岱. 计算机应用与软件. 2015(08)
[10]基于词向量特征的循环神经网络语言模型[J]. 张剑,屈丹,李真. 模式识别与人工智能. 2015(04)
博士论文
[1]面向评论文本的迁移学习研究及应用[D]. 魏晓聪.大连理工大学 2017
[2]基于深度神经网络的语音识别模型研究[D]. 张仕良.中国科学技术大学 2017
硕士论文
[1]基于中文语言处理和深度学习的医疗知识图谱构建[D]. 方滔.河南师范大学 2018
[2]基于社交媒体文本的网络新词识别技术研究[D]. 石景.华中师范大学 2018
[3]基于数据挖掘的动环监控系统告警相关性研究[D]. 贾海涛.北京交通大学 2018
[4]基于注意力词向量的情感分类方法研究[D]. 陈华杰.哈尔滨工业大学 2017
[5]激活函数导向的RNN算法优化[D]. 张尧.浙江大学 2017
[6]基于N-gram语法检查系统的改进和实现[D]. 葛昊.中国科学技术大学 2014
[7]统计语言模型N-best重排序算法的研究[D]. 郭一鸣.哈尔滨工业大学 2013
[8]深度学习神经网络在语音识别中的应用研究[D]. 陈硕.华南理工大学 2013
[9]中文词法分析技术的研究与实现[D]. 张会鹏.哈尔滨工业大学 2006
本文编号：3090362
【文章来源】：西北民族大学甘肃省
【文章页数】：45 页
【学位级别】：硕士
【部分图文】：
语言模型结果
西北民族大学硕士学位论文在语料库较大时采用改进后的模型对训练速度的提升更加明显，在类别层0 时，模型训练时间比未分类时大约节省 4/5，而模型性能基本不降低 所衡模型训练时间大幅减少和性能略微降低的情形，在后续实验中选择在训练入适当的类别层，以减少模型训练时间提升效率 本实验是利用相同的数据集，将 RNN 语言模型的隐含层大小改为不同的行训练，并与使用 Kneser-Ney 平滑算法的 3-gram 模型进行对比[52] 本研究取既能加快训练速度又能保持较好模型性能的 100 的类别层，坐标轴中横轴选取 0~500 的神经元数目，纵轴表示语言模型的困惑度值，因 PPL 较集中取 60~120 部分，模型采用通过时间的反向传播算法迭代 4 次，对比结果如 4-5 所示：
【参考文献】：
期刊论文
[1]基于稀疏表示和特征加权的大数据挖掘方法的研究[J]. 蔡柳萍,解辉,张福泉,张龙飞. 计算机科学. 2018(11)
[2]基于LSTM的船舶航迹预测模型[J]. 权波,杨博辰,胡可奇,郭晨萱,李巧勤. 计算机科学. 2018(S2)
[3]基于LSTM深度学习模型的中国电信官方微博用户情绪分析[J]. 蔡鑫,娄京生. 电信科学. 2017(12)
[4]基于情感词向量和BLSTM的评论文本情感倾向分析[J]. 邓楠,余本功. 计算机应用研究. 2018(12)
[5]基于自适应学习的小学英语本体构建方法研究[J]. 景然,骆力明,刘杰,周建设. 计算机应用与软件. 2017(08)
[6]深度学习在控制领域的研究现状与展望[J]. 段艳杰,吕宜生,张杰,赵学亮,王飞跃. 自动化学报. 2016(05)
[7]基于循环神经网络语言模型的N-best重打分算法[J]. 张剑,屈丹,李真. 数据采集与处理. 2016(02)
[8]基于循环神经网络的汉语语言模型建模方法[J]. 王龙,杨俊安,陈雷,林伟. 声学技术. 2015(05)
[9]一种恶意代码特征选取和建模方法[J]. 李盟,贾晓启,王蕊,林东岱. 计算机应用与软件. 2015(08)
[10]基于词向量特征的循环神经网络语言模型[J]. 张剑,屈丹,李真. 模式识别与人工智能. 2015(04)
博士论文
[1]面向评论文本的迁移学习研究及应用[D]. 魏晓聪.大连理工大学 2017
[2]基于深度神经网络的语音识别模型研究[D]. 张仕良.中国科学技术大学 2017
硕士论文
[1]基于中文语言处理和深度学习的医疗知识图谱构建[D]. 方滔.河南师范大学 2018
[2]基于社交媒体文本的网络新词识别技术研究[D]. 石景.华中师范大学 2018
[3]基于数据挖掘的动环监控系统告警相关性研究[D]. 贾海涛.北京交通大学 2018
[4]基于注意力词向量的情感分类方法研究[D]. 陈华杰.哈尔滨工业大学 2017
[5]激活函数导向的RNN算法优化[D]. 张尧.浙江大学 2017
[6]基于N-gram语法检查系统的改进和实现[D]. 葛昊.中国科学技术大学 2014
[7]统计语言模型N-best重排序算法的研究[D]. 郭一鸣.哈尔滨工业大学 2013
[8]深度学习神经网络在语音识别中的应用研究[D]. 陈硕.华南理工大学 2013
[9]中文词法分析技术的研究与实现[D]. 张会鹏.哈尔滨工业大学 2006
本文编号：3090362
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3090362.html
最近更新
教材专著
