基于神经网络模型的文本语义通顺度计算研究
发布时间：2020-10-23 01:14
随着文本数据的急剧增加,对文本的智能化处理和分析成为了解决信息过载问题的重要途径之一,而文本的语义研究则是其中的关键。作为文本语义研究的一个重要方向,文本语义的通顺度研究目前相对较少。不可否认,文本通顺度研究对机器翻译,文章智能批改等领域也至关重要,但怎样判断句子是否通顺以及句子的组织是否合理则是一个非常重要且颇具挑战性的研究课题。传统的人工处理方式不仅需要耗费大量的人力成本和时间资源,而且存在着较大的不准确性,差异性等问题。若能通过对文本语义通顺度研究来构建一个有效模型,让计算机以类似人类的方式去评判一句话是否通顺,那么将有望缓解传统人工批改所存在的如无法批改大量文本、低效及一致性评价等问题。本文提出了一种依存句法分析下的语义通顺度计算方法,该方法通过融合句子主干以及句子细节的语义通顺度和语法通顺度的联合概率来计算通顺度。本文还提出了一种神经网络模型和机器学习算法结合下的语义通顺度计算方法,该方法先对文章进行分词,通过word2vec进行词向量表示,然后在模型中加入卷积神经网络(CNN)层学习字向量,并通过注意力机制联合词向量与字向量,然后通过双向长短时记忆网络模型(Bi-LSTM)进行学习,最后输入到条件随机场层(CRF)进行计算输出。在实验过程中,针对申论议论文数据集正负样本不平衡的问题,使用欠采样等方法进行了数据增强处理。实验结果表明,相对于依存句法分析,神经网络模型与机器学习算法结合的模型更适用于文本的语义通顺度计算,我们在一个人工标注数据集上进行了实验验证,初步证明了上述模型的可行性和有效性。
【学位单位】：华中师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.1;TP183
【部分图文】：
—／??ｗ（ｔ＋２）??图２．?１?ＣＢＯＷ模型??如图２．１所示，ＣＢＯＷ模型是一个浅层神经网络结构，分为输入层，隐藏层，??输出层三层。模型的输入为当前词的上下文信息Ｃ（ｖ＾），其中Ｃ（Ｗｉ）＝?（Ｗｉ＿２，??Ｖｌ＾ｉ，Ｗｉ＋１，?Ｗｉ＋２），隐藏层是对Ｗｊ的上下文信息进行求和运算，最后输出对当前词??的预测概率Ｐ＾ＩＣｋ））。ＣＢＯＷ模型的优化目标函数为：??（公式?２．?１）??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??？?ｊ￣￣￣｜??＿?ｗ｛ｔ－２）??／ｒｚ??ｗ（ｔ）???？?：??剩??＿?ｗ（！＋２）??图?２．?２?Ｓｋｉｐ－ｇｒａｍ?模型??６??
ｗ（ｔ－１）?、＼?＼??—Ｊ?＼?＼?ＳＵＭ??％?？?ｗ〇＞??ｗ（ｔ＋１）?／??—／??ｗ（ｔ＋２）??图２．?１?ＣＢＯＷ模型??ＣＢＯＷ模型是一个浅层神经网络结构，分为输输入为当前词的上下文信息Ｃ（ｖ＾），其中Ｃ隐藏层是对Ｗｊ的上下文信息进行求和运算，最））。ＣＢＯＷ模型的优化目标函数为：??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??
?Ｉ?Ｉ??｜??图２．?３卷积神经网络??卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ，简称ＣＮＮ），属于人工神经网??络模型的一种。图２．３是用于文本分类任务的卷积神经网络，由输入层，卷积层，??池化层，全连接层构成，属于深层神经网络模型［２２］。其相对于其他神经网络模型，??最主要的特点就是卷积计算操作。通常在卷积层中使用比较直观的互相关运算方式??［２３］??Ｏ??二维卷积层中，输入一个二维矩阵和一个二维过滤器（也称卷积核），就可以通??过互相关运算输出一个二维矩阵。如图２．３所示，假设输入层是一个３ｘ３的二维矩??阵，过滤器为２ｘ２的矩阵，图中的阴影部分为输入的矩阵元素和过滤器矩阵元素互??相关运算之后输出的第一个值：０Ｘ０＋１Ｘ１＋３Ｘ２＋４Ｘ３＝１９。??０?；?１?２?Ｉ－?＇＇＂．．．ｊ，，．?￣－１￣?????０?１?１９１?２５??３?４?５?＊?＾?＝?—■—??－Ｓ－－??２－３１?３７?４３??６?７?８?＊■—￣￣?￣￣￣??图２．?４互相关运算??卷积层将输入和过滤器作互相关运算
【参考文献】
本文编号：2852354
【学位单位】：华中师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.1;TP183
【部分图文】：
—／??ｗ（ｔ＋２）??图２．?１?ＣＢＯＷ模型??如图２．１所示，ＣＢＯＷ模型是一个浅层神经网络结构，分为输入层，隐藏层，??输出层三层。模型的输入为当前词的上下文信息Ｃ（ｖ＾），其中Ｃ（Ｗｉ）＝?（Ｗｉ＿２，??Ｖｌ＾ｉ，Ｗｉ＋１，?Ｗｉ＋２），隐藏层是对Ｗｊ的上下文信息进行求和运算，最后输出对当前词??的预测概率Ｐ＾ＩＣｋ））。ＣＢＯＷ模型的优化目标函数为：??（公式?２．?１）??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??？?ｊ￣￣￣｜??＿?ｗ｛ｔ－２）??／ｒｚ??ｗ（ｔ）???？?：??剩??＿?ｗ（！＋２）??图?２．?２?Ｓｋｉｐ－ｇｒａｍ?模型??６??
ｗ（ｔ－１）?、＼?＼??—Ｊ?＼?＼?ＳＵＭ??％?？?ｗ〇＞??ｗ（ｔ＋１）?／??—／??ｗ（ｔ＋２）??图２．?１?ＣＢＯＷ模型??ＣＢＯＷ模型是一个浅层神经网络结构，分为输输入为当前词的上下文信息Ｃ（ｖ＾），其中Ｃ隐藏层是对Ｗｊ的上下文信息进行求和运算，最））。ＣＢＯＷ模型的优化目标函数为：??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??
?Ｉ?Ｉ??｜??图２．?３卷积神经网络??卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ，简称ＣＮＮ），属于人工神经网??络模型的一种。图２．３是用于文本分类任务的卷积神经网络，由输入层，卷积层，??池化层，全连接层构成，属于深层神经网络模型［２２］。其相对于其他神经网络模型，??最主要的特点就是卷积计算操作。通常在卷积层中使用比较直观的互相关运算方式??［２３］??Ｏ??二维卷积层中，输入一个二维矩阵和一个二维过滤器（也称卷积核），就可以通??过互相关运算输出一个二维矩阵。如图２．３所示，假设输入层是一个３ｘ３的二维矩??阵，过滤器为２ｘ２的矩阵，图中的阴影部分为输入的矩阵元素和过滤器矩阵元素互??相关运算之后输出的第一个值：０Ｘ０＋１Ｘ１＋３Ｘ２＋４Ｘ３＝１９。??０?；?１?２?Ｉ－?＇＇＂．．．ｊ，，．?￣－１￣?????０?１?１９１?２５??３?４?５?＊?＾?＝?—■—??－Ｓ－－??２－３１?３７?４３??６?７?８?＊■—￣￣?￣￣￣??图２．?４互相关运算??卷积层将输入和过滤器作互相关运算
【参考文献】
相关期刊论文 前4条
1 石翠;;依存句法分析研究综述[J];智能计算机与应用;2013年06期
2 鉴萍;宗成庆;;基于序列标注模型的分层式依存句法分析方法[J];中文信息学报;2010年06期
3 邢永康;马少平;;统计语言模型综述[J];计算机科学;2003年09期
4 余凯;;深度学习——机器学习的新浪潮[J];程序员;2013年02期
相关博士学位论文 前1条
1 彭艳;短语结构语法与依存语法的心理现实性研究[D];上海外国语大学;2007年
相关硕士学位论文 前3条
1 陈先昌;基于卷积神经网络的深度学习算法与应用研究[D];浙江工商大学;2014年
2 卢孝新;基于马尔科夫随机场的三维网格模型分割算法研究[D];哈尔滨工业大学;2010年
3 沈超;基于转换的依存句法分析研究[D];复旦大学;2009年
本文编号：2852354
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2852354.html
