基于语义树的短文本相似度算法研究与应用
发布时间：2021-11-04 19:07
互联网时代的海量信息资源充斥着我们的生活,这些信息资源很大一部分是以自然语言的形式存在的文本信息,如电子邮件、网页、电子书等。伴随着人工智能的发展,自然语言处理的各种技术被应用到互联网的各个方面,如文本数据挖掘,搜索引擎等,而文本相似度计算是自然语言处理的核心技术之一。本文对自然语言处理这一研究方向的背景和研究现状进行了较为深入的了解和分析,并对相关理论进行了总结和学习,确立了本文的研究目标:短文本相似度算法研究。同时结合读研期间参与的在线教育平台项目,提出了基于短文本相似度算法的主观题自动评分算法,并将该算法应用到了面向政治公共课考试的主观题自动评分系统,并予以实现。本文所提出的短文本相似度算法以一棵语义树来表示一个语义完整的短文本,语义树以短文本中的核心词语为节点,以节点间的语义依存关系作为树节点间的权值。根据语义树的特点,综合考虑了根节点核心词语相似度,语义依存关系种类,具有相同语义依存关系的词语相似度等因素来计算短文本相似度。在短文本相似度算法的基础上提出了主观题自动评分算法,该算法将答案文本根据一定特征进行切分,然后将切分后的短文本逐条计算相似度,得出一个得分矩阵,根据得分矩...
【文章来源】：湘潭大学湖南省
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
基于规则的自然语言处理基于规则的自然语言处理方法能从认知科学和语言学的角度解释该方法的
图 2.1 基于规则的自然语言处理基于规则的自然语言处理方法能从认知科学和语言学的角度解释该方法的合理性，但从实际情况说，由于语言的歧义和指代等特性，而且随着社会文化的演进和改变会用俚语和网络用语的出现，这使得计算机无法穷尽所有语言规则。因此基于语言规则的自然语言处理方法的精度无法大幅度提升。（2）基于统计的自然语言处理方法：该方法是基于贝叶斯方法和香侬噪声管道模型所提出的的方法。使用该方法前需要建立一个大规模完备的语料库，通过统计学原理统计分析语料库，计算出每一句话出现的频率，通过计算机程序找到对应环境中出现概率最大的语句，以达到使计算机理解自然语言的效果。
图 2.3 规则和统计结合的自然语言处理2.2《知网》语言知识库2.2.1《知网》简介《知网》（Hownet）是董振东先生等在 1988 年建立的一个语言知识库，该
【参考文献】：
期刊论文
[1]基于相似度融合算法的主观题自动阅卷机制[J]. 李纪扣,韩建宇,王嫄. 天津科技大学学报. 2019(01)
[2]文本相似度计算研究进展综述[J]. 王寒茹,张仰森. 北京信息科技大学学报(自然科学版). 2019(01)
[3]基于sentence2vec与半监督算法的中文问答提问模式抽取[J]. 张金壬,章韵,王宇. 计算机应用研究. 2019(07)
[4]基于医疗卫生文本语义依存树库建设研究[J]. 于清,陈亚波,徐健,常乐,侯云霞. 新疆师范大学学报(自然科学版). 2018(01)
[5]基于改进的Jaccard系数文档相似度计算方法[J]. 俞婷婷,徐彭娜,江育娥,林劼. 计算机系统应用. 2017(12)
[6]基于知网与词林的词语语义相似度计算[J]. 朱新华,马润聪,孙柳,陈宏朝. 中文信息学报. 2016(04)
[7]基于知网义原词向量表示的无监督词义消歧方法[J]. 唐共波,于东,荀恩东. 中文信息学报. 2015(06)
[8]基于知网语义相似度的中文文本分类研究[J]. 刘怀亮,杜坤,秦春秀. 现代图书情报技术. 2015(02)
[9]基于《知网》的词语语义相似度改进算法研究[J]. 张沪寅,刘道波,温春艳. 计算机工程. 2015(02)
[10]基于LDA主题模型的文本相似度计算[J]. 王振振,何明,杜永萍. 计算机科学. 2013(12)
博士论文
[1]中文词法句法语义联合分析模型研究[D]. 张梅山.哈尔滨工业大学 2014
硕士论文
[1]文本相似度算法在自动评分系统中的应用研究[D]. 欧阳经纶.湘潭大学 2017
[2]基于语义依存树的主观题自动评分算法研究[D]. 段威.湘潭大学 2016
[3]中文短文本主题分类方法研究[D]. 李洪图.西北大学 2014
[4]基于HNC理论的文本语义相似度计算与应用[D]. 吴佐衍.大连理工大学 2014
[5]基于关系向量模型的句子相似度计算及自动文摘研究[D]. 殷耀明.厦门大学 2014
[6]文本情感分析在产品评论中的应用研究[D]. 魏慧玲.北京交通大学 2014
[7]基于模糊理论的在线智能阅卷系统的研究与应用[D]. 张翠萍.石家庄铁道大学 2013
[8]基于汉语依存句法分析的主观题自动评分研究[D]. 赵白玉.湖南大学 2012
[9]基于领域本体和句框架的主观题自动阅卷算法研究[D]. 苏方方.广西师范大学 2012
[10]基于中文的主观试题自动批改技术的研究与系统实现[D]. 王亮.电子科技大学 2012
本文编号：3476295
【文章来源】：湘潭大学湖南省
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
基于规则的自然语言处理基于规则的自然语言处理方法能从认知科学和语言学的角度解释该方法的
图 2.1 基于规则的自然语言处理基于规则的自然语言处理方法能从认知科学和语言学的角度解释该方法的合理性，但从实际情况说，由于语言的歧义和指代等特性，而且随着社会文化的演进和改变会用俚语和网络用语的出现，这使得计算机无法穷尽所有语言规则。因此基于语言规则的自然语言处理方法的精度无法大幅度提升。（2）基于统计的自然语言处理方法：该方法是基于贝叶斯方法和香侬噪声管道模型所提出的的方法。使用该方法前需要建立一个大规模完备的语料库，通过统计学原理统计分析语料库，计算出每一句话出现的频率，通过计算机程序找到对应环境中出现概率最大的语句，以达到使计算机理解自然语言的效果。
图 2.3 规则和统计结合的自然语言处理2.2《知网》语言知识库2.2.1《知网》简介《知网》（Hownet）是董振东先生等在 1988 年建立的一个语言知识库，该
【参考文献】：
期刊论文
[1]基于相似度融合算法的主观题自动阅卷机制[J]. 李纪扣,韩建宇,王嫄. 天津科技大学学报. 2019(01)
[2]文本相似度计算研究进展综述[J]. 王寒茹,张仰森. 北京信息科技大学学报(自然科学版). 2019(01)
[3]基于sentence2vec与半监督算法的中文问答提问模式抽取[J]. 张金壬,章韵,王宇. 计算机应用研究. 2019(07)
[4]基于医疗卫生文本语义依存树库建设研究[J]. 于清,陈亚波,徐健,常乐,侯云霞. 新疆师范大学学报(自然科学版). 2018(01)
[5]基于改进的Jaccard系数文档相似度计算方法[J]. 俞婷婷,徐彭娜,江育娥,林劼. 计算机系统应用. 2017(12)
[6]基于知网与词林的词语语义相似度计算[J]. 朱新华,马润聪,孙柳,陈宏朝. 中文信息学报. 2016(04)
[7]基于知网义原词向量表示的无监督词义消歧方法[J]. 唐共波,于东,荀恩东. 中文信息学报. 2015(06)
[8]基于知网语义相似度的中文文本分类研究[J]. 刘怀亮,杜坤,秦春秀. 现代图书情报技术. 2015(02)
[9]基于《知网》的词语语义相似度改进算法研究[J]. 张沪寅,刘道波,温春艳. 计算机工程. 2015(02)
[10]基于LDA主题模型的文本相似度计算[J]. 王振振,何明,杜永萍. 计算机科学. 2013(12)
博士论文
[1]中文词法句法语义联合分析模型研究[D]. 张梅山.哈尔滨工业大学 2014
硕士论文
[1]文本相似度算法在自动评分系统中的应用研究[D]. 欧阳经纶.湘潭大学 2017
[2]基于语义依存树的主观题自动评分算法研究[D]. 段威.湘潭大学 2016
[3]中文短文本主题分类方法研究[D]. 李洪图.西北大学 2014
[4]基于HNC理论的文本语义相似度计算与应用[D]. 吴佐衍.大连理工大学 2014
[5]基于关系向量模型的句子相似度计算及自动文摘研究[D]. 殷耀明.厦门大学 2014
[6]文本情感分析在产品评论中的应用研究[D]. 魏慧玲.北京交通大学 2014
[7]基于模糊理论的在线智能阅卷系统的研究与应用[D]. 张翠萍.石家庄铁道大学 2013
[8]基于汉语依存句法分析的主观题自动评分研究[D]. 赵白玉.湖南大学 2012
[9]基于领域本体和句框架的主观题自动阅卷算法研究[D]. 苏方方.广西师范大学 2012
[10]基于中文的主观试题自动批改技术的研究与系统实现[D]. 王亮.电子科技大学 2012
本文编号：3476295
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3476295.html
