基于泛化信息和记忆信息的短文本分类研究

发布时间：2020-07-19 22:19

【摘要】：随着互联网的普及以及其硬件水平的快速更新,短文本的数量呈现爆炸式增长的趋势,这种趋势在用户量巨大的社交网络平台上尤为明显,例如Twitter、Facebook、微博等。这些社交软件的用户规模已经达到数十亿,尤其是活跃用户的日常评论导致了短文本的规模不断猛增。因此,迫切需要自动语言理解技术来处理和分析这些文本。在这些技术中,文本分类被证明是一种基本的,关键的,在各种场景中都很有用的自然语言处理任务方法,但是在字符个数较少的短文本中如何充分的利用其信息方法将在很大程度上影响短文本分类的准确度。目前,短文本分类的主流方法包括传统机器学习文本分类方法和深度学习文本分类方法这俩种,传统的机器学习方法中存在着文本表示高纬稀疏、特征工程复杂和分类器选择的问题,这导致了短文本分的效果不理想。虽然深度学习方法在一定程度上解决了上述的这三个问题,但是其对文本局部相关性的信息利用也并不充分。基于上述的问题和需求,本文利用记忆信息的记录已知信息的相关性和共现性的优点以及泛化信息低纬稠密和可表现未知新特征的优点,提出了基于泛化信息和记忆信息的短文本分类技术。通过在深度学习CNN模型上集成泛化信息和记忆信息提出了GM-CNN模型,GM-CNN较充分的利用文本信息,实验中的结果也好于现有的一些基准模型。在提出了GM-CNN模型后,接着研究了GM-CNN模型中尚待优化的一些问题。基于这些问题,利用批正则技术和一维分段最大化池化技术进行了改进,提出了IGM-CNN模型。实验结果表明IGM-CNN比GM-CNN模型取得了更好的分类效果。同时也对分段最大化池化的段数大小进行了实验,使得可以在保持模型较好分类效果的前提下最大程度的降低模型的参数数量和模型的复杂度。
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP18
【图文】：

位硕士研究生学位论文 第二边的 n 表示从t n 1w 到tw 的 n 个单词的序列，即为 个长必须满足如下（2.5）和（2.6）的约束。0121 f(w,w,...,w,w)tttntn Viittntnf(V,w,...,w,w)11211 表示单词 出现的概率需大于 0，公式（2.6）中的iV 表所有单词出现的概率和为 1 的约束。直观的模型结构如

图 2.2 CBOW 和 Skip-gram 模型结构BOW 和 Skip-gram 模型的目标分别是下式（2.11）和（2.12）的进行最大化的对数似 wCL log pw|Contextw（2.1 wCL log pContext(w)|w（2.12.11）和（2.12）的 C 为语料集， w 为要预测的词， Co n t e x wt 为 的上下文 Co n t exwt为条件概率。为了使得训练变得更加快速以及省时，Word2vec 做了如下 下面进行简单的介绍。）层次 Softmax(Hierarchical Softmax)。次 Softmax 最早是在 2005 年由 Morin[30]引入到语言模型中，其思想是基于二叉树让杂的归 化概率分解为条件概率的形式，来解决语料中有V 个词（ 很大）而不能ftmax 归 化的问题。

朴素贝叶斯算法分类的三个阶段1）准备工作阶段

【相似文献】

中国期刊全文数据库 前10条

1 崔帅;张庆林;代天恩;李文福;;记忆信息错误重组中熟悉性加工和回忆提取[J];宁波大学学报(教育科学版);2011年01期

2 席永涛;Delphi妙用INI文件记忆信息[J];电脑知识与技术;2003年23期

3 莫毅易;记忆信息流与回忆信息流[J];情报杂志;2002年12期

4 李豫颖;范成贤;史开泉;;混合记忆信息与记忆信息筛选[J];系统工程与电子技术;2011年08期

5 胡志安;罗芬兰;;2019年觉醒睡眠研究:突破与展望[J];第三军医大学学报;2020年04期

6 赵中源;对记忆信息输入规律的探索[J];绥化师专学报;2004年01期

7 周群芳;;高校记忆信息平台建设理论与实践[J];浙江工业大学学报(社会科学版);2015年02期

8 王金山;;别让“记忆信息综合征”套牢[J];科学养生;2010年02期

9 周群芳;傅东升;汪俊东;;论高校记忆工程框架下记忆信息资源建设路径[J];兰台世界;2017年12期

10 梁少帅;邱涤珊;谈群;;基于先验知识与记忆信息的航迹关联聚类算法[J];计算机应用;2011年S2期

中国重要会议论文全文数据库 前6条

1 洪昆辉;;论人脑长时记忆的动态变化及数学表达[A];中国思维科学研究论文选2011年专辑[C];2012年

2 陈琳;莫雷;;关于FOK在自然类别检索中作用的实验研究[A];第十届全国心理学学术大会论文摘要集[C];2005年

3 孙俊才;高增明;;情绪赋值信息的定向遗忘效果[A];第十五届全国心理学学术会议论文摘要集[C];2012年

4 洪昆辉;;论心理信息存贮的时间相关性原理及记忆的单位化模型[A];中国思维科学研究论文选2011年专辑[C];2012年

5 张琳;;情绪和呈现时间对记忆源检测图片偏向的影响[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年

6 罗良;林崇德;;空间工作记忆信息保持中的随意注意和反射性注意:一项ERP研究[A];第十二届全国心理学学术大会论文摘要集[C];2009年

中国重要报纸全文数据库 前7条

1 记者 王艳红;象棋大师与新手用脑不同[N];新华每日电讯;2001年

2 王心见;加实现细胞与芯片间信息交流[N];科技日报;2004年

3 河南省永城市条河乡罗双楼小学 高永华;谈下对小学生“善于遗忘”问题应如何处理[N];学知报;2011年

4 本报实习生 陈慧稚;手机,让我们精疲力竭[N];文汇报;2010年

5 记者 秦勉;打造“阿凡达”：灵魂不灭的美梦[N];北京科技报;2012年

6 朱莉琪 中国科学院心理研究所博士生导师;国内第一部有意遗忘研究的专著[N];中华读书报;2013年

7 中国人民大学信息资源管理学院教授、人文北京研究中心主任、电子文件管理研究中心主任 冯惠玲;数字时代的记忆风景[N];中国档案报;2015年

中国硕士学位论文全文数据库 前1条

1 张帅;基于泛化信息和记忆信息的短文本分类研究[D];南京邮电大学;2019年

本文编号：2763045