基于机器学习的中文文本分类算法的研究与实现

发布时间：2020-05-23 01:49

【摘要】：随着大数据时代的快速发展,文本信息数据量急剧增加,为了获取有价值的信息,提升信息获取效率,就需对这些文本信息进行分类。因此,文本分类系统的研究与实现具有重要意义。新闻文本是文本信息的一个重要组成部分,也是人们获取信息的重要方式。本文以新闻文本分类为依托,对当下文本分类算法进行改进,以新闻文本分类系统为实例对文本分类系统的设计与实现进行说明,完成文本分类算法的研究工作。本文以大数据时代背景及分类技术的发展为背景,对贝叶斯分类算法以及卷积神经网络分类算法进行了改进,以提升分类的准确度,主要工作内容有以下几个方面:第一,本文针对不同种类的文本分类方法做了调研,通过阅读文献资料,了解了文本分类的发展历史,分析了贝叶斯、KNN、SVM、决策树、Fasttext及CNN等各分类算法的利与弊;第二,对朴素贝叶斯分类算法进行了改进,提出了一种结合特征词分布情况的k-Bayes分类算法,增加了意义突出的特征词的权重,提升文本分类效率;第三,对卷积神经网络分类算法进行了改进,加入了注意力层的特征提取操作,形成基于注意力层的卷积神将网络,重新分配特征词权重值,将特征词进行进一步提炼,符合人们对于分类的理解——专注于有意义的某些词语,这对提升文本分类的准确度有较好的效果;第四,本文以新闻文本分类系统为例说明了文本分类系统的设计与实现。系统可以为用户展示直观的分类结果。分类算法的改进都是从精炼特征词的角度出发,通过实验验证,本文的分类算法确实提升了分类的准确率。
【图文】：

示意图,基本结构,示意图,分类结果

（Ｃｏｎｖｏｌｕｔｉｏｎａｌ邋Ｌａｙｅｒ）、池化层（Ｐｏｏｌｉｎｇ邋Ｌａｙｅｒ）和全连接层（Ｃｏｎｎｅｃｔｉｏｎ邋Ｌａｙｅｒ）。输逡逑入层接收数据，卷积层和池化层主要负责复杂的特征提取工作，，全连接层负责进逡逑行文本分类操作，然后输出层展示分类结果。基本结构如图２－５所示：逡逑ｉ逦ｎ＝Ｌ，邋！逦｜逦；逡逑；逦，邋ｒｐ．，逦？逦；邋逦邋：逡逑；Ｃｏｎｖｏｌｕｔｉｏｎａｌ邋ｒｈ逦［邋Ｍａｘ－Ｐｏｏｌｉｎｇ］Ｐｏｏｌｉｎｇ邋ｌａｙｅｒ邋：逡逑．邋ｌａｙｅｒ逦—逦＿逦—逦．逦；邋Ｉ逦１逦：逡逑二二亚：二：逡逑￣Ｊ邋：逦；逦Ｃｏｎｎｅｃｔｉｏｎ邋？逡逑；逦逦；逦丨丨邋ｓｏｆｔ￣ｍａＫ邋—邋ｊ逡逑■邋Ｉｎｐｕｔ邋ｌａｙｅｒ逦－ｋ＇逦逦逦逦逦逦＾逦？逡逑！邋逦；逡逑逦—１－逦１逦１邋ｉ邋ｊ邋？逦Ｒｅｓｕｌｔ逡逑ｉ逦１逦：逦逦逦逦逡逑１？邋合逡逑Ｄａｔａ邋Ｓｏｕｒｃｅ逡逑图２－５邋ＣＮＮ基本结构示意图逡逑２．３分类算法评价方法逡逑利用分类算法得到分类结果后，需要对结果进行评估，再对分类算法的设计逡逑进行评价，文本自动化分类的目的就是希望快速高效地得到较为正确的分类结果。逡逑常见的分类算法评价方法｜５７］有个方面：准确率、召回率以及？！值。根据分类预逡逑测可能发生的情况，设ＴＰ代表实际为正类且预测也为正类的文档数目，ＦＮ代逡逑表实际为正类而预测为反类的文档数目，ＦＰ代表实际为反类而预测为正类的文逡逑档数目

基于机器学习的中文文本分类算法的研究与实现

计脚
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP181

【相似文献】