基于语义扩散核与支持向量机的半监督农业文本分类研究

发布时间：2020-04-30 00:05

【摘要】：随着信息技术应用水平的不断提高、互联网相关产业的迅猛发展和国家对农业的大力支持,信息技术在农业农村中的应用也在不断发展、不断推广和不断深入。如何利用机器学习自动从海量的农业文本数据信息中迅速、准确地提取有价值的知识成为人们研究的重要课题。自动文本分类是数据挖掘领域研究的热点,是机器学习中处理文本信息的关键技术。本文在传统的文本分类模型基础上,提出了一种基于特征族群语义扩散核与支持向量机的半监督农业中文文本分类方法,实验表明本文所提出的方法比经典的支持向量机方法具有更高的分类准确率。为更好进行实验工作,设计了一个基于语义扩散核与支持向量机的半监督中文文本分类JAVA EE软件实验平台,详细介绍了该平台的原理、功能、优势。具体地,本文的主要工作有:(1)提出了一种基于特征族群语义扩散核与支持向量机的半监督农业中文文本分类方法,该方法主要涉及如下几个步骤:(1)数据获取及数据预处理。利用系统中爬虫程序从中国农业新闻网、中国水产网和农林网上获得相关栏目下的文档作为农业信息数据集,然后利用基于中科院的ICTCLAS中文分词算法的Ansj中文分词系统对数据集进行分词处理。(2)特征选择。利用停用词表剔除停用词,计算每个词的词频、反向词频、TF-IDF和卡方值。实验表明,随着特征项数量的增加,分类准确率会随之提升,最终逼近一个极限值。本文选择卡方统计量最高的1000个词作为特征。(3)信息向量化。这里使用向量空间模型(Vector space model,VSM)实现文本信息向量化。(4)农业文本信息分类。基于生成的向量文件,分别使用本文所提出的分类方法与经典的基于支持向量机的农业文本分类方法实现农业信息分类,并对实验结果进行了分析。(2)设计了一种可适用于小型网站的基于语义扩散核与支持向量机的半监督中文文本分类JAVA EE软件实验平台,系统基于Java EE技术和关系型数据库技术,为基于支持向量机的中文文本分类提供开放、灵活、高效、稳健的实验平台。
【图文】：

支持向量机,示例,线性,向量表示

图 1 线性可划分的支持向量机示例性可划分的支持向量机的例子。如图所示，蓝。从图中我们可作无数条分类线将两种类待测试样本的向量表示，w、b 是模型参数，，

分离超平面,示例,分类超平面,中距离

图 2 间隔最大分离超平面示例如图 2， H 是分类超平面，H1 和 H2 是距离H2 与 H 之间的距离就是几何间隔。在 H1、样本点中距离最小的那一点的间隔设定为
【学位授予单位】：赣南师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：S126;TP391.1;TP181

【参考文献】