一种面向文本分类的特征向量优化方法

发布时间：2018-01-21 07:31

  本文关键词： 机器学习 Mahout 特征向量 向量优化 文本分类　出处：《计算机应用研究》2017年08期 　论文类型：期刊论文

【摘要】：对文本进行建模的普遍方法是使用向量空间模型构建文本向量,并利用权值调整和维度调整对文本向量进行优化。提出了一种面向文本分类的特征向量优化方法。首先利用剔除近义词方法优化文本向量中的特征项;然后提出贡献率因子的概念,并利用其优化特征值。实验表明,相比朴素贝叶斯分类方法其效果提高了0.96%。因此,通过去除近义词和对提取出的特征词调整权重,可以达到优化特征向量、提高文本分类效果的目的。
[Abstract]:A common approach to text modeling is to construct text vectors using vector space models. The text vector is optimized by weight adjustment and dimension adjustment. A feature vector optimization method for text classification is proposed. Firstly, the feature items in the text vector are optimized by eliminating the near synonyms. Then we put forward the concept of contribution factor and use it to optimize the eigenvalue. Experiments show that compared with naive Bayes classification method, its effect is improved by 0.96. By removing the synonyms and adjusting the weight of the extracted feature words, the feature vector can be optimized and the text classification effect can be improved.
【作者单位】： 北京信息科技大学智能信息处理研究所;
【基金】：国家自然科学基金资助项目(61370139) 北京市教委科研计划面上项目(KM201411232014) 北京市属高等学校创新团队建设与教师职业发展计划项目(IDHT20130519) 北京信息科技大学促进高校内涵发展专项项目(5111623403)
【分类号】：TP181;TP391.1
【正文快照】： 文本分类作为数据挖掘的一项研究内容,要从文本中获取有价值的信息来处理,其任务是把文本划分到与它最相似的一类。文本分类,早期使用的是词匹配法、知识工程等方法,这些方法存在用时长、效率低的缺点。但随着互联网海量文本的出现,统计和机器学习方法开始适用于这一领域,并逐

【相似文献】

相关期刊论文 前10条

1 许锡春,胡运发,施伯乐;特征向量的获取[J];计算机应用;2000年09期

2 葛新;赵海;张昕;李超;;基于多维特征向量的网络社团划分方法[J];东北大学学报(自然科学版);2008年07期

3 高灵霞;李国敏;孙凤兰;;方阵广义特征向量的一种相似迭代算法[J];计算机应用与软件;2014年02期

4 夏慧明;周永权;;求解矩阵特征值及特征向量的新方法[J];计算机工程;2008年11期

5 邓广宏;曹万华;夏奕;蔡斌;池志强;程雄;;基于特征向量的基本口型分类[J];计算机应用与软件;2010年10期

6 刘青光,邹理和;信号特征向量分解与到达波方向估计[J];电子学报;1993年01期

7 张霖;吴麒;;设计鲁棒控制器的主导特征向量配正方法[J];自动化学报;1991年01期

8 邓晓刚;田学民;;基于特征向量提取的核回归建模方法研究[J];控制工程;2010年04期

9 李博涛;王之琪;王秀彩;;分支界定法在特征向量提取中的应用[J];山西电子技术;2011年02期

10 刘俊;黄秀玲;张智光;;基于产品特征向量的产品配置研究[J];制造业自动化;2008年12期

相关会议论文 前5条

1 陈力奋;宋汉文;王文亮;;确定退化模态可导特征向量转换矩阵的一种新方法[A];振动工程学报（工程应用专辑）[C];2001年

2 戴琨;汪小帆;;根据特征向量判据优化网络的同步能力[A];第四届全国网络科学学术论坛暨研究生暑期学校论文集[C];2008年

3 刘增武;蔡悦斌;;基于K-L变换的船舶噪声特征向量的降维处理[A];中国声学学会1999年青年学术会议[CYCA'99]论文集[C];1999年

4 张新培;曹策慧;;随机结构特征值和特征向量统计特性的研究[A];第五届全国结构工程学术会议论文集（第二卷）[C];1996年

5 曹玉娟;牛振东;彭学平;江鹏;;一个基于特征向量的近似网页去重算法[A];中国索引学会第三次全国会员代表大会暨学术论坛论文集[C];2008年

相关博士学位论文 前2条

1 龚世才;图的特征向量的组合结构[D];安徽大学;2010年

2 陈晓s，

本文编号：1450863