基于改进的TF-IDF权重的短文本分类算法

发布时间：2017-08-21 14:08

  本文关键词：基于改进的TF-IDF权重的短文本分类算法

  更多相关文章： 短文本 TF-IDF权重 特征扩展

【摘要】：短文本具有特征稀疏的特点,如采用TF-IDF权重和算法来选择短文本特征,很多具有专业领域信息特征而训练集中未出现过的特征将被忽略,从而导致待分类文本集的权值分布比较集中,区分度小,最终影响短文本信息推送。因此,一种基于改进的TF-IDF权重的短文本分类算法被提出。该算法通过同义词对分类器的关键词库进行扩展和基于特征长度对短文本权值进行加权,使得文本集的权值方差增大。与直接对短文本进行扩展的算法相比,该算法具有更快的分类速度。
【作者单位】： 重庆大学通信工程学院;重庆阿尔法碳索科技有限公司;
【关键词】： 短文本 TF-IDF权重 特征扩展
【基金】：国家自然科学基金青年基金资助项目(41404027)
【分类号】：TP391.1
【正文快照】： 引用格式:杨彬,韩庆文,雷敏,等.基于改进的TF-IDF权重的短文本分类算法[J].重庆理工大学学报(自然科学),2016(12):108-113.Citation format:YANG Bin,HAN Qing-wen,LEI Min,et al.Short Text Classification Algorithm Based on Improved TF-IDFWeight[J].Journal of Chongqin

【相似文献】

中国期刊全文数据库 前10条

1 李盛瑜;何文;;一种对聊天文本进行特征选取的方法研究[J];计算机科学;2007年05期

2 蒋志方;祝翠玲;吴强;;一个对不带类别标记文本进行分类的方法[J];计算机工程;2007年12期

3 赵钢;;从复杂文本中导入数据的方法[J];中国审计;2007年18期

4 易树鸿;张为群;;一种基于粗集的文本数据特征信息的挖掘方法[J];计算机科学;2002年08期

5 李建中,杨艳,张艳秋;并行文本管理原型系统PDoc的功能与总体框架[J];哈尔滨工业大学学报;2004年09期

6 覃晓;元昌安;彭昱忠;丁超;;基于基因表达式编程的Web文本分类研究[J];网络安全技术与应用;2009年03期

7 谌志群;;文本趋势挖掘综述[J];情报科学;2010年02期

8 王亚民;刘洋;;含附件文本的分类算法研究[J];情报杂志;2012年08期

9 江伟;潘昊;;基于优化的多核学习方法的Web文本分类的研究[J];计算机技术与发展;2013年10期

10 陈福海;C++中用>>和<<重载实现文本文件的方便存取[J];现代计算机;1997年05期

中国重要会议论文全文数据库 前10条

1 许君;王朝坤;刘立超;王建民;刘璋;;云环境中的近似复制文本检测[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 易天元;叶春生;;工业锅炉图纸输入的文本数据处理[A];1997中国控制与决策学术年会论文集[C];1997年

3 胡蓉;唐常杰;陈敏敏;栾江;;关联规则制导的遗传算法在文本分类中的应用[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

4 李文波;孙乐;黄瑞红;冯元勇;张大鲲;;基于Labeled-LDA模型的文本分类新算法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

5 黄云平;孙乐;李文波;;基于上下文图模型文本表示的文本分类研究[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

6 蒋勇;陈晓静;;一种多方向手写文本行提取方法[A];第二十七届中国控制会议论文集[C];2008年

7 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

8 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

10 侯松;周斌;贾焰;;分词结果的再搭配对文本分类效果的增强[A];全国计算机安全学术交流会论文集（第二十四卷）[C];2009年

中国重要报纸全文数据库 前1条

1 戴洪玲;向Excel中快速输入相同文本[N];中国电脑教育报;2004年

中国博士学位论文全文数据库 前10条

1 宋歌;基于聚类森林的文本流分类方法研究[D];哈尔滨工业大学;2014年

2 韩开旭;基于支持向量机的文本情感分析研究[D];东北石油大学;2014年

3 郑立洲;短文本信息抽取若干技术研究[D];中国科学技术大学;2016年

4 韩磊;汉语句义结构模型分析及其文本表示方法研究[D];北京理工大学;2016年

5 张博宇;基于局部特征的场景文本分析方法研究[D];哈尔滨工业大学;2015年

6 胡明涵;面向领域的文本分类与挖掘关键技术研究[D];东北大学　;2009年

7 孙晓华;基于聚类的文本机会发现关键问题研究[D];哈尔滨工程大学;2010年

8 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年

9 霍跃红;典籍英译译者文体分析与文本的译者识别[D];大连理工大学;2010年

10 熊云波;文本信息处理的若干关键技术研究[D];复旦大学;2006年

中国硕士学位论文全文数据库 前10条

1 金传鑫;气象文本分类特征选择方法及其在MapReduce上的实现[D];南京信息工程大学;2015年

2 李少卿;不良文本及其变体信息的检测过滤技术研究[D];复旦大学;2014年

3 杨名阳;基于空间文本数据的k近邻连接研究[D];上海交通大学;2015年

4 李天彩;短文本信息流的会话抽取与分析技术研究[D];解放军信息工程大学;2015年

5 陈亮宇;面向微博文本的事件抽取[D];东南大学;2015年

6 许慧芳;基于全覆盖粒计算模型的文本表示和特征提取研究[D];太原理工大学;2016年

7 王炜;面向网络舆情的文本语义倾向性分类算法研究[D];河北工程大学;2016年

8 任倚天;基于支持向量机的海量文本分类并行化技术研究[D];北京理工大学;2016年

9 光顺利;基于Spark的文本分类的研究[D];长春工业大学;2016年

10 张高祥;基于SVM的文本信息过滤算法研究[D];吉林大学;2016年

，

本文编号：713316