基于概率语义分布的短文本分类

发布时间：2017-10-20 10:39

  本文关键词：基于概率语义分布的短文本分类

  更多相关文章： 短文本分类 词矢量 语义分布 高斯混合模型

【摘要】：在短文本分类中,面对特征稀疏的短文本,如何充分利用文本中的每一个词语成为关键.本文提出概率语义分布模型的思想,首先通过查询词矢量词典,将文本转换为词矢量数据;其次,在概率语义分布模型的假设下利用混合高斯模型对无标注的文本数据进行通用背景语义模型训练;利用训练数据对通用模型进行自适应得到各个领域的目标领域语义分布模型;最后,在测试过程中,计算短文本属于领域模型的概率,得到最终的分类结果.实验结果表明,本文提出的方法能够从一定程度上利用短文本所提供的信息,有效降低了对训练数据的依赖性,相比于支持向量机(Support vector machine,SVM)和最大熵分类方法性能相对提高了17.7%.
【作者单位】： 中国科学院声学研究所语言声学与内容理解重点实验室;新疆民族语音语言信息处理实验室;
【关键词】： 短文本分类 词矢量 语义分布 高斯混合模型
【基金】：国家高技术研究发展计划(863计划)(2015AA016306) 国家重点基础研究发展计划(973计划)(2013CB329302) 国家自然科学基金(11461141004,61271426,11504406,11590770,11590771,11590772,11590773,11590774) 中国科学院战略性先导科技专项(XDA06030100,XDA06030500,XDA06040603) 新疆维吾尔自治区科技重大专项(201230118-3)资助~~
【分类号】：TP391.1
【正文快照】： 近年来,随着社交网络和电子商务的飞速发展, 微博、Twitter、即时信息、商品评价等短文本形式的文字充斥着互联网.这些短文本包含了用户的潜在需求、兴趣点、意图倾向等,如何能够从这些短文本中获取信息从而更好地为用户提供服务成为关键.然而,这些短文本通常都有长度限制,如

【相似文献】

中国期刊全文数据库 前10条

1 李盛瑜;何文;;一种对聊天文本进行特征选取的方法研究[J];计算机科学;2007年05期

2 蒋志方;祝翠玲;吴强;;一个对不带类别标记文本进行分类的方法[J];计算机工程;2007年12期

3 赵钢;;从复杂文本中导入数据的方法[J];中国审计;2007年18期

4 易树鸿;张为群;;一种基于粗集的文本数据特征信息的挖掘方法[J];计算机科学;2002年08期

5 李建中,杨艳,张艳秋;并行文本管理原型系统PDoc的功能与总体框架[J];哈尔滨工业大学学报;2004年09期

6 覃晓;元昌安;彭昱忠;丁超;;基于基因表达式编程的Web文本分类研究[J];网络安全技术与应用;2009年03期

7 谌志群;;文本趋势挖掘综述[J];情报科学;2010年02期

8 王亚民;刘洋;;含附件文本的分类算法研究[J];情报杂志;2012年08期

9 江伟;潘昊;;基于优化的多核学习方法的Web文本分类的研究[J];计算机技术与发展;2013年10期

10 陈福海;C++中用>>和<<重载实现文本文件的方便存取[J];现代计算机;1997年05期

中国重要会议论文全文数据库 前10条

1 许君;王朝坤;刘立超;王建民;刘璋;;云环境中的近似复制文本检测[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 易天元;叶春生;;工业锅炉图纸输入的文本数据处理[A];1997中国控制与决策学术年会论文集[C];1997年

3 胡蓉;唐常杰;陈敏敏;栾江;;关联规则制导的遗传算法在文本分类中的应用[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

4 李文波;孙乐;黄瑞红;冯元勇;张大鲲;;基于Labeled-LDA模型的文本分类新算法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

5 黄云平;孙乐;李文波;;基于上下文图模型文本表示的文本分类研究[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

6 蒋勇;陈晓静;;一种多方向手写文本行提取方法[A];第二十七届中国控制会议论文集[C];2008年

7 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

8 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

10 侯松;周斌;贾焰;;分词结果的再搭配对文本分类效果的增强[A];全国计算机安全学术交流会论文集（第二十四卷）[C];2009年

中国重要报纸全文数据库 前1条

1 戴洪玲;向Excel中快速输入相同文本[N];中国电脑教育报;2004年

中国博士学位论文全文数据库 前10条

1 宋歌;基于聚类森林的文本流分类方法研究[D];哈尔滨工业大学;2014年

2 韩开旭;基于支持向量机的文本情感分析研究[D];东北石油大学;2014年

3 郑立洲;短文本信息抽取若干技术研究[D];中国科学技术大学;2016年

4 韩磊;汉语句义结构模型分析及其文本表示方法研究[D];北京理工大学;2016年

5 胡明涵;面向领域的文本分类与挖掘关键技术研究[D];东北大学　;2009年

6 孙晓华;基于聚类的文本机会发现关键问题研究[D];哈尔滨工程大学;2010年

7 尚文倩;文本分类及其相关技术研究[D];北京交通大学;2007年

8 霍跃红;典籍英译译者文体分析与文本的译者识别[D];大连理工大学;2010年

9 熊云波;文本信息处理的若干关键技术研究[D];复旦大学;2006年

10 李自强;大规模文本分类的若干问题研究[D];电子科技大学;2013年

中国硕士学位论文全文数据库 前10条

1 金传鑫;气象文本分类特征选择方法及其在MapReduce上的实现[D];南京信息工程大学;2015年

2 李少卿;不良文本及其变体信息的检测过滤技术研究[D];复旦大学;2014年

3 杨名阳;基于空间文本数据的k近邻连接研究[D];上海交通大学;2015年

4 李天彩;短文本信息流的会话抽取与分析技术研究[D];解放军信息工程大学;2015年

5 陈亮宇;面向微博文本的事件抽取[D];东南大学;2015年

6 许慧芳;基于全覆盖粒计算模型的文本表示和特征提取研究[D];太原理工大学;2016年

7 王炜;面向网络舆情的文本语义倾向性分类算法研究[D];河北工程大学;2016年

8 任倚天;基于支持向量机的海量文本分类并行化技术研究[D];北京理工大学;2016年

9 光顺利;基于Spark的文本分类的研究[D];长春工业大学;2016年

10 张高祥;基于SVM的文本信息过滤算法研究[D];吉林大学;2016年

，

本文编号：1066845