基于多文本特征融合的中文微博的立场检测

发布时间：2019-08-07 15:23

【摘要】：微博立场检测是判断微博作者对某一个话题的态度是支持、反对或中立。在基于监督学习的分类框架上,扩展并提出基于多文本特征融合的中文微博的立场检测方法。首先探究了基于词频统计的特征(词袋特征(Bag-ofWords,Bo W)、基于同义词典的词袋特征、考虑词与立场标签共现关系的特征)和文本深度特征(词向量、字向量)。之后使用支持向量机,随机森林和梯度提升决策树对上述特征进行立场分类。最后,结合所有特征分类器进行后期融合。实验表明,文中提出的特征对于不同话题下的微博立场检测的结果都有提升,且文本深度特征和基于词频统计的特征能够捕捉到文本的不同信息,在立场检测中是互补的。基于本文方法的微博立场检测系统在2016年自然语言处理与中文计算会议(NLPCC2016)的中文微博立场检测评测任务中取得了最好的结果。
【图文】：

基于多文本特征融合的中文微博的立场检测,奠雨洁;金琴;吴慧敏;《计算机工程与应用》;2017年21期

2017，53（21）取了字向量特征。基于上述特征，使用随机森林、SVM和GBDT进行立场分类并使用特征分类器的后期融合来预测最终立常3系统说明如图1所示，本文提出的基于监督学习的立场检测方法，共分为4个阶段：数据预处理、特征抽娶立场分类和后期融合。3.1数据预处理数据预处理包括清洗语料、汉字简繁体转化、分词和去除停用词。在原始的微博中有很多新闻标题，表情符号和URL链接，这些信息会增加微博正文的噪音，因此，在语料清洗阶段，使用正则表达式去除这些信息。例如：原始微博：【禁摩限电：国家权力“内卷化”之弊-FT中文网】从3月21日开始，深圳交警实施“禁摩限电”专项集中整治活动，在街头巷尾对摩的、电动车围追堵截。根据其发布的消息，截止3月3……（分享自@FT中文网）http：//t.cn/Rq4oQ6N清洗后微博：从3月21日开始，深圳交警实施“禁摩限电”专项集中整治活动，在街头巷尾对摩的、电动车围追堵截。根据其发布的消息，截止3月3……如果一条微博在清洗过后不包含任何内容，那么认为这条微博是没有立场的。语料清洗过程中去除的文本和对应的示例如表1所示。语料清洗结束后，使用开源工具zhtools（https：//github.com/skydark/nstools/blob/master/zhtools/）进行汉字简繁体转换，再使用结巴（jieba）（https：//github.com/fxsjy/jieba）对微博进行分词。3.2特征抽取基于有监督的机器学习的方法，通过选取大量有意义的特征来完成分类任务。在文本分类中，，通常选取的特征是基于词频的特征，例如n-gram等。本文抽取了两类特征：基于词频统计的特征和文本深度特征。基于词频统计的特征包括：基于Unigram的词袋特征、基于同义词典的词袋特征、基于主题词和立场类别标签共现关系的特征。文本深度特征是来自word
【作者单位】：中国人民大学信息学院;
【基金】：国家重点研发计划项目(No.2016YFB1001202)
【分类号】：TP391.1

【相似文献】