基于深度学习的微博立场检测方法
发布时间：2021-08-05 13:57
在最近二十年间,世界进入互联网时代,人们的线上社交活动与线下生活文化完全交织在一起,人们接受信息的方式也从被动转换为主动,每个人都成为了信息的挖掘者与传播者,各种社交媒体应运而生。微博作为国内主流网络社交媒体聚积了数亿用户,在上面用户可以对网络上新发布的政策、工业产品、时事热点等发表自己的观点立场,如何在特定目标话题下有效的对用户立场进行判断成为网络舆情分析的重要课题。微博文本具有网络化、噪音多样化、口语化、关系多样化等特点,极大程度上降低了立场检测的准确率。如何结合中文语法特点有效地捕获文本特征,是提升立场检测任务准确率的关键。在对微博文本进行立场检测时,往往根据部分有依赖关系的词语组进行判断。基于卷积神经网络的模型通过单词序列进行卷积操作将多个单词特征感知为连续文本进行表示,但不能够很好利用词间的依赖关系指导立场分类。本文针对中文语言环境及微博文本语言特点,提出了一种基于深度学习的立场检测方法,不仅结合了中文语言特点,还有效的捕获了文本中不同距离词语间的依赖特征。论文的主要工作如下:（1）本文将文本中词语及其之间的依存关系视为图结构数据,提出了一种微博文本图结构构建方法。首先,基于...
【文章来源】：重庆理工大学重庆市
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
人脑机理流程图
2相关工作7表2.1one-hot形式词嵌入表单词one-hot形式嵌入开心[1,0,0,0,0,0,0,0,0,0,……,0,0,0,0,0,0,0,0,0]愉悦[0,1,0,0,0,0,0,0,0,0,……,0,0,0,0,0,0,0,0,0]高兴[0,0,1,0,0,0,0,0,0,0,……,0,0,0,0,0,0,0,0,0]词向量分布式形式最早在1986年被Hinton[29]，这种嵌入方式很好的解决了one-hot形式下的维数灾难，是一种结合词语间的相似关系获得单词稠密向量表示的方法。具体的，分布式词向量表示先自定义向量维度d，取值通常在200~400之间，然后对初始化的词表矩阵（其取值格式为浮点小数）VVKR进行反向传播训练，在特定的训练过程中每个单词的权重表示得以更新。训练出来的单词表均由浮点型小数表示，其蕴含了词义信息。每个词存在于词表库约束的向量空间中，单词可当做空间中的一个点，单词之间语法、语义上的相似性就可表示为空间中两点的余弦距离或欧式距离。2.2.1神经概率语言模型词向量分布式表示模型需要精心设计统筹方法，以解决数据稀疏等相关问题，Bengio等[30]在2003年提出用神经网络来构建语言模型，神经网络通过分析得到一个出现词的条件概率。通过构建神经网络训练语言模型，能够方便得到词向量的分布式表示。词的相似度可以通过词向量的距离来衡量，对于语料库中未见词语序列的概率可以用相似词进行估计，这就避免了数据稀疏的问题。Bengio将用神经网络构建N-Gram模型的任务转换成给定前N-1个词然后预测下一个词的任务，以无监督学习的方式在没有标注的语料上构建语言模型。其结构如图2.2所示：图2.2神经概率语言模型结构
重庆理工大学硕士学位论文8它包括四个网络层：输入（Input）层、投影（Projection）层、隐藏（Hidden）层和输出（Output）层。其中W,U为中间层权重矩阵。p,q为中间层偏置向量。具体的，对于语料库C中任意词汇w，取其前N-1个词对应的词向量wContext)(作为神经网络的输入，一个)),((wwContext为一个训练样本。语言模型可以对随意设定词嵌入维度，避免了维度爆炸问题。投影层向量mX为输入层N-1个词按顺序拼起来的长向量，其规模为(N-1)m。隐藏层实质为一个全连接层，中我们对mX进行计算，计算公式如式2.1所示：ZpWX)tanh(wwqUyZww（2.1）其中激活函数为双曲正切函数，W,U,p,q为模型的训练参数。计算得到的),,,(w21wwNwyyyy进入输出层通过Softmax，则wy的分量wiy表示为当上下文为wContext)(时下个词为语料库C中第i个词的概率。最终目标函数wwContextp))((计算公式如式2.2所示：NiyycwiwcweewContextp1))((（2.2）神经语言概率模型基于相似词语概率及文本间条件概率进行统计计算，解决数据稀疏的问题，并能有效的训练出分布式词向量。2.2.2Word2VecMikolov[31]等结合神经概率语言模型思想，在2013年提出了word2vec词向量训练模型，相比较传统NLP的高维度、特征稀疏等表示特点，Word2Vec训练出的词向量是稠密低维度的。Word2vec利用词的上下文信息调整权重，使词向量自身表达的语义信息更加丰富。Google公司开源推出了此工具包，并被广大研究者运用在情感分析、问答系统、文本翻译等任务网络中的输入层。图2.3CBOW与Skip-gram模型结构
【参考文献】：
期刊论文
[1]基于亮度与色度信息的深度学习图像风格迁移算法研究[J]. 杨慧炯,韩燕丽,郭芸俊. 重庆理工大学学报(自然科学). 2019(07)
[2]基于深度学习的语音识别方法研究[J]. 邵娜,李晓坤,刘磊,陈虹旭,郑永亮,杨磊. 智能计算机与应用. 2019(02)
[3]基于两阶段注意力机制的立场检测方法[J]. 岳天驰,张绍武,杨亮,林鸿飞,于凯. 广西师范大学学报(自然科学版). 2019(01)
[4]基于词向量技术与主题词特征的微博立场检测[J]. 郑海洋,高俊波,邱杰,焦凤. 计算机系统应用. 2018(09)
[5]基于Dopout与ADAM优化器的改进CNN算法[J]. 杨观赐,杨静,李少波,胡建军. 华中科技大学学报(自然科学版). 2018(07)
[6]关于微博评论研究的文献综述[J]. 张正梅,杨娜. 传播力研究. 2018(07)
[7]自然语言处理中的深度学习:方法及应用[J]. 林奕欧,雷航,李晓瑜,吴佳. 电子科技大学学报. 2017(06)
[8]基于多文本特征融合的中文微博的立场检测[J]. 奠雨洁,金琴,吴慧敏. 计算机工程与应用. 2017(21)
[9]中文微博的立场判别研究[J]. 刘勘,田宁梦,王宏宇,林荣蓉,王德民. 知识管理论坛. 2017(03)
[10]深度学习在语音识别中的研究进展综述[J]. 侯一民,周慧琼,王政一. 计算机应用研究. 2017(08)
硕士论文
[1]基于深度学习的漫画风格迁移方法研究[D]. 武筱琪.西安理工大学 2019
本文编号：3323872
【文章来源】：重庆理工大学重庆市
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
人脑机理流程图
2相关工作7表2.1one-hot形式词嵌入表单词one-hot形式嵌入开心[1,0,0,0,0,0,0,0,0,0,……,0,0,0,0,0,0,0,0,0]愉悦[0,1,0,0,0,0,0,0,0,0,……,0,0,0,0,0,0,0,0,0]高兴[0,0,1,0,0,0,0,0,0,0,……,0,0,0,0,0,0,0,0,0]词向量分布式形式最早在1986年被Hinton[29]，这种嵌入方式很好的解决了one-hot形式下的维数灾难，是一种结合词语间的相似关系获得单词稠密向量表示的方法。具体的，分布式词向量表示先自定义向量维度d，取值通常在200~400之间，然后对初始化的词表矩阵（其取值格式为浮点小数）VVKR进行反向传播训练，在特定的训练过程中每个单词的权重表示得以更新。训练出来的单词表均由浮点型小数表示，其蕴含了词义信息。每个词存在于词表库约束的向量空间中，单词可当做空间中的一个点，单词之间语法、语义上的相似性就可表示为空间中两点的余弦距离或欧式距离。2.2.1神经概率语言模型词向量分布式表示模型需要精心设计统筹方法，以解决数据稀疏等相关问题，Bengio等[30]在2003年提出用神经网络来构建语言模型，神经网络通过分析得到一个出现词的条件概率。通过构建神经网络训练语言模型，能够方便得到词向量的分布式表示。词的相似度可以通过词向量的距离来衡量，对于语料库中未见词语序列的概率可以用相似词进行估计，这就避免了数据稀疏的问题。Bengio将用神经网络构建N-Gram模型的任务转换成给定前N-1个词然后预测下一个词的任务，以无监督学习的方式在没有标注的语料上构建语言模型。其结构如图2.2所示：图2.2神经概率语言模型结构
重庆理工大学硕士学位论文8它包括四个网络层：输入（Input）层、投影（Projection）层、隐藏（Hidden）层和输出（Output）层。其中W,U为中间层权重矩阵。p,q为中间层偏置向量。具体的，对于语料库C中任意词汇w，取其前N-1个词对应的词向量wContext)(作为神经网络的输入，一个)),((wwContext为一个训练样本。语言模型可以对随意设定词嵌入维度，避免了维度爆炸问题。投影层向量mX为输入层N-1个词按顺序拼起来的长向量，其规模为(N-1)m。隐藏层实质为一个全连接层，中我们对mX进行计算，计算公式如式2.1所示：ZpWX)tanh(wwqUyZww（2.1）其中激活函数为双曲正切函数，W,U,p,q为模型的训练参数。计算得到的),,,(w21wwNwyyyy进入输出层通过Softmax，则wy的分量wiy表示为当上下文为wContext)(时下个词为语料库C中第i个词的概率。最终目标函数wwContextp))((计算公式如式2.2所示：NiyycwiwcweewContextp1))((（2.2）神经语言概率模型基于相似词语概率及文本间条件概率进行统计计算，解决数据稀疏的问题，并能有效的训练出分布式词向量。2.2.2Word2VecMikolov[31]等结合神经概率语言模型思想，在2013年提出了word2vec词向量训练模型，相比较传统NLP的高维度、特征稀疏等表示特点，Word2Vec训练出的词向量是稠密低维度的。Word2vec利用词的上下文信息调整权重，使词向量自身表达的语义信息更加丰富。Google公司开源推出了此工具包，并被广大研究者运用在情感分析、问答系统、文本翻译等任务网络中的输入层。图2.3CBOW与Skip-gram模型结构
【参考文献】：
期刊论文
[1]基于亮度与色度信息的深度学习图像风格迁移算法研究[J]. 杨慧炯,韩燕丽,郭芸俊. 重庆理工大学学报(自然科学). 2019(07)
[2]基于深度学习的语音识别方法研究[J]. 邵娜,李晓坤,刘磊,陈虹旭,郑永亮,杨磊. 智能计算机与应用. 2019(02)
[3]基于两阶段注意力机制的立场检测方法[J]. 岳天驰,张绍武,杨亮,林鸿飞,于凯. 广西师范大学学报(自然科学版). 2019(01)
[4]基于词向量技术与主题词特征的微博立场检测[J]. 郑海洋,高俊波,邱杰,焦凤. 计算机系统应用. 2018(09)
[5]基于Dopout与ADAM优化器的改进CNN算法[J]. 杨观赐,杨静,李少波,胡建军. 华中科技大学学报(自然科学版). 2018(07)
[6]关于微博评论研究的文献综述[J]. 张正梅,杨娜. 传播力研究. 2018(07)
[7]自然语言处理中的深度学习:方法及应用[J]. 林奕欧,雷航,李晓瑜,吴佳. 电子科技大学学报. 2017(06)
[8]基于多文本特征融合的中文微博的立场检测[J]. 奠雨洁,金琴,吴慧敏. 计算机工程与应用. 2017(21)
[9]中文微博的立场判别研究[J]. 刘勘,田宁梦,王宏宇,林荣蓉,王德民. 知识管理论坛. 2017(03)
[10]深度学习在语音识别中的研究进展综述[J]. 侯一民,周慧琼,王政一. 计算机应用研究. 2017(08)
硕士论文
[1]基于深度学习的漫画风格迁移方法研究[D]. 武筱琪.西安理工大学 2019
本文编号：3323872
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3323872.html
最近更新
教材专著
