基于深层双向转换编码器的谣言检测方法

发布时间：2021-10-08 18:25

　　微博,Twitter,微信等网络社交平台的发展彻底改变了人们的交流方式,在方便人们获取最新信息的同时,谣言和虚假信息在网络平台上的大量传播对个人,社会甚至国家带来的危害也日益加剧。由于信息的传播速度极快,想通过人工方式及时发现谣言或虚假信息是不现实的,因此谣言的自动检测成为近年来的研究热点。现有的谣言检测方法主要是提取多特征用于分类,但这并不适用于谣言的早期检测,并且对于长文本信息,常用的循环神经网络和卷积神经网络也不能很好的理解语义。为解决现有的谣言检测研究中存在的问题,本文提出了一种新的谣言检测方法,通过分析文本的内容特征来实现谣言的早期检测任务。本文借鉴了预训练的思想,进一步提高谣言检测模型的检测的时效性,并且采用了深层双向的转换编码器用于特征提取,有效地解决了长文本中的远距离特性依赖问题,因此能更加准确地理解语义,提高谣言检测的准确率。为进一步提升模型的检测性能,本文还对原始数据做了数据增强处理。本文在Twitter谣言数据集和FakeNewsNet虚假新闻数据集上进行了实验,结果表明,本文提出的谣言检测模型准确率和F1-评测值都要优于当前的基准模型。 

【文章来源】：浙江工商大学浙江省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

谣言检测方法分类示意图

234.1.2模型整体架构本文提出的谣言检测方法采用的是一种深层双向的转换编码器架构用于特征提取，最后通过一个前馈神经网络（Feed-forwardNeuralNetwork）加上一个softmax归一化的输出层组合来完成谣言的分类预测。本文为了能够实现谣言的早期检测，所用到的有标签的训练数据集中的每一条数据是由文本信息和信息所对应标签组成，模型的输入数据只是信息的内容本身，不包含例如信息的发布者等其它相关信息，模型的输出则是预测的输入文本的类别标签值（“谣言”或者“非谣言”）。本文提出的谣言检测模型的整体架构如图4.1所示，按照模型内部的运行流程，该模型可以大致分为四个部分：第一部分是对数据文本的处理，首先对输入文本做了数据清洗，再利用同义词替换的方式做了数据增强，最后对文本进行分词；第二部分是嵌入层，将分词之后的每个标记符号变为转换器的输入向量表示；第三部分是双向转换编码模块，主要是做文本特征的抽取和文本类别的预测；第四部分是分类输出，通过得到的预测值来判断输入信息的类别。接下来本文将对模型的这四个部分的具体实现细节做进一步的描述。图4.1谣言检测模型的整体架构4.2嵌入层基于转换编码器的谣言检测模型是一种句子级别的二分类模型，模型的输入是一个线性序列，输入的数据内容是是单个句子文本。和自然语言处理里所用到的经典深度学习模型一样，本文所用到的预训练语言模型BERT会将输入文本序列中的每一个词送到词嵌入层，从而将序列中每一个词转换成对应向量表示。但不同于其它模型的地方是BERT在词嵌入层的基础上又增加了两个特别的嵌入层，分别是句子切分嵌入层和位置嵌入层。最后在这三个嵌入层中得到的三种向量表示会通过元素简单求和，得到接下去

词嵌入层的输出结果

【参考文献】：
期刊论文
[1]在线社会网络谣言检测综述[J]. 陈燕方,李志宇,梁循,齐金山.  计算机学报. 2018(07)



本文编号：3424713