基于ALBERT-BiLSTM模型的微博谣言识别方法研究
发布时间：2020-12-04 08:54
随着互联网的高速发展,网络上的信息剧增,如何识别网络谣言也成为当下研究热点之一。针对谣言初期的传播具有一定隐蔽性的特征,结合预训练语言模型ALBERT和双向长短期记忆网络设计了ALBERT-BiLSTM谣言识别模型,通过挖掘谣言内容的深层文本特征进行识别,使之在谣言初期也能应用。五折交叉验证实验结果表明,ALBERTBiLSTM模型在实验组中达到了最高的准确率98.095%、召回率98.014%和F1值98.098%,能够较好地识别微博谣言,对维护网络信息安全具有重要意义。
【文章来源】：计算机时代. 2020年08期 第21-26页
【文章页数】：6 页
【部分图文】：
谣言识别流程图
BERT (Bidirectional Encoder Representation from Transformers）是google的Devlin J等[10]于2018年10月提出的新型预训练模型，在当时11项自然语言处理任务中刷新了记录。其结构如图2所示。BERT模型是采用了双向Transformer编码器，其训练方法分为两步：一是通过随机MASK训练集中15%的词。其中被打上[MASK]标记的词有80%的概率直接替换为[MASK]标签，10%概率替换为任意单词，10%概率保留原始Token，让模型预测被MASK的单词含义；二是通过从训练文本中挑选语句对，其中包括连续的语句对和非连续的语句对，让模型来判断语句对是否呈“上下句”关系。
BERT模型中Transformer具体单元结构如图3所示。在输入文本后先进行词嵌入（Embedding）处理，将文本词向量化，再对其进行位置信息编码（Positional Encoding）。为了充分考虑每一个句子中不同词语之间的语义和语法联系，设计了自注意力层（Self-Attention），同时考虑到不同head中单词的Attention（侧重点）不同，通过结合多个自注意力层形成多头（Multi-Head）机制来使模型获得更大容量。基于多头机制的自注意力层的输出会经过Add&Norm层，其中Add表示残差连接（Residual Connection),Norm表示层归一化（Layer Normalization），通过将经过位置信息编码后的输出与多头机制自注意力层的输出相加，再进行层归一化操作，这样可以做到仅关注差异部分并使模型更容易训练。Add&Norm层的输出传递到前馈神经网络层（Feed Forward），再经过Add&Norm层后输出。ALBERT(ALITE BERT）是GOOLE公司基于BERT基础上进行了一系列改造后的预训练小模型[11]，该模型参数量相比传统BERT大幅度降低，运行速度提高，在一定程度上突破了硬件的限制，并在许多自然语言处理任务上发挥出色。
【参考文献】：
期刊论文
[1]基于LDA和随机森林的微博谣言识别研究——以2016年雾霾谣言为例[J]. 曾子明,王婧. 情报学报. 2019(01)
硕士论文
[1]微博谣言识别模型研究[D]. 王勤颖.山东师范大学 2019
[2]基于敏感词库的微博谣言识别研究[D]. 林荣蓉.中南财经政法大学 2018
[3]新浪微博谣言识别研究[D]. 杨真.郑州大学 2018
本文编号：2897315
【文章来源】：计算机时代. 2020年08期 第21-26页
【文章页数】：6 页
【部分图文】：
谣言识别流程图
BERT (Bidirectional Encoder Representation from Transformers）是google的Devlin J等[10]于2018年10月提出的新型预训练模型，在当时11项自然语言处理任务中刷新了记录。其结构如图2所示。BERT模型是采用了双向Transformer编码器，其训练方法分为两步：一是通过随机MASK训练集中15%的词。其中被打上[MASK]标记的词有80%的概率直接替换为[MASK]标签，10%概率替换为任意单词，10%概率保留原始Token，让模型预测被MASK的单词含义；二是通过从训练文本中挑选语句对，其中包括连续的语句对和非连续的语句对，让模型来判断语句对是否呈“上下句”关系。
BERT模型中Transformer具体单元结构如图3所示。在输入文本后先进行词嵌入（Embedding）处理，将文本词向量化，再对其进行位置信息编码（Positional Encoding）。为了充分考虑每一个句子中不同词语之间的语义和语法联系，设计了自注意力层（Self-Attention），同时考虑到不同head中单词的Attention（侧重点）不同，通过结合多个自注意力层形成多头（Multi-Head）机制来使模型获得更大容量。基于多头机制的自注意力层的输出会经过Add&Norm层，其中Add表示残差连接（Residual Connection),Norm表示层归一化（Layer Normalization），通过将经过位置信息编码后的输出与多头机制自注意力层的输出相加，再进行层归一化操作，这样可以做到仅关注差异部分并使模型更容易训练。Add&Norm层的输出传递到前馈神经网络层（Feed Forward），再经过Add&Norm层后输出。ALBERT(ALITE BERT）是GOOLE公司基于BERT基础上进行了一系列改造后的预训练小模型[11]，该模型参数量相比传统BERT大幅度降低，运行速度提高，在一定程度上突破了硬件的限制，并在许多自然语言处理任务上发挥出色。
【参考文献】：
期刊论文
[1]基于LDA和随机森林的微博谣言识别研究——以2016年雾霾谣言为例[J]. 曾子明,王婧. 情报学报. 2019(01)
硕士论文
[1]微博谣言识别模型研究[D]. 王勤颖.山东师范大学 2019
[2]基于敏感词库的微博谣言识别研究[D]. 林荣蓉.中南财经政法大学 2018
[3]新浪微博谣言识别研究[D]. 杨真.郑州大学 2018
本文编号：2897315
本文链接：https://www.wllwen.com/xinwenchuanbolunwen/2897315.html
