基于深度学习技术的语法纠错算法模型构建分析

发布时间：2020-12-26 16:57

　　为了探究基于深度学习技术的语法纠错算法模型,文中从系统需求分析入手,首先介绍了模型构建基于seq2seq的深度学习技术模型和语料库的相关理论基础,然后对基于seq2seq的语法纠错模型进行了分析,最后对语法纠错算法模型的架构设计和核心模块的运行框架和主要原理进行了介绍。研究成果表明:人工智能在语法纠错中的应用也逐渐受到相关研究者的关注,该技术的成型不仅能有效减少教师批卷工作量,更有助于学生的自主学习;在基于seq2seq的深度学习技术模型的引入Attention机制,技能保证语法纠错的准确性,又能提高语法纠错模型的运算效率;在模型中引入反馈建议模块,有助于及时发现并优化系统的不足之处。 

【文章来源】：信息技术. 2020年09期

【文章页数】：6 页

【部分图文】：

基于内容的seq2seq框架结构示意图

Attention机制于2014年Bahdanau引入到基于seq2seq的英语语法纠错模型中,主要用于解决模型中当编码器输入的序列长度达到一定长度时,细节信息就会出现丢失[17]。而Attention机制受到人对物体的关注一般只需要关注主要部分,便可以对事物有相对完整认识的启发。在计算机计算中,引入权值因子,对一个英语句子不同部分进行不同的权重赋值,例如对于句子“This is a book.”主要关注的是“Book”一词,其权重便相对大一些,而对其它三个词的关注程度不高,其权重也可以相应小一些。根据系统对序列的计算范围,Attention机制可以分为局部计算和全局计算,本文主要应用全局计算中的Soft Attention部分对语言错误进行识别和处理,以下对其进行详细介绍,如图2所示。定义权重因子αij,计算公式如下:

基于深度神经网络的学习技术虽然计算功能比较强大,但其对计算机的要求较高,为此引入Batch Normalization(简称BN)批规范化处理措施。它能够通过每层网络任意神经元输入激活参数并进行规范化操作,经过转化后的参数符合标准的正态分布,从而使得模型收敛速度大大提高,计算效率也得以提升。但是RNN的输入长度是可变的,而BN运行时依赖于mini-batch一阶和二阶统计量,为了提升BN的适应性,提出层规范化(Layer Normalization,简称层规范化)[17-18]。LN规范化的工作原理如图3所示,它运行时和其它样本数据并行运算,相比于BN,对数据分布的要求明显降低,样本训练难度也较小。LN先对RNN中整层神经元输入的信号求和并计算方差,然后将该层神经元输入的信号映射到同一分布中,所有隐藏元共享规范化μ和σ[18],计算公式如下:

【参考文献】：
期刊论文
[1]基于深度学习的程序理解研究进展[J]. 刘芳,李戈,胡星,金芝.  计算机研究与发展. 2019(08)
[2]“人工智能+校对”的应用前景分析[J]. 胡佩,李小青.  现代出版. 2019(02)
[3]大学英语在线课程及其建设[J]. 杨永林.  外语教学. 2019(01)
[4]指向深度学习的小学生英语语篇阅读教学设计——以译林版小学英语6B Unit2 Cartoon time为例[J]. 金永红.  华夏教师. 2018(18)
[5]运营商问答系统融入AI 打造智能客服[J]. 程广兵.  通信世界. 2018(14)
[6]工业机器人定位误差规律分析及基于ELM算法的精度补偿研究[J]. 王龙飞,李旭,张丽艳,叶南.  机器人. 2018(06)
[7]基于反馈信息论的作文评改纯理依据及原则[J]. 李志凌.  海外英语. 2018(05)
[8]深度学习应用于网络空间安全的现状、趋势与展望[J]. 张玉清,董颖,柳彩云,雷柯楠,孙鸿宇.  计算机研究与发展. 2018(06)
[9]运用ICT辅助提升中学生英语单词记忆效率的应用研究[J]. 尚轩轩,陈体忠,杨柳青,陈容,任善恂.  中国教育信息化. 2017(03)
[10]基于新闻语料库的中文自动校对改进方案探讨[J]. 靖纯.  中国传媒科技. 2016(06)



本文编号：2940101