基于编码器—解码器的联机手写数学公式识别方法研究

发布时间：2020-07-22 08:31

【摘要】：随着互联网和人工智能技术的快速发展,教育信息化的步伐正在加快,智慧教育的概念已经开始影响并改变着传统的教育方式,而且现代化的电子产品与移动终端都已经全方位的覆盖于教育教学过程中,其中手写识别技术担任着不可或缺的责任。目前手写体识别主要是集中在汉字、英文字符以及数字的研究上,并在这几个领域已取得了非常好的成绩,但是这些识别都只局限于一维的空间上,对于诸如数学,物理和化学公式等二维结构分布的识别就显得力不从心。由于数学公式这种二维结构的数据在识别时不仅仅要考虑其中每一个符号的类别,还要考虑各个符号之间的结构位置关系,这对于手写技术的要求非常高,因此该领域的研究还处于初级阶段,需要不断的去探索。据此,本文将针对联机手写数学公式的识别技术进行分析,提出了基于行为链的数据构建方式对数学公式进行处理,结合深度学习模型LSTM来分析数据间的时序关系,帮助更好的分析公式中符号的构成以及符号间的关联关系,并采用编码器—解码器与注意力模型相结合的框架来构建整个联机手写数学公式识别模型(EAD-OHMER)。主要完成的工作如下:1.基于目前处理时序问题较为流行的深度学习模型长短时记忆网络(LSTM)来构建联机手写数学公式识别模型,可以直接将手写笔迹数据作为输入,不需进行符号切分就可以直接识别公式符号,较之前传统的识别方式更加方便准确。2.提出了一种基于行为链的数据构建方法,重点对公式中符号间的关系进行抽象描述,旨在反映符号间的相关性,避免在分析时舍弃符号间的关联性而单独考虑一个符号的类别,其同时也能降低输入网络模型中的数据冗余。3.提出了基于编码器—解码器的联机手写数学公式识别模型(EAD-OHMER),并加入了注意力机制来解决原始编码器—解码器存在输入序列过长时会造成之前信息被覆盖的缺点,较传统公式识别分几个环节单独研究的方式更加简便准确。4.在提出的EAD-OHMER模型基础上,详细介绍了各模块的实现方法,数据的预处理及特征提取,以及行为链的构建和编码器与解码器模型的构建算法及训练过程,模型的输入是(8836,50,210),输出是一个个的数学符号。基于本文所述的方法,在不同的数据集上进行了验证,并在同一数据集下与其他系统对比分析,发现EAD-OHMER在同等条件下有着更好的识别效果。
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP18;TP391.41
【图文】：

输出层的更新是需要先计算两个隐藏层的两个方向的所有输入，而且所逡逑有的输出层都会优先计算Ｓ项，等计算之后将其返回给隐含层（不同方向），其前逡逑向训练算法和反向训练算法如下图２．９所示。逡逑２１逡逑Ｉ逡逑

逡逑图２．９邋ＢＬＳＴＭ的前向和反向传递算法逡逑２．３注意力机制逡逑注意力机制最近几年在深度学习的各个领域被广泛使用，它主要是与编码器逡逑一解码器模型相结合被用于图像识别、语音识别１６７］、机器翻译和字符逡逑识别［６９，７0】等其他研究领域，并且该组合模型在数学公式识别领域也有着一定的应用逡逑【７１－７４＾深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制（即人类逡逑的视觉是通过大概范围的全局扫描，获取需要重点关注的区域，然后将注意力集中逡逑在该区域，从该目标区域获取到更加重要的细节信息，从而减少对其他区域的细节逡逑观察，也就是抑制了其他的无用信息）类似，它的核心目标也是从众多信息中选择逡逑出对当前任务目标更关键的信息。逡逑２．３．１编码§１－解码器框架逡逑对于理解注意力机制，就必须先得了解编码器一解码器框架，因为目前所提到逡逑的注意力机制大都是与一种编码器一解码器的框架相结合。其中编码器一解码器就逡逑２２逡逑

包括文字、图像、视频、公式数据等等，输入输出模型可以选择常见的诸逡逑如ＣＮＮ、ＲＮＮ、ＢｉＲＮＮ、ＬＳＴＭ、ＧＲＵ等深度学习模型，其一种较为抽象的框架逡逑表示见下图２．１０所示。逡逑Ｙ１邋Ｙ２逦Ｙ３逡逑编码器逦——＾定长编码向量ｃ１——＾逦解码器逡逑逦逦Ｉ逡逑｛＆邋ＷＷＷ逡逑图２．１０抽象的编码器一解码器框架逡逑对于编码器一解码器框架应用与文本处理领域，则可以将其看作是把一个句子逡逑变成另一种意思相同但表达形式不同的处理模型。对于一个句子对＜ｘ，ｙ＞，首先逡逑给定一个句子的输入序列Ｘ，我们希望通过该模型得到一个生成目标Ｙ，而且Ｘ和逡逑Ｙ分别是由各自不同的单词序列构成：逡逑Ｘ邋＝邋（ｗ＂，ｘｍ）逡逑丫邋＝（少１，少２，－”，凡）逡逑编码器端就是对输入的句子序列Ｘ进行编码，将该输入序列用所选模型／进行逡逑转化，变成一个固定长度的中间语义表达式向量Ｃ，其中逡逑Ｃ邋＝邋／邋（ｘｌ

【相似文献】

相关期刊论文 前10条

1 ;《液压与气动》数学公式要求[J];液压与气动;2019年11期

2 谢迁尔;沈坚决;;基于数学公式有效教学模式的探究[J];读与写(教育教学刊);2018年04期

3 丁益民;;关于数学公式教学的几点思考[J];中学数学;2011年01期

4 晓天;;亦如幻想中美好[J];汽车知识;2016年12期

5 邱小欢;;初中数学列方程解应用题的思路研究[J];理科考试研究;2016年24期

6 付一凡;;我在窗前等阳光[J];少男少女;2016年27期

7 李继刚;;一题多变激活学生思维[J];山东教育;2016年34期

8 Jonathan Borwein;;π与最美的数学公式[J];语数外学习(高中版中旬);2016年07期

9 佚名;;最后一张牌[J];数学大王(中高年级);2017年03期

10 吴子生;;基于数学素养视角下的高中数学公式教学策略实证研究[J];数理化解题研究;2017年06期

相关会议论文 前10条

1 靳简明;江红英;;印刷体数学公式处理研究现状[A];2001年中国智能自动化会议论文集（上册）[C];2001年

2 骆瑾;王昕;王有登;;数学公式审读的比较分析方法[A];中国编辑研究（2013）[C];2015年

3 肖敏;黄磊;刘迎建;;数学公式识别系统[A];第八届全国汉字识别学术会议论文集[C];2002年

4 那琴;曾正华;李新红;张艳晶;陈琦;;数学教学中培养学生灵活运用函数公式的研究[A];《教师教育能力建设研究》科研成果汇编（第七卷）[C];2018年

5 王庆林;周东华;刘文;;Croos下垂问题的数学模型及验证[A];1996中国控制与决策学术年会论文集[C];1996年

6 卢达;浦炜;谢铭培;;一种实时手写数学公式识别系统[A];2005全国自动化新技术学术交流会论文集（三）[C];2005年

7 刘译蔓;;正确理解公式和定理对数学学习非常重要[A];2016年第一届今日财富论坛论文集[C];2016年

8 蔡川;苏伟;李冠宇;赵燕娟;李廉;;MathML编辑及显示技术研究[A];2006年全国理论计算机科学学术年会论文集[C];2006年

9 尤勇;;创作角色的过程[A];电影表演创新集——第九届“电影表演艺术学会奖”文集[C];2003年

10 刘世钊;;创新虚拟造型——“数学编织”和“数学根雕”[A];中国计算机图形学进展2008--第七届中国计算机图形学大会论文集[C];2008年

相关重要报纸文章 前10条

1 四川省资中县球溪高级中学 蒋礼卫;类比教学在数学公式中的应用[N];学知报;2011年

2 本报记者 罗晖 实习生 司建楠 佘超龙;蚂蚁改变了他的性格[N];科技日报;2004年

3 山东 吕立霞;一步一步学数学公式的输入[N];电脑报;2005年

4 记者 周贤忠;用“数学公式”判决刑事案[N];沈阳日报;2011年

5 河北 周晓新;在Word中输入数学公式[N];电脑报;2002年

6 杨建邺;数学公式还会吓跑人吗？[N];中国图书商报;2006年

7 记者 李广军　通讯员 文军 力夫;“数学公式”规范量刑[N];长沙晚报;2010年

8 作者　安德烈·波斯特伦尼库(Andrei Postelnicu);用数学公式炒股[N];国际金融报;2005年

9 许中银;编辑数学试卷的 小技巧[N];中国电脑教育报;2004年

10 张清;数学公式输入不求人[N];中国电脑教育报;2002年

相关博士学位论文 前2条

1 李峰;英文科技文档中数学公式的定位、识别与重建[D];大连理工大学;2007年

2 苏伟;基于Web的数学公式输入及可访问性关键问题研究[D];兰州大学;2010年

相关硕士学位论文 前10条

1 杨明雄;基于Faster-Rcnn的离线数学公式识别切割技术的研究与实现[D];电子科技大学;2019年

2 张文君;基于编码器—解码器的联机手写数学公式识别方法研究[D];华中师范大学;2019年

3 周瑶;印刷体数学公式识别算法应用研究与系统研发[D];华南理工大学;2019年

4 雷光巧;初二学生对数学公式理解与应用能力的调查研究[D];天水师范学院;2019年

5 张薇;数学公式微课优化设计的策略及应用研究[D];广西师范大学;2018年

6 梁木华;从高中生学习数学公式角度研究数学核心素养[D];闽南师范大学;2018年

7 褚雅儒;数学公式语音规范MathAL及其与MathML智能化转换研究[D];兰州大学;2012年

8 李辉;面向Word的数学公式到中国盲文转换研究[D];兰州大学;2015年

9 王奕松;基于LSTM模型的数学公式手写体识别技术的研究与实现[D];电子科技大学;2018年

10 魏琦;基于深度学习的印刷体文档中数学公式的检测[D];西安邮电大学;2018年

本文编号：2765569