基于深度学习的标点预测研究

发布时间：2024-03-16 03:51

　　随着计算机技术的不断进步,人机交互方式由单一的文字交互发展为文字,手势和语音等多种交互方式。交互方式的增加给人机交流带来的更多的便利,同时也给计算机带来了巨大的挑战。现阶段的语音交互,除了简单场景是直接利用语音信号进行识别以外,绝大多数场景都是将语音信号转换为文字,然后再进行相应的研究分析。但是现在语音转录引擎转录的文本并不包含标点符号,而标点符号对于人类情感的表达往往起着重要的作用,同样一句话被标上不同的标点符号,所表达的情感往往不同。所以给文本标记正确的标点符号,对于计算机理解人类的真实意图,实现更好的人机交互有着重要的作用。在自然语言处理早期,人工规则是处理自然语言的主要方法。随着数据量的增加,基于统计的研究方法逐渐成为主流,而随着深度学习技术的发展和数据量的进一步增大,深度学习技术被逐步的运用到自然语言领域,并且取得了不错的效果。但是在标点预测方面,大部分方法扔停留在使用传统方法或者通过音频,音调等信息进行预测,虽然在一定程度上可以完成标点预测任务,但是整体的准确率不高,效果不尽人意。为了解决这些问题和困难,本文提出深度学习方法来解决问题,并取得了不错的处理效果。本文的主要创新...

【文章页数】：53 页

【学位级别】：硕士

【部分图文】：

图２．３ＬＳＴＭ网络结构??Ｉ??Ｆｉｇｕｒｅ?２．３?Ｔｈｅ?ｎｅｔｗｏｒｋ?ｓｔｒｕｃｔｕｒｅ?ｏｆ?ＬＳＴＭ??Ｉ??长短时记忆网络（ＬＳＴＭ）?１｜６１使用目的内存单元来存储信息，这是为丫克服上??

基于深度学习的中文语音转录标点预测研究??爆炸的问题［１５］，它只能访问有限的上下文范围，所以提出了?ＬＳＴＭ的结构，如??图２．３所示。??Ｖ?！??Ｏｕｔｐｕｔ?Ｇａｔｅ?“??＼?＠??＼?“??＼?Ｆｏｒｇｅｔ?Ｇａｔｅ??／?Ｖ?／??、一’??Ｉｎｐｕｔ?Ｇａｔｅ?“....

图2.1隐马可夫过程

图2.1隐马可夫过程Figure2.1HiddenMarkovprocess示例共分为两层。第一层是马尔科夫转移过程，第二层是该行的输出，也就以观测的输出。通常把马尔可夫过程第一层转移过程的状态叫做隐藏状态，层可以被观察到的输出叫做观察状态。隐马尔科夫是一个更强的假设....

图2.2跳跃模型

图2.2跳跃模型Figure2.2Skip-gramip-gram的运行方式主要有以下几步骤:对单词生成one-hot输入向量xkxk得到上下文的嵌入词向量vc=Vxvc=Vx通过u=Uucu=Uuc产生2m个得分向量ucm,...,uc1,uc....

图4.1tanh激活函数Figure4.1tanhactivationfunction观察图像可以发现tanh激活函数在两端导数无限接近0

图4.1tanh激活函数Figure4.1tanhactivationfunction观察图像可以发现tanh激活函数在两端导数无限接近0。当两端继续向外扩散时，导数就更加趋近于0。当出现这种情况时，便可以把这种情况称作神经单元已经饱和。由于它们梯度变为0，....

本文编号：3929072