基于深度神经网络的语义角色标注研究

发布时间：2022-01-19 16:36

　　语义分析是对非结构文本进行理解的一种重要手段,对自然语言处理领域中的多项应用具有重要意义。语义角色标注是文本语义分析的重要工具,且作为语义分析中的一种浅层分析技术,一直是自然语言处理领域的研究热点。语义角色标注的主要目标是识别出给定句子中的“谓语-论元”结构,并为所有论元分配在谓语所指事件中担任的语义角色。以往的语义角色标注研究大多基于传统的机器学习算法,这些方法依赖于句法分析的结果,进而选取有效的特征及特征组合。特征工程是一项费时费力的人工经验性任务,且句法分析器的错误分析结果会影响语义角色标注模型的性能。随着深度神经网络的强势崛起,越来越多的研究者开始使用深度神经网络来完成语义角色标注,通过模型自动提取特征来减少对人工构造特征的依赖。虽然现有的许多深度神经网络模型已在语义角色标注上取得不错的成绩,但这些模型仍存在一些问题:一、如何更好地利用词性和语义角色间的语义依赖关系;二、如何有效地将依存树中的依存句法信息加入到语义角色标注任务中;三、忽视了选择性偏好信息能够为语义角色标注提供丰富的语义信息。（1）针对如何更好地利用词性和语义角色间的语义依赖关系的问题,提出了一种将词性和语义角色... 

【文章来源】：河南大学河南省

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

共享编码层的Bi-LSTM层数对语义角色标注结果的影响

基于深度神经网络的语义角色标注研究30图3-4主辅任务的交替训练次数比对语义角色标注任务性能的影响当主辅任务的训练次数比为1时，相当于依次交替训练，损失值逐渐下降但很快稳定，与其他两个设定相比最大；当主辅任务的训练次数比为2时，损失值下降很快且明显小于次数比为1时的损失值；当设定训练次数比为3时，损失值下降速度慢于次数比为2时，但最终损失变化稳定时，其损失值为三种设定中最低。所以本文将主要任务与辅助任务的交替训练次数比设定为3。对于模型中的其他关键参数，本文采用相同的办法逐一确定参数值，最终本模型的超参数设定如表3-3所示。表3-3本模型的超参数表参数名参数值词嵌入维度300Bi-LSTM隐藏层神经元数300Bi-LSTM层数3学习率0.0001丢失率0.5批处理大小1283.3.2模型训练时间的对比在评价一个深度神经网络模型的性能时，模型的训练时间是一个重要的衡量指标。近几年来，深度神经网络的不断发展为图像、语音和自然语言处理领域中的各项任务带来跨越式提升。在图像处理领域中，考验模型在大数据集上训练速度的基准为：在

图4-5双向长短时记忆网络隐藏层神经元个数对模型损失值的影响

【参考文献】：
期刊论文
[1]多任务学习[J]. 张钰,刘建伟,左信.  计算机学报. 2020(07)
[2]语义角色标注研究综述[J]. 李业刚,孙福振,李鉴柏,吕新宇.  山东理工大学学报(自然科学版). 2011(06)
[3]语义角色标注中句法特征的研究[J]. 李军辉,王红玲,周国栋,朱巧明,钱培德.  中文信息学报. 2009(06)
[4]基于语义组块分析的汉语语义角色标注[J]. 丁伟伟,常宝宝.  中文信息学报. 2009(05)
[5]基于最大熵分类器的语义角色标注[J]. 刘挺,车万翔,李生.  软件学报. 2007(03)



本文编号：3597198