基于深度神经网络的口语理解方法的研究

发布时间：2021-08-10 13:24

　　人机对话系统是指机器能通过语音实时地与用户进行对话,并能为用户提供帮助或服务的系统。人机对话系统通常由语音识别模块、口语理解模块、对话管理模块、文本生成模块和语音合成模块组成。其中口语理解模块主要用于提取口语文本中的领域信息、意图信息和语义槽信息。口语理解模块在人机对话系统中起着至关重要的作用。因此本文结合深度神经网络对口语理解进行了深入研究,并将研究结果应用到语音订餐对话系统中。首先,针对口语文本长度短,特征稀疏,意图分类准确率难以提升的问题,本文提出了一种基于局部语义特征与上下文关系融合的中文短文本分类模型。该模型利用卷积神经网络提取文本的局部语义特征,同时利用双向长短时记忆神经网络提取文本的上下文语义特征,并结合注意力机制,使该模型能从众多的信息特征中提取出和当前任务最相关的特征,更好地进行意图分类。其次,在口语理解任务中,意图识别与语义槽填充任务之间存在一定的关联效应,基于此本文提出了针对订餐领域的意图识别和语义槽填充联合模型。该模型能同时完成意图识别任务和语义槽填充任务,其中ALBERT预训练模型和卷积神经网络用于完成意图识别任务,ALBERT预训练模型和条件随机场用于完成语... 

【文章来源】：哈尔滨理工大学黑龙江省

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

ALBERT_CNN_CRF模型损失曲线

哈尔滨理工大学工程硕士学位论文-44-图5-3百度语音识别程序Fig.5-3Baiduspeechrecognitionprogram5.3对话管理模块对话管理模块(DialogManagement,DM)控制着人机对话的整个过程，对话系统的“逻辑性”得益于对话管理的应用。含有对话管理的对话系统可以处理更加复杂多变的场景，更加符合人类的需要。对话管理根据口语理解模块提取到的意图和语义槽信息、对话的历史信息，来做出回复。本系统采取任务驱动作的对话管理机制，任务驱动的对话管理是指用户带有明确目的，如订餐，订机票等，且用户需求比较复杂，需要进行对轮对话才能完成；用户在对话过程中可以不断完善或修改自己的需求，如果用户所表达的需求不够具体或明确时，机器也可以通过询问、澄清或确认来帮助用户找到满意的结果。任务驱动的对话管理实际就是一个决策过程，系统在对话过程中不断根据当前状态和历史状态决定下一步应该采取的最优动作，从而最有效地辅助用户完成信息查询或服务获取的任务。Rasa是一个开源的机器学习框架，由Rasa_NLU和Rasa_core两大部分组成。其中Rasa_NLU是用来解决口语理解任务，是将文本的预处理方法、意图

定义域文件

【参考文献】：
期刊论文
[1]基于BERT的中文命名实体识别方法[J]. 王子牛,姜猛,高建瓴,陈娅先.  计算机科学. 2019(S2)
[2]基于多粒度特征融合的用户意图分类[J]. 张春英,李春虎,兰思武.  华北理工大学学报(自然科学版). 2019(03)
[3]面向任务口语理解研究现状综述[J]. 侯丽仙,李艳玲,李成城.  计算机工程与应用. 2019(11)
[4]基于双向长短时记忆-联结时序分类和加权有限状态转换器的端到端中文语音识别系统[J]. 姚煜,RYAD Chellali.  计算机应用. 2018(09)
[5]A Novel Active Learning Method Using SVM for Text Classification[J]. Mohamed Goudjil,Mouloud Koudil,Mouldi Bedda,Noureddine Ghoggali.  International Journal of Automation and Computing. 2018(03)
[6]基于双通道卷积神经网络的文本情感分类算法[J]. 申昌,冀俊忠.  模式识别与人工智能. 2018(02)
[7]Deep learning for natural language processing:advantages and challenges[J]. Hang Li.  National Science Review. 2018(01)
[8]结合语义扩展和卷积神经网络的中文短文本分类方法[J]. 卢玲,杨武,杨有俊,陈梦晗.  计算机应用. 2017(12)
[9]问答中的问句意图识别和约束条件分析[J]. 孙鑫,王厚峰.  中文信息学报. 2017(06)
[10]基于深度神经网络的中文命名实体识别[J]. 张海楠,伍大勇,刘悦,程学旗.  中文信息学报. 2017(04)

硕士论文
[1]面向服务机器人的口语对话系统研究与实现[D]. 陆亚辉.哈尔滨工业大学 2017



本文编号：3334142