聊天系统自动回复技术研究

发布时间：2020-06-20 23:00

【摘要】：随着互联网的发展和社交平台的涌现,人们的交流形式已经从单纯的面对面逐渐转移到了各大互联网平台。该转变使社交平台中积累了大量真实的对话资源,这不仅为对话系统的研究提供了大量的语料,也使自动对话系统的构建变得可行。更为关键的是真实对话资源中蕴含的对话规律和模式将推动自动对话技术的研究,促进对话系统中各关键问题的解决。此外,目前对话系统的应用场景也逐渐增多,如自动客服系统、个人助手等,其能为这些场景节约资源、提升效率。因此,对话系统的深入研究,无论对自然语言处理技术的研究还是互联网相关产业的发展,都有至关重要的作用。本文主要研究聊天型对话系统中回复选择或者生成的关键问题,其分析了影响对话过程的几个主要因素,如背景知识、个性化信息、上下文和反馈,然后运用这些因素解决检索式或者生成式对话模型中遇到的问题。具体地,本文的主要内容包含以下4个方面。(1)作为对话理解的基础之一,背景知识能够为对话提供大量的话题线索,这些线索有助于对话的进一步深入和扩展,其也能保证对话话题收敛性。同时,检索式对话系统中候选回复的话题比较发散,不利于对话的深入。本文提出了利用背景知识来解决检索式对话模型的发散问题。首先,本文分析了对话场景下背景知识的特点,提出了对应的挖掘方法。然后,本文提出了融合背景知识的回复排序方法。为了更好地利用背景知识,本文还提出了背景知识回忆机制。对话系统的回复排序任务中的实验结果表明本文提出的方法能够有效地利用背景知识中的线索,提高回复排序的结果。(2)用户作为对话的主要参与者,其对于对话过程的影响不言而喻,但目前的对话系统很少考虑用户的个性化信息,即使有也仅包含一些兴趣标签、性别、年龄等个性化特征,这些特征对于用户的个性化信息的覆盖率很低,因而对回复选择也影响很小。为了挖掘全面的用户个性化信息,本文提出了基于用户生成内容的个性化建模方法,通过用户与其产生的内容之间的匹配关系学习个性化信息。在此基础上,本文提出了融合个性化信息的回复排序模型,从而在候选排序过程中考虑候选与用户个性化信息的匹配程度,进而选择出更适合当前用户的回复。(3)针对生成式对话模型易产生信息量少的“安全回复”的问题,本文引入了反馈机制来评价生成回复的质量,从而引导生成模型产生高质量回复。为了得到生成回复质量的反馈,本文提出了基于对抗网络的回复生成模型,通过对抗网络的判别器度量生成回复与真实回复的差异,进而将这种差异作为回复生成模型的优化目标函数。同时为了解决文本生成过程中的离散采样问题,本文提出了一种词向量近似层,将生成模型和判别器直接连接,从而使判别器给出的反馈有效地传递给生成模型。此外,为了更好地训练生成模型,本文的判别器和反馈的度量方法上也做了一些改进,使其更适合文本生成任务。(4)对话上下文是回复生成模型可以利用的最直接信息,其包含的线索也是对话进行的主要依据,因此充分利用对话的上下文信息对于生成回复是非常有价值的。然而受限于上下文建模方法,目前回复生成模型对于上下文的利用不够充分,距离当前对话较远的历史信息通常得不到利用。本文在深入分析了对话上下文中的信息特点的基础上,提出了动态工作记忆网络来对上下文进行建模,并根据对话的特点设计了特殊的记忆更新机制挖掘并保存其中的话题线索。在此基础上,本文提出了基于动态记忆网络的上下文相关的回复生成模型,从而产生与上下文相关的回复。
【学位授予单位】：哈尔滨工业大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP18;TP391.1


本文编号：2723095