基于社区话题文本分析的智能聊天方法研究

发布时间：2024-04-22 04:09

　　随着大规模深度学习算法的发展,自然语言处理领域重新掀起对开放域下对话系统研究的热潮。同时社交媒体的影响力快速传播,网络上可获取的海量数据也为研究者们构建数据驱动型的智能聊天系统提供了极大地助力。然而鲜有人将目标聚焦于分析对话主题,以引导用户进行更有意义的谈话上。当前在开放域下聊天机器人的研究中,较为主流的方法是基于深度学习的序列到序列框架。在这样的技术支持下,考虑将对话的主题信息融入基础框架,提出了一个主题模型与开放域下的对话生成模型相结合的智能聊天机器人模型(RS2S-TA)。模型使用主题模型获取的关键词模拟用户的先验知识,并利用联合注意力机制和偏向主题信息的生成概率,引导对话系统生成富含信息且有趣的回复。联合注意力机制通过文本注意力层将输入消息的隐含状态压缩为语义向量,通过主题注意力层将从预训练的增长式词对主题模型(iBTM)中获得的相关主题关键词合成主题向量。二者共同影响解码过程中词语的选择。为了增加主题关键词在回复中出现的可能性,模型为词语生成概率添加额外的偏置项,使得整体分布偏向于主题关键词。考虑到生成式对话模型仅以短问句作为输入可能存在信息量不足,无法被深度学习网络捕获特征...

【文章页数】：52 页

【学位级别】：硕士

【部分图文】：

图3-1对话系统总体框架

图3-1对话系统总体框架对话系统的核心问题在于如何得到高质量的回复，简单来说在满足生成回复语句连贯性的前提下，希望生成的回复能够与问题保持相关性，同时能包含更多信息以利于对话的继续。传统的检索式模型从已有对话预料库中返回最合适的应答，生成的回复比较自然且符合语法，缺点是无法生....

图3-3检索式模块总体结构

中科技大学硕士学位论文其改进算法增量式词对模型(incrementalBTM，iBTTM求解参数的具体算法伪码为表3-1。成后，语料库中所有词语都按照主题进行分组。而对于用的方式抽取句中词对，并计算词对属于某个主题的概率，个词语作为该问句q的话题相....

图3-4基于主题的生成式模块结构

华中科技大学硕士学位论文3.4生成式模块原理基于主题的生成式模型输入有三个来源，为用户问句q，检索模块的输出r*，主题模型经过语义分析预测得到的多个主题相关词。模型的输出为最终生成的回复语句。整体模型框架如图3-4所示。传统的Seq2Seq框架....

图5-1标准seq2seq框架loss变化

图5-1标准seq2seq框架loss变化图5-2引入联合注意力机制的模型loss变化为了更为直观展示联合注意力机制对模型的影响，在验证集中随机选取一句进行模型预测，并将其中的注意力矩阵可视化，结果如图5-3所示，其：“最近皮肤好干，鼻子上还有红血丝，有什....

本文编号：3961907