面向垂直领域的智能问答增强系统的研究与实现
发布时间：2020-12-09 01:09
由于人工智能技术的发展以及自然语言处理技术的成熟,自然语言处理技术已经派生出了很多应用,其中最常见的是智能问答系统。智能问答系统已经成功地应用到企业中帮助企业形成智能化问答解决方案。智能问答系统允许用户以可理解的自然语言与系统进行对话,系统根据用户输入的语言信息进行处理,给出符合用户需要的答案。在智能问答系统中核心的就是对用户语言的理解以及处理,这部分是一个长期优化的过程。本文主要是在公司已有的智能问答系统基础上,对智能问答对话模块进行基于知识库的增强优化,使用自然语言处理相关技术提升问答对话的效果,提升知识点的召回率以及模型的准确率。本文分为以下三部分:1.设计基于知识库的智能问答对话的效果优化功能点。问答对话模块的基础是从原始语料信息中生成知识点并添加到知识库,为每个知识点配置相应的答案信息完成自动应答。在原有问答的基础上,针对目前存在的问题,影响智能问答对话效果的因素设计相应的功能,影响问答效果的因素在于用户的语言信息是复杂多样的,对于相同语义不同形式的语义表达如何泛化,提升问答的准确率是本文要解决的问题。常见的问题是知识点相似问错放以及知识点混淆的问题。通过计算知识点之间的文本...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：127 页
【学位级别】：硕士
【部分图文】：
图２－１智能问答增强系统功能框架图??
?１．包含多个知识成??？?＂礼？?＾?ｉＲｊｆｔｓｉｌ??（＊？识别准嫌軍间？??公《?？＾＊费／？分》素??ｆｔ？ｆｉ怎么》．＃？？『????找＾公《?用??请料｜？？成功振解？怎么糾《??水的浓＊．？？？时Ｗ??ｔｔＷ．?卜典我的ｔｔ籌＊ｉＪＪＰａｔｍ?ｎｐｊ??小嫌會水就嚴枣？？■？??煽鱗ｆｔ找和遍《？？？５个供矜蚵ＭＲ??從Ａ淡ｆｔ未和花謀谈薅？－汀叫??ＡＡＷ荇水妨仆么??你Ｖ．择％續《和０：常的￣水“味１＜明??遍和?仆么?ＫｆＳ??图２－３线上ｑｕｅｒｙ分析图??（１）ｑｕｅｒｙ表达的意图相同，句子中实体顺序，句子结构不同．??（２）对于机器人无法回复的用户ｑｕｅｒｙ需要增加相似问题的学习．??（３）对于用户ｑｕｅｉｙ包含多意图情况时需要关联相关知识点回复．??（４）针对ｑｕｅｒｙ召回的知识点置信度分数一样时，需要增加实体标签来改变??句子权重信息．??（５）知识库测评是衡量知识库整体使用效果的一个综合体系，可以评价知识??库的整体使用情况，建立完整的评价指标体系，针对知识库中常见的三类问题：??相似知识点易混淆、相似问数量多、相似问错放建立评价指标，并提供解决问??题的方案．??（６）知识库的数据使用情况建立数据分析指标进行数据分析．??通过以上需求分析内容，可以将问答对话知识库优化划分为：知识点相似??问的学习，建立知识点关键词匹配规则，知识点的关联推荐，问答数据分析，??知识库测评．??２．３．１．１知识点相似问学习??知识点相似问题的学习是为了知识库中的知识点增加相似问，提高知识点??的泛化能力。知识点相似问学习解决的问题是机器人无法回答的用户问题可以?
■?山东大学硕士学位论文???（１）支持导入待审核问题，导人上限为１０万语料，导人之后系统应过滤掉??不符合规则的脏数据。??（２）导入的问题可以按语料中的问题或者知识库中的知识点两种形式查??看。每个问题将会显示３个置信度最高的知识点作为推荐知识点。可以选择是??否合并到该知识点。??（３）支持按照时间范围，相似问分数，推荐知识点进行知识点的筛选捜索。??＾?＇－Ｎ???，?，??＾????＊??—导人一＋?筛选语料?——＞?将语料与知ｉ只点ｆｃｂ对??语料库???Ｙ???返回每个问题的ｔｏｐ３知??识点???Ｙ???选择对应的知识点合并??图２４相似问需求分析示意图??２．３．１．２知识点关键词匹配规则??关键词匹配规则是预先将关键词与知识库中的知识点－答案对建立联系，一??旦检索到用户的问题中包含关键词，便可以缩小匹配范围，提高问答效率。通??过关键词规则实现自动问答的逻辑是，平台对用户消息中出现的关键词进行字??符匹配，如果匹配成功，机器人回复这个规则对应的答案。可以快速实现业务??简单固定的单轮对话场景，比如当用户说“红包”时，机器人返回抢红包的页面??链接。??关键词匹配规则的功能性需求包括：??（１）支持关键词规则的增、删、改、查等基本的人库操作。??（２）支持关键词规则的批量上传下载，导人导出。??（３）支持关键词规则的编辑设置。包括设置触发条件，回复内容。关键词??支持包含等于两种形式。??１２??
本文编号：2905992
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：127 页
【学位级别】：硕士
【部分图文】：
图２－１智能问答增强系统功能框架图??
?１．包含多个知识成??？?＂礼？?＾?ｉＲｊｆｔｓｉｌ??（＊？识别准嫌軍间？??公《?？＾＊费／？分》素??ｆｔ？ｆｉ怎么》．＃？？『????找＾公《?用??请料｜？？成功振解？怎么糾《??水的浓＊．？？？时Ｗ??ｔｔＷ．?卜典我的ｔｔ籌＊ｉＪＪＰａｔｍ?ｎｐｊ??小嫌會水就嚴枣？？■？??煽鱗ｆｔ找和遍《？？？５个供矜蚵ＭＲ??從Ａ淡ｆｔ未和花謀谈薅？－汀叫??ＡＡＷ荇水妨仆么??你Ｖ．择％續《和０：常的￣水“味１＜明??遍和?仆么?ＫｆＳ??图２－３线上ｑｕｅｒｙ分析图??（１）ｑｕｅｒｙ表达的意图相同，句子中实体顺序，句子结构不同．??（２）对于机器人无法回复的用户ｑｕｅｒｙ需要增加相似问题的学习．??（３）对于用户ｑｕｅｉｙ包含多意图情况时需要关联相关知识点回复．??（４）针对ｑｕｅｒｙ召回的知识点置信度分数一样时，需要增加实体标签来改变??句子权重信息．??（５）知识库测评是衡量知识库整体使用效果的一个综合体系，可以评价知识??库的整体使用情况，建立完整的评价指标体系，针对知识库中常见的三类问题：??相似知识点易混淆、相似问数量多、相似问错放建立评价指标，并提供解决问??题的方案．??（６）知识库的数据使用情况建立数据分析指标进行数据分析．??通过以上需求分析内容，可以将问答对话知识库优化划分为：知识点相似??问的学习，建立知识点关键词匹配规则，知识点的关联推荐，问答数据分析，??知识库测评．??２．３．１．１知识点相似问学习??知识点相似问题的学习是为了知识库中的知识点增加相似问，提高知识点??的泛化能力。知识点相似问学习解决的问题是机器人无法回答的用户问题可以?
■?山东大学硕士学位论文???（１）支持导入待审核问题，导人上限为１０万语料，导人之后系统应过滤掉??不符合规则的脏数据。??（２）导入的问题可以按语料中的问题或者知识库中的知识点两种形式查??看。每个问题将会显示３个置信度最高的知识点作为推荐知识点。可以选择是??否合并到该知识点。??（３）支持按照时间范围，相似问分数，推荐知识点进行知识点的筛选捜索。??＾?＇－Ｎ???，?，??＾????＊??—导人一＋?筛选语料?——＞?将语料与知ｉ只点ｆｃｂ对??语料库???Ｙ???返回每个问题的ｔｏｐ３知??识点???Ｙ???选择对应的知识点合并??图２４相似问需求分析示意图??２．３．１．２知识点关键词匹配规则??关键词匹配规则是预先将关键词与知识库中的知识点－答案对建立联系，一??旦检索到用户的问题中包含关键词，便可以缩小匹配范围，提高问答效率。通??过关键词规则实现自动问答的逻辑是，平台对用户消息中出现的关键词进行字??符匹配，如果匹配成功，机器人回复这个规则对应的答案。可以快速实现业务??简单固定的单轮对话场景，比如当用户说“红包”时，机器人返回抢红包的页面??链接。??关键词匹配规则的功能性需求包括：??（１）支持关键词规则的增、删、改、查等基本的人库操作。??（２）支持关键词规则的批量上传下载，导人导出。??（３）支持关键词规则的编辑设置。包括设置触发条件，回复内容。关键词??支持包含等于两种形式。??１２??
本文编号：2905992
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2905992.html
