面向电商领域的智能问答系统若干关键技术研究

发布时间：2018-03-28 17:35

本文选题：问答系统　切入点：电子商务　出处：《华东师范大学》2016年博士论文

【摘要】：随着互联网和人工智能的飞速发展,智能问答系统由于能够为用户提供精准的答案和智能化的服务而成为目前的研究热点,它正逐步进入商业化领域代替部分人工工作,电商领域服务正在从线下转为线上,人工客服成本激增,智能问答系统可帮助节约80%的人工客服工作量。因此,研究电商领域的智能问答系统具有较大的应用需求和实用价值。智能问答系统的核心就是理解用户问题并给出正确的答案,基于结构化数据问答系统是目前事实类问答的主流方法,然而,复杂丰富的专业词汇、中文口语表达的弱语法性和多样性,使得自然语言转化成为逻辑查询语言成为目前研究的难点。海量的知识是问答系统具有智能性的关键,然而,人工构建大规模行业数据的代价很大,自动化信息抽取的准确率有限,存在语义模糊、数据缺失以及不确定性和矛盾性而且电商领域知识更新速度快,因此,快速准确构建语义关系丰富、表达清晰的大规模知识库是目前的需求和难点,高效的自学习能力是未来智能问答系统的发展趋势。智能问答系统具有很强的领域相关性,结合领域特点,增强对语义理解、知识表示和推理能力是提升领域问答系统效率的核心问题。本文针对电商领域的实际需求和目前存在的问题,在问句理解方面,实现了中文领域基于模板自动生成的语义解析方法,并且在相关算法上进行了改进；在知识库构建方面,提出了改进的知识表示模型以及知识自动融合和补全的方法,实现了电商领域更为精准的并且支持推理、计算功能的智能问答系统。具体研究内容如下：针对在问句理解和知识库构建时存在的别名、缩写尤其是中英文混杂的商品领域名词的问题,提出了基于CRF的实体识别算法,在电商领域标题数据中训练,识别准确率高达95%以上,并且提出了融入语义特征的CRF同义词抽取算法,解决了由于中英文混合词性标注容易错误引入噪声等问题,提高了同义词抽取的准确性,实体识别和同义词关系抽取是问句语义理解和知识库构建的重要基础和关键技术。针对问句理解常用的模板法准确率高,但是不能解析中文并且模板定义固定,不能处理同一语义不同表达的问句语义理解的问题,提出了中文问句模板自动生成的语义解析方法,为了解决目前语义依存分析工具对于领域问句解析复杂化的问题,提出了依赖缩减的方法,准确率提升了40%,并利用Word2vec语义特征对实体链接进行改进,缓解在缺少领域数据词典的情况下难以正确将多样化表达与知识库资源进行语义链接的问题,CQPT算法较Baseline算法准确率提升了近80%。针对目前知识库中知识表示模式复杂、语义模糊、难以扩展等问题,本文提出了归纳和演绎知识库构建框架,并将本体语义清晰严谨的模式和知识图谱数据驱动的特点相结合,提出了CyberSchema核心本体知识表示模型,内核简化、易于扩展、领域无关,提高了语义表达确定性和自动化构建效率,从模型上保证自动问答系统准确率和推理计算能力。由于知识库数据来源于多个异构网站,而且电商领域数据属性深度深、格式复杂,多源异构数据存在的属性数据表示不统一、不确定和矛盾等问题,本文提出了基于图模型的异构知识融合算法,实现了基于词形和语义的属性模式匹配和基于数据源置信度最优值决策算法,自动生成统一、完备、准确的CyberSchema商品属性模式和实体属性的最优值。对于知识库中蕴含着大量的隐式关系,可以通过对知识库自动推理和预测获得,本文结合张量分解和词嵌入的优点,提出了基于张量和词嵌入的知识补全算法,综合利用知识库本身的统计、语义等特性,对知识库进行统一模型表征,预测任意两个实体间的具体关系类型,满足问答系统逻辑推理和大规模知识库进化需求,算法能够适合于本文提出的CyberSchema知识库,效果达到最优。最后,本文基于以上算法,提出了面向电商领域的中文智能问答系统,分为语义理解、知识抽取、知识融合和知识补全四大模块。提高了电商领域问答系统语义解析和专业术语识别的准确性,有效提高了知识库中细粒度知识表达的准确性和一致性,支持统计、比较和推理的知识的问答,具有较大的研究及应用价值。
[Abstract]:......
【学位授予单位】：华东师范大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.1

【相似文献】