对话系统评价方法综述
发布时间：2018-08-26 09:17
【摘要】：本文介绍了对话系统的发展历史以及随着对话系统发展而衍生出的多种对话系统评价方法,从任务型对话系统与开放域对话系统两个方向进行了调研和总结,分析了不同评价方法的利弊,每种评价方法的侧重点和不同方向上最新的研究进展.在任务型对话系统方面,介绍了Steve Young等人的近期研究成果,总结了几种被广泛使用的评价思路.在开放域对话系统方面,从客观指标评价和模拟人工评分两个角度探索了开放域聊天系统的评价方法,对于不同的指标和不同的研究思路做了分析及介绍.最后,本文通过总结及分析对话系统的经典评价方法和当前最新的基于神经网络模型的对话评价方法,对对话系统评价方法的发展趋势进行了展望.
[Abstract]:This paper introduces the development history of dialogue system and the evaluation methods of dialogue system derived from the development of dialogue system, and makes a survey and summary from two directions: task-based dialogue system and open domain dialogue system. The advantages and disadvantages of different evaluation methods, the emphasis of each evaluation method and the latest research progress in different directions are analyzed. In the aspect of task-based dialogue system, the recent research results of Steve Young et al are introduced, and several widely used evaluation ideas are summarized. In the aspect of open domain dialogue system, this paper probes into the evaluation method of open domain chat system from two angles of objective index evaluation and simulated artificial score, and analyzes and introduces different indexes and different research ideas. Finally, through summarizing and analyzing the classical evaluation method of dialogue system and the latest dialogue evaluation method based on neural network model, the development trend of dialogue system evaluation method is prospected in this paper.
【作者单位】： 哈尔滨工业大学社会计算与信息检索研究中心;
【基金】：国家重点基础研究发展计划(批准号:2014CB340503) 国家自然科学基金(批准号:61502120,61472105)资助项目
【分类号】：TP18;TP391.1
本文编号：2204411
[Abstract]:This paper introduces the development history of dialogue system and the evaluation methods of dialogue system derived from the development of dialogue system, and makes a survey and summary from two directions: task-based dialogue system and open domain dialogue system. The advantages and disadvantages of different evaluation methods, the emphasis of each evaluation method and the latest research progress in different directions are analyzed. In the aspect of task-based dialogue system, the recent research results of Steve Young et al are introduced, and several widely used evaluation ideas are summarized. In the aspect of open domain dialogue system, this paper probes into the evaluation method of open domain chat system from two angles of objective index evaluation and simulated artificial score, and analyzes and introduces different indexes and different research ideas. Finally, through summarizing and analyzing the classical evaluation method of dialogue system and the latest dialogue evaluation method based on neural network model, the development trend of dialogue system evaluation method is prospected in this paper.
【作者单位】： 哈尔滨工业大学社会计算与信息检索研究中心;
【基金】：国家重点基础研究发展计划(批准号:2014CB340503) 国家自然科学基金(批准号:61502120,61472105)资助项目
【分类号】：TP18;TP391.1
【相似文献】
相关期刊论文 前3条
1 刘智博;Michael Brasser;郑方;徐明星;;一个基于文本输入的口语对话系统的新的实现策略[J];计算机科学;2006年11期
2 王彬,江铭虎;口语对话系统中的语句主题提取[J];计算机工程与应用;2004年18期
3 汪志鸿;张海云;陈柯;杜利民;;语音浏览器的概念、框架和应用[J];微计算机应用;2007年10期
相关会议论文 前2条
1 郭荣;高峰;毛家菊;陆汝占;;人机口语对话系统中否定结构的处理[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 沈扬;袁保宗;李红莲;何伟;;口语火车查询和定票系统性能的评测[A];第七届全国人机语音通讯学术会议（NCMMSC7）论文集[C];2003年
相关硕士学位论文 前4条
1 喻银尤;基于安卓校园服务对话系统的设计与开发[D];复旦大学;2013年
2 范雄雄;面向导航的智能对话系统[D];复旦大学;2013年
3 吴婷婷;旅游信息口语对话系统[D];北京林业大学;2015年
4 李静静;导游对话系统的相关技术研究[D];哈尔滨工业大学;2014年
，本文编号：2204411
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2204411.html
