众包技术中开放性答案的决策算法研究

发布时间：2020-04-30 11:27

【摘要】：现实生活中往往存在一些计算机难以处理或者处理效果不佳的问题,如给图像打标签、判断两个记录是不是同一个实体等。众包直接将这些问题发布到互联网上,通过集合互联网上的未知大众来解决这些传统计算机难以单独处理的问题。已有的答案决策方法存在一定的局限性:一方面,以往工人的质量模型矩阵大小是固定的,仅适用于候选答案固定的情形。另一方面,众包平台上的问题类型有填空题、选择题(分单选题和多选题)、选择和填空的混合等,以往的答案决策算法主要是基于单选题提出的,不能兼容多种答案类型,尤其无法处理包含开放性答案的问题。针对以上问题,本文综合考虑多种答案类型,提出了一种基于贝叶斯的开放性答案决策算法。首先,利用工人以往表现,建立了工人质量模型,该模型不受候选答案个数影响;其次,利用Jaro-Winkler Distance方法计算填空答案间的相似度,以此将填空内容扩展为候选选项,决策时考虑到了填空答案间的相互影响,认为相似度较大的一组答案很可能为相同的答案。此外,以往的决策中,候选答案的先验概率是未知的,本文根据机器算法给出的先验知识以及扩展答案情况,对候选答案的先验概率进行了预处理。相关实验表明,本文的决策算法能够综合处理多种答案类型,对开放性答案以及先验概率的处理,提高了算法的准确性。由于多选题答案决策过程是一个NP-hard问题,本文对多选题的答案决策算法提出了基于剪枝的优化策略,减少了需要计算后验概率的候选答案个数。相关实验表明,本文的优化策略,在保障决策算法准确一致的情况下,降低了算法的运行时间。
【图文】：

官方,网站,示例,问题

答案决策相关技术概述逡逑题自动放到同一组内。平台为用户提供接口，根据用户的问题描述、酬劳、以及逡逑其他设置信息生成问题，如图２－２示例所示，为了方便工人作答，雇主也可以提供逡逑一些图片或表格信息。ＡＭＴ采用的是拉模式的推荐方式，工人可以接受任何的逡逑ＨＩＴ任务。ＨＩＴ任务的答案决策采用的是冗余策略，利用ＥＭ算法从多个工人的答逡逑案中决策出最优解。逡逑ＳｏＪｔｂｙ：逦ｆｉｒｓｔ）逦Ｓｈｏｗ邋扢她虹丨邋Ｈｉ你邋ａｉｌ邋}0眺逦Ｈ逡逑ｆｔ微Ｃｈｒｉｓ邋Ｃ？}ｗｎ－Ｂｗｃｈ逦ＨＩＴ逦Ｅｘｐｉｒａｔｉｏｎ邋Ｄａｔｅ：逦Ａｐｒ逦５，邋２０２３邋（２§７邋ｗｅｅｋｓ邋Ｉ邋ｄａｙ｝逦Ｒｅｗａｒｒｆ：逦Ｓ0．￡Ｈ逡逑Ｔｋｒｗ！邋Ａｌｌｏｔｔｅｄ：逦６０逦ｍｉｍｉｔｅｓ逡逑|`．ｔｏ邋^螅遱{逡逑Ｔｏｆｔｙ邋Ｒｉｖｅｒａ逦Ｍｉｌ邋ｆｘｐＪｒａｔｉｏｎ邋Ｄａｔｅ：逦Ｍａｙ邋２０，２０１８邋（４２邋ｗｅ？４ｃｓ邋５邋ｄａｙｓ）逦￥０．０４逡逑Ｔｉｍｅ邋ＡＭｏｌｔ＊．？ｄ：逦６０逦ｍｉｍｉｔｅｓ逡逑Ｒ？ｑ撕ｓｔｅｎ逦．＞ｍｔｕｒｔｃ逦Ｍ！Ｔ逦Ｅｘｐｉｒａｔｉｏｎ邋Ｄａｔｅ：逦３ｕｌ逦２４，邋２０１８邋（５２邋ｗｅ＃剩螅?逦Ｕｅｗａｒｄ：逦Ｓ０．００逡逑Ｔｉｍｅ邋Ａｌｌｏｔｔｅｄ：逦２０逦ｍｌｎｕｔｔｓ逡逑．．邋．邋．…—逦邋￣邋—邋——………＂——————逡逑Ｒｅｑｕｅｉｓｔｅｒ：逦ｖ？３ｉｓ逦ＭｒＴ逦Ｃｘｐｉｒｓｌｉｏｎ邋Ｏａｔ？：逦Ａｕｐ逦３

架构图,架构,工人

以降低工人做任务的难度。ＣｒｏｗｄｌＱ还提供质量控制和成本控制模块。质量控制逡逑模块通过本文的开放性答案决策算法以及工人质量模型对整个平台质量进行控逡逑制，其具体架构如图２－３所不。通过Ｑｕａｌｉｔｙ邋Ｉｎｓｐｅｃｔｉｏｎ模块，可以检测网络表格是逡逑否存在缺值、噪声数据等问题；雇主通过平台语言ＣｒｏｗｄｌＱＬ设计任务，平台自动逡逑解析语言生成众包问题；根据任务的难度、工人的质量等信息，在满足平台质量逡逑的要求下，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ模块将任务推荐给合适的工人。逡逑逦邋Ｏｒｉｇｉｎ＃！逡逑八逦｜邋Ｔａｂｌｅ逡逑Ｃｊ邋ｏｒｉｇｉｎａｌ逦Ｑｕａｌｉｔｙ邋Ｉｎｓｐｅｃｔｉｏｎ逦＾逦逡逑ｙ逦Ｐｒｏｂｌｅｍｓ逦Ａｄｄｉｔｉｏｎａｌ邋Ｆｕｎｃｔｉｏｎｓ逡逑＼＿ｈｉｇｈ－ｑｕａｌｉｔｙ逦—邋一邋一邋一邋＿一邋一邋—邋＾逦穴逡逑Ｔａｂｌｅｓ逦逦邋逦１逦１逦ｇ逡逑＾邋Ｇｆａｐｈｉｃ＾＾．邋Ｃｏｎｖｅｎｔｏｒ逦Ｏｐｔｉｏｎａｌ邋Ｆｕｎｃｔｉｏｎｓ逦｜逦ｓ逡逑Ｏｐｅｒａｔｉｏｎ邋逦邋ｉ，，逦｜，逦Ｍ—逦．邋．逦Ｋ邋＾ｒ－逡逑（Ｄ逦ｊ邋ｋｕｗ＜，逦ＨｔＮｉｔｊｐｒｓ邋Ｉ邋ＡＭｔｉｂｕｔ＊？逦（Ｔ＞邋左逡逑Ｈ邋Ｒｅｄｕｃｔｉｏｎ逦Ｒｅｃｏｖｅｒｙ邋属邋Ａｕｇｍｅｎｔａｔｉｏｎ邋｜，逦邋0Ｑ逡逑〕ＣｒｏｗｄｌＱＬ邋—Ｉ－１逦邋｜￣￣Ｃｏ
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：O225

【参考文献】