基于最大似然估计的众包质量控制优化方法研究

发布时间：2020-08-10 21:08

【摘要】：众包能够通过利用数十万网络中的工人(即人群)的智慧来解决计算机难以有效解决的问题,如实体解析、情感分析和图像识别问题。尤其在为机器学习和数据挖掘领域提供人类智能支持方面已经非常成功,它们通过在公共众包平台(如Amazon Mechanical Turk(AMT)、Crowdflower 和 Upwork)上发布标注任务来收集用于训练各种机器学习和数据挖掘系统的标记数据。由于众包中的工人可能具有不同水平的专业知识,未经培训的工人可能无法完成某些任务,甚至一些恶意的工人可能会故意给出错误的答案,众包可能会产生相对低质量的结果。因此,需要一些质量控制策略来保证众包任务结果的质量,即在收到工人的对于任务的回答后,对工人的质量建模,然后根据工人质量推测出任务的真实答案。现在已有的众包质量控制方法主要利用EM方法最大化似然值来估计工人的质量以及任务的真实答案。然而,基于EM的方法往往只是局部最优的解决方案,并且估计结果会受到初始值的影响。所以,本文提出了面向全局最优结果的众包质量控制优化方法来解决以上问题。本文主要针对于基于最大似然估计的众包质量控制优化问题进行了深入研究。首先,提出了基于最大似然估计的众包质量控制局部最优算法,利用EM方法最大化似然值对工人的质量以及任务的真实答案进行评估,分别提出了基于静态和动态工人模型的众包质量评估算法。其中静态工人模型是用概率值或者概率矩阵来表示工人的质量。动态工人模型中工人的质量受到任务难度的影响并且符合函数分布,动态工人模型能够更加详尽的体现工人的质量随影响因素的变化规律。在对工人质量建模后,利用EM方法最大化似然函数估计出工人模型的参数以及任务的真实答案。然后,本文在EM方法的局部最优结果的基础之上进行优化,提出了一个以似然最大为目标的众包质量控制近似全局最优算法。该优化算法由一个任务优势排序模型和一个迭代近邻搜索算法组成,通过进一步似然最大化来提高任务真实答案估计的准确性。任务优势排序模型可以帮助删减劣势的任务-答案组合,并且保留优势的任务-答案组合;迭代近邻搜索算法能够在一个邻域内找到具有最大似然值的任务-答案组合。本文提出的优化算法在最大化似然值的同时提供了工人的质量和任务的真实答案估计的准确性。最后,本文采用了模拟数据集和在AMT平台上收集的关于情感分析任务的真实数据集,通过大量的对比实验评估了本文提出的众包质量控制局部最优算法以及近似全局最优算法。实验结果表明,本文提出的方法能够得到更高质量的估计结果。另外,我们实现了一个众包APP作为实验平台,该实验平台能够管理和发布移动众包任务(例如商场打折信息标注任务)并收集移动众包数据,还可以通过该平台来应用众包质量控制相关算法。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：O213.1
【图文】：

最大似然估计,质量控制,内容,优化方法

１．２研究内容及主要贡献逡逑我们对基于最大似然估计的众包质量控制优化问题进行建模，然后针对于逡逑其中的不足提出优化方法。我们研究的主要内容如图１－１所示。逡逑２逡逑

组织结构图,组织结构,质量控制

更高准确率的估计结果。逡逑１＿邋３论文组织结构逡逑我们根据研宄内容组织本文结构，如图１－２所示。逡逑第１章：绪论。本章主要介绍了本文的研究背景和意义，然后分析了基于逡逑最大似然估计的众包质量控制研究中的问题，并且我们描述了针对质量控制优逡逑化问题提出的解决方法以及主要贡献，最后介绍了本文各个章节的组织结构。逡逑４逡逑

算法流程图

Ｍａｘｉｍｉｚａｔｉｏｎ）算法＆是通过迭代的方式最大化似然函数，最终得到参数的估逡逑计值。因为该算法的每一次迭代过程都包括Ｅｘｐｅｃｔａｔｉｏｎ邋ｓｔｅｐ和逡逑Ｍａｘｉｍｉｚａｔｉｏｎ邋ｓｔｅｐ，所以称为ＫＭ算法。图２－１描述／邋ＫＭ算法应用于众包中逡逑的基本流程。逡逑Ｉ：人f Ｖ：的初始他逡逑Ｅ－ｓｔｅｐ：坫邋ｒ邋丨：人的Ｒ？ｆ％ＩＷｆｔＭ－ｓｔｅｐ逦否逡逑OTｉｉ？的丨：ｍａｍ：七OT测仃冷的ｎ支逦￣逡逑１逡逑Ｍ－ｓｔｅｐ：g澹赍遑喝说呢祝媸妫妫椋祝欤牛螅簦澹疱义险矗樨模ǎ颍觯觯簦猓倚翺T测１：人的叻逦１逡逑Ｉ逡逑ＩＵ．逡逑图２－１邋ＥＭ算法流程图逡逑９逡逑

【相似文献】