众包质量控制算法及评价框架研究

发布时间：2017-09-15 17:14

  本文关键词：众包质量控制算法及评价框架研究

  更多相关文章： 众包 质量控制 期望最大化 工作者过滤 评价框架

【摘要】：众包技术通过招募未知工作者群体,利用群体的智慧来解决机器难以解决的问题。虽然众包近年来已经得到了广泛应用,但是众包解决问题时需要从未知工作者收集答案,使得质量控制问题成为在线众包平台面临的最大挑战。平台的工作者们可能缺乏必要的专业知识、存在偏见或者被恶意因素所驱使,因而会造成低质量甚至完全错误的众包结果。为了解决这个问题,本文提出了一种两阶段基于工作者过滤和期望最大化的质量控制算法。在第一阶段,算法利用工作者应答时间和答案冲突作为反馈,对工作者进行评价并过滤恶意工作者。在第二阶段,算法通过采样算法设定初始值,并通过期望最大化算法,估计用户质量和任务的答案,得到高质量的聚合答案。该算法解决了传统算法中隐式反馈未得到有效利用、恶意工作者影响答案质量以及期望最大化算法初始值设定等问题。尽管相关研究已经提出多种质量控制算法,但研究中缺乏统一的评价标准和评价指标。本文针对这个问题,提出了众包质量控制算法的通用评价框架,并提出了任务分配、恶意工作者比例、答案位置分布等多种评价因素。该框架分别在线平台和模拟平台中测试算法的运行效果,并结合多种评价因素和评价指标测试算法的有效性和鲁棒性。最后,论文在该评价框架下实现了基于工作者过滤和期望最大化的质量控制算法以及几种现有的对比算法,并通过大规模模拟和在线实验,验证了本文提出的算法的有效性和鲁棒性,同时还通过对比实验指出了其他算法存在的问题。
【关键词】：众包 质量控制 期望最大化 工作者过滤 评价框架
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP301.6;TB114.2
【目录】：

• 摘要4-5
• Abstract5-10
• 第1章 绪论10-19
• 1.1 研究背景10-13
• 1.1.1 众包模式10-11
• 1.1.2 众包平台以及质量控制问题11-13
• 1.2 相关方向研究现状13-15
• 1.3 研究内容及主要贡献15-17
• 1.4 研究意义17
• 1.5 本章小结17-19
• 第2章 相关工作19-28
• 2.1 众包平台研究19-21
• 2.2 众包质量控制研究21-25
• 2.2.1 众包平台的用户研究21-22
• 2.2.2 黄金数据注入算法22-24
• 2.2.3 迭代算法24-25
• 2.3 应答时间与准确率关系研究25-27
• 2.4 本章小结27-28
• 第3章 基于工作者过滤和期望最大化的质量控制算法28-43
• 3.1 问题描述28-30
• 3.1.1 本文符号28
• 3.1.2 问题定义28-30
• 3.2 基于采样的预测算法30-33
• 3.3 基于反馈的工作者过滤算法33-37
• 3.3.1 隐式反馈35-36
• 3.3.2 显式反馈36-37
• 3.4 期望最大化算法37-42
• 3.4.1 理论基础38-39
• 3.4.2 算法流程39-40
• 3.4.3 改进与优化40-42
• 3.5 本章小结42-43
• 第4章 算法评价框架43-51
• 4.1 基本架构43-44
• 4.2 模拟实验模块44-47
• 4.2.1 任务模块44
• 4.2.2 工作者模块44-45
• 4.2.3 任务分配模块45-47
• 4.3 在线实验模块47
• 4.4 对比算法47-49
• 4.5 结果评价模块49-50
• 4.6 本章小结50-51
• 第5章 实验结果分析51-62
• 5.1 实验配置51-53
• 5.1.1 运行环境51
• 5.1.2 系统配置及数据集描述51-53
• 5.2 实验结果与分析53-61
• 5.2.1 应答时间的影响53-54
• 5.2.2 任务分配的影响54-57
• 5.2.3 对于恶意用户的鲁棒性57-59
• 5.2.4 答案位置分布的影响59-61
• 5.3 本章小结61-62
• 第6章 总结与展望62-64
• 6.1 研究工作总结62
• 6.2 未来展望62-64
• 参考文献64-68
• 攻读硕士学位期间主要的研究成果68-69
• 致谢69

【相似文献】

中国期刊全文数据库 前1条

1 C.M.STRACKE;;测量学习、教育和培训效应的EFI评价框架(英文)[J];华东师范大学学报(自然科学版);2014年02期

中国重要会议论文全文数据库 前1条

1 张亚连;;构建企业综合业绩评价框架:基于生态经济视阈的分析[A];第三届（2008）中国管理学年会——组织与战略分会场论文集[C];2008年

中国重要报纸全文数据库 前1条

1 本报记者 高鹤;国际评价框架与中国特色相结合[N];中国会计报;2013年

中国硕士学位论文全文数据库 前1条

1 唐思;众包质量控制算法及评价框架研究[D];浙江大学;2015年

，

本文编号：857835