面向异构特征空间的迁移学习研究

发布时间：2020-05-12 23:11

【摘要】：随着信息技术的飞速发展,机器学习技术在诸多实际问题中得到了成功的应用。传统机器学习假设训练数据与测试数据服从同样的分布,且需要充足的训练数据来学习高性能的分类器。然而,由于数据收集和标注的昂贵成本,问题领域中可能只有少量有标签的训练数据。为了解决问题领域(即目标领域)中的数据稀缺问题,研究者提出了迁移学习技术,将从相关领域(即源领域)中挖掘到的知识迁移到目标领域中。由于源领域和目标领域的数据分布不同,利用源领域数据对目标领域中的分类任务进行辅助是一个非平凡问题。在源领域和目标领域拥有不同的特征空间的问题中,领域之间的知识迁移变得更加困难,这一问题被称为异构迁移学习。为了利用异构源领域中的知识来提升目标领域中分类问题的精度,本文对异构迁移学习进行了系统的研究。本文的主要贡献总结如下:1)提出了一个在线集成迁移学习算法,利用多视图共现数据来衡量异构数据实例之间的相似度,并对源领域和目标领域中构建的预测函数进行结合,同时对算法的预测错误上界进行了理论分析。2)提出了一个在线多视图学习算法,利用多视图共现数据对两个领域的数据进行特征扩充,并学习一个在线多视图分类器,对两个领域中的数据进行分类,同时对算法的预测错误上界进行了理论分析。3)提出了一个基于典型相关分析的联合学习模型,寻找能够最大化源领域和目标领域数据相关性的领域共享特征子空间,同时学习一个能够最小化训练数据经验损失的分类器。4)提出了一个半监督最优传输模型来挖掘源领域和目标领域数据中隐含的几何信息,并将源领域数据传输到目标领域中,使得目标领域数据和传输后的源领域数据服从类似的分布。5)针对数据不平衡的问题,提出了一个基于最优传输理论的数据过采样算法,从少数类别数据中挖掘几何信息,使得过采样方法合成的少数类别数据与真实的少数类别数据服从类似的分布。
【图文】：

２研究现状逡逑根据源领域和目标领域特征空间的关系，可以将迁移学习分为同构徖移学习和异构逡逑移学习两大类。本节对这两类徖移学习问题的研宄现状进行综述。逡逑２．１同构迁移学习逡逑在同构迁移学习问题中，源领域和目标领域具有相同的特征空间，，但在数据分布上逡逑在差异《图１－２中展示了针对图像物体识别的同构迁移学习问题。其中，源领域和目逡逑领域均包含自行车和笔记本电脑的图片，可以利用颜色直方图特征对两个领域中的图逡逑进行表示。但是，源领域中的图片背景为千挣的白色，而目标领域中的图片背景较为逡逑杂，包括墙壁、桌面等，这种差异导致源领域和目标领域具有不同的数据分布。直接逡逑用源领域和目标领域的数据训练分类忽略了数据分布之间的差异，可能无法在目标逡逑域中得到较好的分类结果。为了解决这一［５１题，学术界提出了各种同构迁移学习策略，逡逑

Ｌｅａｒｎｉｎ§邋［逦ｌ＾ｏｗｌｅｄ＾逦［邋Ｌｅａｒｎｉｎｇ邋［逡逑Ｓｙｓｔｅｍ邋１／邋ｖ逦Ｖ邋｜邋Ｓｙｓｔｅｍ邋［／逡逑图１－１迁移学习示意逡逑１．２研究现状逡逑根据源领域和目标领域特征空间的关系，可以将迁移学习分为同构徖移学习和异构逡逑迁移学习两大类。本节对这两类徖移学习问题的研宄现状进行综述。逡逑１．２．１同构迁移学习逡逑在同构迁移学习问题中，源领域和目标领域具有相同的特征空间，但在数据分布上逡逑存在差异《图１－２中展示了针对图像物体识别的同构迁移学习问题。其中，源领域和目逡逑标领域均包含自行车和笔记本电脑的图片，可以利用颜色直方图特征对两个领域中的图逡逑片进行表示。但是，源领域中的图片背景为千挣的白色，而目标领域中的图片背景较为逡逑复杂，包括墙壁、桌面等，这种差异导致源领域和目标领域具有不同的数据分布。直接逡逑利用源领域和目标领域的数据训练分类忽略了数据分布之间的差异，可能无法在目标逡逑领域中得到较好的分类结果。为了解决这一［５１题
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP181

【相似文献】

相关期刊论文 前10条

1 刘佳琴;;合作学习中如何处理好优生和学困生的关系[J];德阳教育学院学报;2003年04期

2 肖川;;学习的真义[J];青年教师;2016年08期

3 杨润贞;;幼儿园“方案教学”活动主题的选择[J];宁夏教育科研;2011年02期

4 舒国喜;;浅谈小学生良好学习习惯的培养[J];雅安职业技术学院学报;2009年01期

5 狄玉虹;;浅谈历史教学中研究性学习的开展[J];宁夏教育科研;2009年02期

6 范琪;;让良好的学习习惯陪伴学生健康成长[J];雅安职业技术院学报;2004年03期

7 孙红艳;;初中生在学习数学过程中的常见问题[J];雅安职业技术院学报;2005年04期

8 吴洪锋;;如何调动后进生的学习积极性[J];雅安职业技术学院学报;2010年04期

9 左克军;;动机、动力、自信、毅力——电大“注册视听生”顺利完成学习的前提[J];南钢科技;2000年01期

10 饶群芳;;如何培养学生的学习动力[J];雅安教育学院学报;2001年02期

相关会议论文 前10条

1 冯莉;;让学生在自主探究和动手实践中学习数学[A];新教育时代教育学术成果汇编[C];2019年

2 阿勒尔黑;;浅析数学学习习惯的培养[A];2018年“基于核心素养的课堂教学改革”研讨会论文集[C];2018年

3 张平;王兰启;李晓敏;韦国友;和晓聪;;学生良好学习习惯的培养有效学习的研究[A];《教师教学能力发展研究》科研成果集（第十七卷）[C];2018年

4 祝青亮;洪艳;李乐桂;;小学数学合作学习的实践与研究[A];《教师教育能力建设研究》科研成果汇编（第九卷）[C];2018年

5 王娜;;孩子,课堂属于你们——学生是数学学习真正的主人[A];中国教育发展战略学会教育教学创新专业委员会论文集卷四[C];2019年

6 杨华斌;;试论中学合作学习教学模式的运用研究[A];中国教育发展战略学会教育教学创新专业委员会论文集卷四[C];2019年

7 温跃海;;小组合作学习有利于学生数学核心素养提升的研究[A];第十二届中国智慧工程研究会基础教育“十三五”规划课题会议论文集[C];2017年

8 刘扬威;;论学习兴趣的重要性[A];2019全国教育教学创新与发展高端论坛论文集（卷三）[C];2019年

9 ;多层次引领 让学习成为教师的习惯[A];河北省教师教育学会第九届优秀课题成果论坛文集[C];2018年

10 胡明标;;小学数学自主探究性学习的实施策略研究[A];《教师教学能力发展研究》科研成果集（第十一卷）[C];2017年

相关重要报纸文章 前10条

1 实习生 邹春霞　本报记者 雷宇;中专生尹卫东：不要仅为成绩而学习[N];中国青年报;2012年

2 河南省洛阳市伊川县白元镇第一初级中学 张利浦;教师如何有效组织学生进行小组合作学习[N];山西青年报;2018年

3 记者 隋舒雨;学以致用 扎实推进“学习强国”学习平台工作[N];抚顺日报;2019年

4 广西壮族自治区钦州市人民警察训练学校副校长 龙玉平;大兴学习之风要力避“三舍”[N];人民公安报;2019年

5 上海市浦东教育发展研究院副研究员、学习共同体研究院院长 陈静静;通过观察学生促进深度学习[N];中国教师报;2019年

6 滨海县八滩镇中心小学 沈益亮;善用“错误”，促进有效学习[N];江苏教育报;2019年

7 丛玉芝;学习容不得弄虚作假[N];长沙晚报;2019年

8 ;创课：让学习更有意思[N];中国教师报;2019年

9 本报记者 刘亚文;为了更有意思的学习[N];中国教师报;2019年

10 石阡县第一小学 周国红;小议数学学习反思的重要性[N];贵州民族报;2019年

相关博士学位论文 前10条

1 袁彩虹;基于深度学习的行人重识别方法研究[D];华中科技大学;2019年

2 孙松涛;基于深度学习的微博复杂情感分类研究[D];武汉大学;2017年

3 闫玉光;面向异构特征空间的迁移学习研究[D];华南理工大学;2019年

4 张莹;基于自适应排序函数和深度特征学习的行人搜索算法研究[D];大连理工大学;2019年

5 许s

本文编号：2660976