基于特征和分布相似性的迁移学习研究
发布时间：2022-01-03 02:52
近年来,由于深度学习的应用越来越普及,我们擅长的通过大量标签数据来训练网络模型的方法越来越成熟。无论在图像识别、语音识别、还是在自然语言处理方面,都取得了很大的应用成功。但随着互联网的极速发展,多样化数据的膨胀,我们的网络模型也遇到了新的瓶颈。传统的机器学习模型对样本和应用两类数据集的特征分布要求满足独立同分布,且训练后的模型对新环境缺乏泛化能力,然而现实世界的物质形态是多样化的。那么,我们需要考虑如何将原有的知识模型迁移到新的领域中,以适应新环境的应用,而不是每当进入新的领域时,又从零开始学习知识。我们把这种迁移过程称为迁移学习。因此,针对迁移学习理论具有重要的研究价值,它能帮助我们的模型迅速地适应新领域,以应对瞬息万变的信息时代。本文首先从浅层网络模型的迁移过程入手,以简单、直观易懂的方式表述迁移学习的具体流程,并作为对比实验之一,与后续深度模型的迁移学习实验形成对比。然后分别从特征相似性和其概率分布相似性的层面上,提出几种度量相似性的方法,应用于深度模型的迁移学习过程当中。本文主要工作点如下:1、引入一种潜在相似性特征的筛选法。首先由已知领域的数据集对卷积模型及分类模型进行分类训...
【文章来源】：华南农业大学广东省
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
传统机器学习（a）与迁移学习（b）的区别
给迁移学习带来了清晰的思路，为相应的应用场景使用相应的迁移学习方法带来了理论依据。同时，杨强教授（Qiang, Yang，2017）在机器之心 GMIS 2017大会中回顾 AlphaGo 和柯洁的围棋大战时曾说过，AlphaGo 看上去像神一样的存在，好像是无懈可击，而我们如果从机器学习的角度来看，它还是有弱点的，即 AlphaGo不像人类一样有迁移学习的能力。同样，人工智能领域的另一位专家 Stanford 的教授Andrew Ng 在 NIPS 2016 tutorial 大会上表示：迁移学习将会是继监督学习之后的下一个机器学习成功的驱动力，并给出了未来机器学习领域的发展趋势（Andrew, 2016），如图 1-4 所示。
图 1-5 基于公共子空间的域适应学习图片来源：Kan, M,Wu, J,Shan, S,Chen, X. Domain Adaptation for Face RecognitioTargetize Source Domain Bridged by Common Subspace[J].International Journal Computer Vision,2014,1-2(109):94-109.在域适应研究方向上还有清华大学 Mingsheng Long 等人（Long et al., 2016）出的基于残差转移网络的无监督域自适应学习，他们也提出了基于联合适应的深层移学习方法（Long et al., 2017），该方法主要采用两类领域的联合概率分布情况来得相似分布，从而完成模型的迁移训练。CCF 会员张博等人（张博等，2015）提出种跨领域典型相关性分析（CCA）的迁移学习，该算法在保持领域间相关性的基础上将各个领域的数据从原始高维特征空间映射到低维特征空间，在低维空间中，使CCA 来分析两组随机变量之间相关性。再具体到每一类迁移学习的研究文献有：归式迁移学习方面的文献（Wei et al., 2014）；直推式迁移学习方面的文献（Dai et a
【参考文献】：
期刊论文
[1]An overview of multi-task learning[J]. Yu Zhang,Qiang Yang. National Science Review. 2018(01)
[2]一种面向文本分类的特征迁移方法[J]. 赵世琛,王文剑. 数据采集与处理. 2017(03)
[3]一种基于跨领域典型相关性分析的迁移学习方法[J]. 张博,史忠植,赵晓非,张建华. 计算机学报. 2015(07)
[4]迁移学习研究进展[J]. 庄福振,罗平,何清,史忠植. 软件学报. 2015(01)
[5]基于多源动态TrAdaBoost的实例迁移学习方法[J]. 张倩,李海港,李明,程玉虎. 中国矿业大学学报. 2014(04)
[6]Boosting算法综述[J]. 董乐红,耿国华,高原. 计算机应用与软件. 2006(08)
[7]强化学习研究综述[J]. 高阳,陈世福,陆鑫. 自动化学报. 2004(01)
博士论文
[1]迁移学习在文本分类中的应用研究[D]. 孟佳娜.大连理工大学 2011
本文编号：3565415
【文章来源】：华南农业大学广东省
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
传统机器学习（a）与迁移学习（b）的区别
给迁移学习带来了清晰的思路，为相应的应用场景使用相应的迁移学习方法带来了理论依据。同时，杨强教授（Qiang, Yang，2017）在机器之心 GMIS 2017大会中回顾 AlphaGo 和柯洁的围棋大战时曾说过，AlphaGo 看上去像神一样的存在，好像是无懈可击，而我们如果从机器学习的角度来看，它还是有弱点的，即 AlphaGo不像人类一样有迁移学习的能力。同样，人工智能领域的另一位专家 Stanford 的教授Andrew Ng 在 NIPS 2016 tutorial 大会上表示：迁移学习将会是继监督学习之后的下一个机器学习成功的驱动力，并给出了未来机器学习领域的发展趋势（Andrew, 2016），如图 1-4 所示。
图 1-5 基于公共子空间的域适应学习图片来源：Kan, M,Wu, J,Shan, S,Chen, X. Domain Adaptation for Face RecognitioTargetize Source Domain Bridged by Common Subspace[J].International Journal Computer Vision,2014,1-2(109):94-109.在域适应研究方向上还有清华大学 Mingsheng Long 等人（Long et al., 2016）出的基于残差转移网络的无监督域自适应学习，他们也提出了基于联合适应的深层移学习方法（Long et al., 2017），该方法主要采用两类领域的联合概率分布情况来得相似分布，从而完成模型的迁移训练。CCF 会员张博等人（张博等，2015）提出种跨领域典型相关性分析（CCA）的迁移学习，该算法在保持领域间相关性的基础上将各个领域的数据从原始高维特征空间映射到低维特征空间，在低维空间中，使CCA 来分析两组随机变量之间相关性。再具体到每一类迁移学习的研究文献有：归式迁移学习方面的文献（Wei et al., 2014）；直推式迁移学习方面的文献（Dai et a
【参考文献】：
期刊论文
[1]An overview of multi-task learning[J]. Yu Zhang,Qiang Yang. National Science Review. 2018(01)
[2]一种面向文本分类的特征迁移方法[J]. 赵世琛,王文剑. 数据采集与处理. 2017(03)
[3]一种基于跨领域典型相关性分析的迁移学习方法[J]. 张博,史忠植,赵晓非,张建华. 计算机学报. 2015(07)
[4]迁移学习研究进展[J]. 庄福振,罗平,何清,史忠植. 软件学报. 2015(01)
[5]基于多源动态TrAdaBoost的实例迁移学习方法[J]. 张倩,李海港,李明,程玉虎. 中国矿业大学学报. 2014(04)
[6]Boosting算法综述[J]. 董乐红,耿国华,高原. 计算机应用与软件. 2006(08)
[7]强化学习研究综述[J]. 高阳,陈世福,陆鑫. 自动化学报. 2004(01)
博士论文
[1]迁移学习在文本分类中的应用研究[D]. 孟佳娜.大连理工大学 2011
本文编号：3565415
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3565415.html
