随机多尺度核学习及应用
发布时间：2021-11-05 13:12
本文提出了一种简单的多核学习框架,用于对复杂数据的回归问题进行建模.选取多尺度的高斯核函数作为基本内核,根据随机配置的方法设置核尺度参数.结合l1正则化方法,利用样本自适应地选择最优的模型参数,构造一个具有稀疏约束的单任务机器学习解决方法.之后拓展该多核学习框架于多任务学习模型,采用经典的l2,1多任务正则化方法提出一个基于随机多尺度核的组稀疏多任务模型来对传统的线性多任务模型进行改良.在此基础上,分析随机多尺度核l2,1正则化多任务模型在运算效率等方面的缺陷,分析共享隐层神经元网络的多任务方法与生成网络的内在机理,构造随机多尺度核的生成网络多任务模型并对残差的极限问题进行研究.随机设置核参数的方法所提供的基函数具有充分的近似能力,参数通过在某个预置的概率分布中随机抽样取得,概率分布参数与核参数是通过在训练样本中执行交叉验证的技术计算得到的.数据实验主要分为单任务算法与多任务算法两个部分,分别对模拟数据与真实数据数据进行建模分析,结果表明随机多尺度核方法对参数进行了自适应的选择,模型的泛化性能较原有方法好.
【文章来源】：浙江工商大学浙江省
【文章页数】：54 页
【学位级别】：硕士
【部分图文】：
图２．１：?ＲＳＳＫＬ－ＳＣＲ和ＲＭＳＫＬ－ＳＣＲ算法在数据集１上的拟合性能．??
要点２：在执行ＲＭＳＫＬ－ＳＣＲ的过程中，假设我们目前已经通过交叉验证的方??法确定参数有尺度选取范围丨〇，叫与正则化参数Ａ，如何在该范围［０，叫内选取最??终模型的多个尺度参数丨％丨是一个值得考虑的问题．在图２．２中我们展示５０次随??机选取不同的多尺度参数丨ａ丨，其中１７?＝?２０４８，?Ａ?＝?１．２３５６．可以看到只要确定了??最优参数ａ?Ａ后，通过随机方法取得的不同组别的丨所对应的模型在训练误差??与测试误差上拟合效果类似．由此可以看到在ＲＭＳＫＬ－ＳＣＲ中最重要的是需要确??定参数与Ａ，而的选择只需在尺度范围内进行随机选择即可．??０．０１０???０．０１０－１???０．００８?■?０．００８?■??０．００６?？?０．００６－??姿?０．００４?■?ｕｊ?０．００４?？??Ｉ?０００２?＊?ｉ?０?００２??０．０００?－?０．０００?■??－０．００２．?－０．００２?■??－０．００４?■?－０．００４?■??０?１０?２０?３０?４０?５０?０?１０?２０?３０?４０?５０??ｔ?ｔ??⑷训练误差?（ｂ）测试误差??图２．２：?ＲＭＳＫＬ－ＳＣＲ在数据集１上的误差ＲＭＳＥ，Ｋ＝５０．??要点３：为了探究我们ＲＭＳＫＬ－ＳＣＲ算法的学习能力，我们在表２．２中展示了??５种算法的拟合结果，分别列出每种算法的训练误差ＲＭＳＥ与测试误差ＲＭＳＥ，模??型参数与正则化参数的选择是通过在训练数据上使用１０－折交叉验证的方法得到??的，并且在此次实验中设置随机抽取多尺度序列的次数Ｘ?＝?５０．由于随机性的存??在
?ＩＮＰＵＴＳ??图３．１：?４个单任务神经网络模型．??图３．１展示了处理４个相关任务时传统神经网络的做法，分别建立４个单独的??网络模型，各自的样本集仅用来对各自的任务进行求解，４个任务在训练的过程中??相互独立．这种做法抛弃了?４个任务之间是相互有关联的这一信息，在样本量较少??的情况下容易出现过拟合情况，模型的泛化性能效果较差．??图３．２展示了共享隐层节点的神经网络模型，与图３．１不同，多任务模型在构建??过程中设置各个任务之间共享隐层神经元，而对于不同的任务，其输出的差异由各??自网络的外权参数所控制．而隐层的内权参数由４个任务共同决定．共享神经元的??做法大大降低了由于样本量较小，神经网络模型出现过拟合的风险．??Ｂａｘｔｅｒ＿证明了共享隐层的多任务模型过拟合内权参数的风险为０（Ａ〇，?Ｎ表??示任务个数
【参考文献】：
期刊论文
[1]多核学习方法[J]. 汪洪桥,孙富春,蔡艳宁,陈宁,丁林阁. 自动化学报. 2010(08)
[2]基于协同聚类的多核学习[J]. 牟少敏,田盛丰,尹传环. 北京交通大学学报. 2008(02)
博士论文
[1]多任务学习算法研究[D]. 浦剑.复旦大学 2013
本文编号：3477867
【文章来源】：浙江工商大学浙江省
【文章页数】：54 页
【学位级别】：硕士
【部分图文】：
图２．１：?ＲＳＳＫＬ－ＳＣＲ和ＲＭＳＫＬ－ＳＣＲ算法在数据集１上的拟合性能．??
要点２：在执行ＲＭＳＫＬ－ＳＣＲ的过程中，假设我们目前已经通过交叉验证的方??法确定参数有尺度选取范围丨〇，叫与正则化参数Ａ，如何在该范围［０，叫内选取最??终模型的多个尺度参数丨％丨是一个值得考虑的问题．在图２．２中我们展示５０次随??机选取不同的多尺度参数丨ａ丨，其中１７?＝?２０４８，?Ａ?＝?１．２３５６．可以看到只要确定了??最优参数ａ?Ａ后，通过随机方法取得的不同组别的丨所对应的模型在训练误差??与测试误差上拟合效果类似．由此可以看到在ＲＭＳＫＬ－ＳＣＲ中最重要的是需要确??定参数与Ａ，而的选择只需在尺度范围内进行随机选择即可．??０．０１０???０．０１０－１???０．００８?■?０．００８?■??０．００６?？?０．００６－??姿?０．００４?■?ｕｊ?０．００４?？??Ｉ?０００２?＊?ｉ?０?００２??０．０００?－?０．０００?■??－０．００２．?－０．００２?■??－０．００４?■?－０．００４?■??０?１０?２０?３０?４０?５０?０?１０?２０?３０?４０?５０??ｔ?ｔ??⑷训练误差?（ｂ）测试误差??图２．２：?ＲＭＳＫＬ－ＳＣＲ在数据集１上的误差ＲＭＳＥ，Ｋ＝５０．??要点３：为了探究我们ＲＭＳＫＬ－ＳＣＲ算法的学习能力，我们在表２．２中展示了??５种算法的拟合结果，分别列出每种算法的训练误差ＲＭＳＥ与测试误差ＲＭＳＥ，模??型参数与正则化参数的选择是通过在训练数据上使用１０－折交叉验证的方法得到??的，并且在此次实验中设置随机抽取多尺度序列的次数Ｘ?＝?５０．由于随机性的存??在
?ＩＮＰＵＴＳ??图３．１：?４个单任务神经网络模型．??图３．１展示了处理４个相关任务时传统神经网络的做法，分别建立４个单独的??网络模型，各自的样本集仅用来对各自的任务进行求解，４个任务在训练的过程中??相互独立．这种做法抛弃了?４个任务之间是相互有关联的这一信息，在样本量较少??的情况下容易出现过拟合情况，模型的泛化性能效果较差．??图３．２展示了共享隐层节点的神经网络模型，与图３．１不同，多任务模型在构建??过程中设置各个任务之间共享隐层神经元，而对于不同的任务，其输出的差异由各??自网络的外权参数所控制．而隐层的内权参数由４个任务共同决定．共享神经元的??做法大大降低了由于样本量较小，神经网络模型出现过拟合的风险．??Ｂａｘｔｅｒ＿证明了共享隐层的多任务模型过拟合内权参数的风险为０（Ａ〇，?Ｎ表??示任务个数
【参考文献】：
期刊论文
[1]多核学习方法[J]. 汪洪桥,孙富春,蔡艳宁,陈宁,丁林阁. 自动化学报. 2010(08)
[2]基于协同聚类的多核学习[J]. 牟少敏,田盛丰,尹传环. 北京交通大学学报. 2008(02)
博士论文
[1]多任务学习算法研究[D]. 浦剑.复旦大学 2013
本文编号：3477867
本文链接：https://www.wllwen.com/guanlilunwen/tongjijuecelunwen/3477867.html
