核逻辑回归算法研究及其应用
发布时间：2021-04-21 17:53
逻辑回归作为一个经典的线性分类算法,其局限性在于不能作用于非线性数据集。目前常见的做法是将逻辑回归算法与核方法相结合,通过将非线性数据映射到高维空间上,使其在这个高维空间中结构化并线性可分。但是,随着数据规模的不断增大,核方法的使用越来越受限制,在大规模数据的情况下,存储和计算核矩阵的开销都非常的大。如何解决核矩阵的开销问题,以及优化分类算法的求解过程并提高其分类精确度都是目前亟待解决的问题。另外,为了将算法进行实际应用,本文设计并实现了一个遥感图像分类系统,并成功地将核逻辑回归算法研究成果应用到了遥感图像分类中。本文主要研究内容和贡献如下:1.提出了低秩近似核逻辑回归算法。针对核方法会引入一个与数据规模成正相关的核矩阵从而导致算法时间开销增加的问题。本文引入了低秩近似方法去近似求解核矩阵,不仅加速了核矩阵的求解,还通过低秩去掉了数据中的冗余信息,提高了分类精确度。同时还采用了快速对偶优化算法进行优化求解,避免了核矩阵参与迭代运算,进一步减少了算法的时间开销。2.提出了多核稀疏多元逻辑回归算法。首先,考虑到核逻辑回归算法普遍适用于二分类的问题,于是将其扩充成了适用于多分类任务的核稀疏多...
【文章来源】：重庆邮电大学重庆市
【文章页数】：67 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 引言
1.1 选题背景与研究意义
1.2 国内外研究现状
1.2.1 核方法的研究现状
1.2.2 核逻辑回归算法的研究现状
1.3 论文主要研究内容
1.4 论文的结构安排
1.5 本章小结
第2章 相关技术
2.1 逻辑回归算法
2.2 稀疏多元逻辑回归算法
2.3 优化算法
2.3.1 梯度下降法
2.3.2 牛顿迭代法
2.3.3 快速对偶算法
2.4 核方法
2.5 低秩近似方法
2.6 多核学习算法
2.7 本章小结
第3章 低秩近似核逻辑回归算法
3.1 问题提出与研究思路
3.2 低秩近似核逻辑回归算法
3.2.1 梯度下降法求解核逻辑回归
3.2.2 牛顿迭代法求解核逻辑回归
3.2.3 快速对偶算法
3.2.4 快速对偶算法联合低秩近似方法
3.2.5 收敛性分析
3.3 低秩近似联合凸优化算法
3.4 实验与结果分析
3.4.1 数据集介绍
3.4.2 不同数据集实验结果对比
3.4.3 实验结果分析
3.5 本章小结
第4章 基于中心对齐多核学习的稀疏多元逻辑回归算法
4.1 问题提出与研究思路
4.2 核稀疏多元逻辑回归算法
4.2.1 稀疏优化算法
4.2.2 核稀疏多元逻辑回归优化算法
4.3 基于中心对齐的多核学习算法
4.3.1 中心对齐定义
4.3.2 内核的线性组合
4.4 多核稀疏多元逻辑回归算法
4.5 实验与结果分析
4.5.1 实验设置
4.5.2 不同数据集实验结果对比
4.5.3 实验结果分析
4.6 本章小结
第5章 遥感图像分类系统的设计与实现
5.1 遥感图像分类的一般过程
5.1.1 遥感图像地物表示与特征提取
5.1.2 分类器训练与预测
5.2 遥感图像分类中存在的问题与解决方法
5.3 系统需求分析
5.3.1 软硬件环境要求
5.3.2 系统功能需求
5.4 系统设计
5.4.1 架构设计
5.4.2 功能模块设计
5.5 系统展示
5.5.1 遥感图像分类系统的界面展示
5.5.2 遥感图像分类结果及地物类别展示
5.6 本章小结
第6章 总结与展望
6.1 研究工作总结
6.2 未来研究展望
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果
【参考文献】：
期刊论文
[1]An Adaptive RBF Neural Network Control Method for a Class of Nonlinear Systems[J]. Hongjun Yang,Jinkun Liu. IEEE/CAA Journal of Automatica Sinica. 2018(02)
[2]联合核稀疏多元逻辑回归和TV-L1错误剔除的高光谱图像分类算法[J]. 徐金环,沈煜,刘鹏飞,肖亮. 电子学报. 2018(01)
[3]基于Boosting框架的非稀疏多核学习方法[J]. 胡庆辉,李志远. 计算机应用研究. 2016(11)
[4]采用半定规划多核SVM的语音情感识别[J]. 姜晓庆,夏克文,夏莘媛,祖宝开. 北京邮电大学学报. 2015(S1)
[5]多核学习方法[J]. 汪洪桥,孙富春,蔡艳宁,陈宁,丁林阁. 自动化学报. 2010(08)
本文编号：3152214
【文章来源】：重庆邮电大学重庆市
【文章页数】：67 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 引言
1.1 选题背景与研究意义
1.2 国内外研究现状
1.2.1 核方法的研究现状
1.2.2 核逻辑回归算法的研究现状
1.3 论文主要研究内容
1.4 论文的结构安排
1.5 本章小结
第2章 相关技术
2.1 逻辑回归算法
2.2 稀疏多元逻辑回归算法
2.3 优化算法
2.3.1 梯度下降法
2.3.2 牛顿迭代法
2.3.3 快速对偶算法
2.4 核方法
2.5 低秩近似方法
2.6 多核学习算法
2.7 本章小结
第3章 低秩近似核逻辑回归算法
3.1 问题提出与研究思路
3.2 低秩近似核逻辑回归算法
3.2.1 梯度下降法求解核逻辑回归
3.2.2 牛顿迭代法求解核逻辑回归
3.2.3 快速对偶算法
3.2.4 快速对偶算法联合低秩近似方法
3.2.5 收敛性分析
3.3 低秩近似联合凸优化算法
3.4 实验与结果分析
3.4.1 数据集介绍
3.4.2 不同数据集实验结果对比
3.4.3 实验结果分析
3.5 本章小结
第4章 基于中心对齐多核学习的稀疏多元逻辑回归算法
4.1 问题提出与研究思路
4.2 核稀疏多元逻辑回归算法
4.2.1 稀疏优化算法
4.2.2 核稀疏多元逻辑回归优化算法
4.3 基于中心对齐的多核学习算法
4.3.1 中心对齐定义
4.3.2 内核的线性组合
4.4 多核稀疏多元逻辑回归算法
4.5 实验与结果分析
4.5.1 实验设置
4.5.2 不同数据集实验结果对比
4.5.3 实验结果分析
4.6 本章小结
第5章 遥感图像分类系统的设计与实现
5.1 遥感图像分类的一般过程
5.1.1 遥感图像地物表示与特征提取
5.1.2 分类器训练与预测
5.2 遥感图像分类中存在的问题与解决方法
5.3 系统需求分析
5.3.1 软硬件环境要求
5.3.2 系统功能需求
5.4 系统设计
5.4.1 架构设计
5.4.2 功能模块设计
5.5 系统展示
5.5.1 遥感图像分类系统的界面展示
5.5.2 遥感图像分类结果及地物类别展示
5.6 本章小结
第6章 总结与展望
6.1 研究工作总结
6.2 未来研究展望
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果
【参考文献】：
期刊论文
[1]An Adaptive RBF Neural Network Control Method for a Class of Nonlinear Systems[J]. Hongjun Yang,Jinkun Liu. IEEE/CAA Journal of Automatica Sinica. 2018(02)
[2]联合核稀疏多元逻辑回归和TV-L1错误剔除的高光谱图像分类算法[J]. 徐金环,沈煜,刘鹏飞,肖亮. 电子学报. 2018(01)
[3]基于Boosting框架的非稀疏多核学习方法[J]. 胡庆辉,李志远. 计算机应用研究. 2016(11)
[4]采用半定规划多核SVM的语音情感识别[J]. 姜晓庆,夏克文,夏莘媛,祖宝开. 北京邮电大学学报. 2015(S1)
[5]多核学习方法[J]. 汪洪桥,孙富春,蔡艳宁,陈宁,丁林阁. 自动化学报. 2010(08)
本文编号：3152214
本文链接：https://www.wllwen.com/guanlilunwen/gongchengguanli/3152214.html
