一种基于高等代数的线性最小二乘问题的解法

发布时间：2021-11-09 05:11

　　自从19世纪初勒让德提出线性最小二乘问题以来,诸多数学家已经就它的意义、误差分析及解法进行了广泛的研究,但基于高等代数理论的解法在许多资料上只有零散的讨论,为此提出了一种基于高等代数理论的线性最小二乘问题的解法。基于严格的证明,得到了适用于数据集为列满秩和非列满秩时的解法,并进一步推算出解集中的最优最小二乘解。实验证明该算法确实可以得到最优最小二乘解,并且在数据集属性数较少的情况下优于负梯度下降法。 

【文章来源】：东莞理工学院学报. 2020,27(05)

【文章页数】：7 页

【部分图文】：

算法流程图

不同特征占比的时间开销

图4展示了两种算法在数据集记录数为1 000的前提下，不同数据集属性数的时间开销结果。由图4可知属性数小于355时高代法更快，大于355时负梯度下降法更快，说明高代法适用于数据集属性数较少的情况，这验证了本文的复杂度分析。应该注意的是两种算法的分界点不是固定的，与数据集、负梯度下降法的循环次数以及学习率有关。图5展示了两种算法在数据集属性数为350的前提下，不同数据集记录数的时间开销结果，由曲线的增长趋势可知，两种算法的记录数与时间开销呈线性增长关系。图4 不同属性数的时间开销对比

【参考文献】：
期刊论文
[1]线性方程组求解及应用[J]. 石擎天,黄坤阳.  教育教学论坛. 2020(12)
[2]欧氏空间的子空间的正交系与正交补[J]. 陈之辉,于荣格.  沧州师范学院学报. 2019(01)
[3]线性流形上埃尔米特自反矩阵反问题的最小二乘解及其最佳逼近[J]. 王学锋,王江涛.  东莞理工学院学报. 2015(05)
[4]初等变换的关系及可逆矩阵的分解[J]. 张新发.  大学数学. 2003(02)
[5]非线性最小二乘问题的一种迭代解法[J]. 郑洲顺,普乐.  数学理论与应用. 2002(01)
[6]最小二乘法的历史回顾与现状[J]. 陈希孺.  中国科学院研究生院学报. 1998(01)



本文编号：3484692