非凸的鲁棒主成分分析模型及其应用
发布时间：2021-06-11 01:42
如何从含有异常值点或噪声污染的部分观测数据中有效地恢复出低秩部分,这一问题的实现可以广泛地应用于现代社会生活中,包括机器学习,数据挖掘和图像处理等各个领域。例如购物网站的推荐系统:需要针对不同用户,为他们从海量的商品中正确推荐其感兴趣的商品。在实际需求的推动下,主成分分析（Principle Component Analysis,PCA）模型理论逐渐发展,是数据分析的主流方法之一,但该模型缺乏鲁棒性,对非高斯噪声或异常点尤为敏感,使得其无法满足实际需求。为了克服这一缺陷,提出了鲁棒性主成分分析（Robust Principle Component Analysis,RPCA）作为主成分分析的进化模型成为研究的热点问题。相比经典的PCA模型,RPCA模型不仅可以有效恢复出数据的低秩成分,也可以分解得到稀疏部分。Candes等人[14]提出利用l0范数和秩函数的凸包（即l1范数和核范数）对RPCA模型进行凸松弛,本文提出了一种新的非凸RPCA模型具有更好的性能,并给出了相应的算法。论文的主要工作如下:首先提出了基于lp范数的鲁棒主成分分析非凸模型（lp-RPCA）。针对RPCA模型进行凸松...
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
图２．１他（／７红问题［２４】??Ａ＾（／７／ｊｃ问题如图２．丨所示，共有４８万用户对电影评分，电影共有１．８万部，每??
Ｑ范数都是非凸非线性的函数，非凸优化模型（３．３）是ＮＰ难问题，目??前还没有有效的求解办法，因此直接求解上述问题是非常困难的。??为了有效求解上述问题，Ｃａｎｄｈ等人给出理论证明１１４］，在一定条件下：当心??的奇异值对应向量满足一些不相关条件，并且＆足够稀疏时，可以对原始问题进??行凸松弛，有很大的概率可以求解下述凸优化问题而恢复：??ｍｍ?｜｜Ｌ｜｜＊?＋?ＡＨ＾ＩＩｉ??ｓ．ｔ．?Ｘ?＝?Ｌ?＋?Ｓ．?（３．４）??灞??被污染观测矩阵Ｘ?低秩矩阵Ｌ?稀疏误差Ｓ??图３．１?ＲＰＣＡ示意图??即对矩阵的秩和范数分别用核范数和匕范数进行凸松她，这里进行这种凸优??化是因为核范数和丨１范数分别是秩和丨。范数的最优凸近似，由下面参考文献中两个??定理得到：??定理矩阵的Ｚｌ范数是矩阵范数在单位球上的凸包络。??定理３．２％在集合５?＝?｛ｘｅ／＾ｘｎ｜丨ｍｉ?ｄ｝上，矩阵的核范数ＩＩ川Ｕ是矩阵秩函数??ｒａｎ／ｃ〇４）的凸包。??根据上述两个引理，可以将问题（３．３）进行凸松弛为问题（３．４），此时（３．４）是凸问??题，即存在唯一的最小解（最优解），在参考文献［１４］中，Ｃａｎｄｈ等人将凸优化问题??（３．４）称为主成分追踪，这里的加权系数Ａ，通过实验验证，当取；１?＝?ｌＡ／ｍａｘ（ｍ，ｎ）??时往往可以得到最优结果。??１２??
ＰＣＡ模型??４．１。范数最小化问题??４．１．１，口范数特点??由表１．１说明了ｋ范数的定义，矩阵的Ｇ范数和核范数分别是矩阵的／ｐ范数和矩??阵奇异值向量的＆范数当ｐ?＝?１时的特殊情况。???■???———｝?１｜?????ｐ＝＾．５ｆ／?Ｐ＝°－５???ｐ＝１?ｆ?／?／?Ｐ＝１??３?＼??ｐ＝２?０?５?／?＾?－－－－－?ｐ＝２??＼?ｙ?／?／??：［＼Ｚ］??？２－１０１２?－１?＊＊０－５?０?０．５?１??Ｘ?ｘ，??图４．１?一维情况下丨ｐ范数?图４．２二维情况下Ｚｐ范数??从图４．１、图４．２上可以明显看到，范数可以更好地连接Ｍ范数和卜范数之间??的间隔，因此矩阵的／ｐ范数（〇＜ｐ＜ｌ）比卜范数更接近于＆范数，特别地，当ｐ?—?０??时，／ｐ范数就退化成了丨Ｑ范数。进而可以得到相关问题更优化的结果。同理得，当对??矩阵的奇异值向量取／ｐ范数时，会比核范数更接近于秩函数。??原有鲁棒主成分分析模型理论上是使用核范数来逼近矩阵的秩，使用＾范数逼??近矩阵的￣范数，分别约束矩阵的低秩性和稀疏性，矩阵的核范数和〗ｉ范数分别是矩??阵的秩函数和／〇范数的凸包，因此这样得到的模型为凸优化问题，虽然可以计算得??到该凸优化问题的最优解，但并不是真实问题的最优解；另一方面，在ＲＰＣＡ凸近??似模型中采用的＾范数不能表示噪声的结构化信息，也就没有考虑到噪声矩阵本身??的结构信息，这些就导致传统ＲＰＣＡ模型的效果不好。这也是为什么本文选择？范??数对模型进行改进的原因。??１６??
本文编号：3223545
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
图２．１他（／７红问题［２４】??Ａ＾（／７／ｊｃ问题如图２．丨所示，共有４８万用户对电影评分，电影共有１．８万部，每??
Ｑ范数都是非凸非线性的函数，非凸优化模型（３．３）是ＮＰ难问题，目??前还没有有效的求解办法，因此直接求解上述问题是非常困难的。??为了有效求解上述问题，Ｃａｎｄｈ等人给出理论证明１１４］，在一定条件下：当心??的奇异值对应向量满足一些不相关条件，并且＆足够稀疏时，可以对原始问题进??行凸松弛，有很大的概率可以求解下述凸优化问题而恢复：??ｍｍ?｜｜Ｌ｜｜＊?＋?ＡＨ＾ＩＩｉ??ｓ．ｔ．?Ｘ?＝?Ｌ?＋?Ｓ．?（３．４）??灞??被污染观测矩阵Ｘ?低秩矩阵Ｌ?稀疏误差Ｓ??图３．１?ＲＰＣＡ示意图??即对矩阵的秩和范数分别用核范数和匕范数进行凸松她，这里进行这种凸优??化是因为核范数和丨１范数分别是秩和丨。范数的最优凸近似，由下面参考文献中两个??定理得到：??定理矩阵的Ｚｌ范数是矩阵范数在单位球上的凸包络。??定理３．２％在集合５?＝?｛ｘｅ／＾ｘｎ｜丨ｍｉ?ｄ｝上，矩阵的核范数ＩＩ川Ｕ是矩阵秩函数??ｒａｎ／ｃ〇４）的凸包。??根据上述两个引理，可以将问题（３．３）进行凸松弛为问题（３．４），此时（３．４）是凸问??题，即存在唯一的最小解（最优解），在参考文献［１４］中，Ｃａｎｄｈ等人将凸优化问题??（３．４）称为主成分追踪，这里的加权系数Ａ，通过实验验证，当取；１?＝?ｌＡ／ｍａｘ（ｍ，ｎ）??时往往可以得到最优结果。??１２??
ＰＣＡ模型??４．１。范数最小化问题??４．１．１，口范数特点??由表１．１说明了ｋ范数的定义，矩阵的Ｇ范数和核范数分别是矩阵的／ｐ范数和矩??阵奇异值向量的＆范数当ｐ?＝?１时的特殊情况。???■???———｝?１｜?????ｐ＝＾．５ｆ／?Ｐ＝°－５???ｐ＝１?ｆ?／?／?Ｐ＝１??３?＼??ｐ＝２?０?５?／?＾?－－－－－?ｐ＝２??＼?ｙ?／?／??：［＼Ｚ］??？２－１０１２?－１?＊＊０－５?０?０．５?１??Ｘ?ｘ，??图４．１?一维情况下丨ｐ范数?图４．２二维情况下Ｚｐ范数??从图４．１、图４．２上可以明显看到，范数可以更好地连接Ｍ范数和卜范数之间??的间隔，因此矩阵的／ｐ范数（〇＜ｐ＜ｌ）比卜范数更接近于＆范数，特别地，当ｐ?—?０??时，／ｐ范数就退化成了丨Ｑ范数。进而可以得到相关问题更优化的结果。同理得，当对??矩阵的奇异值向量取／ｐ范数时，会比核范数更接近于秩函数。??原有鲁棒主成分分析模型理论上是使用核范数来逼近矩阵的秩，使用＾范数逼??近矩阵的￣范数，分别约束矩阵的低秩性和稀疏性，矩阵的核范数和〗ｉ范数分别是矩??阵的秩函数和／〇范数的凸包，因此这样得到的模型为凸优化问题，虽然可以计算得??到该凸优化问题的最优解，但并不是真实问题的最优解；另一方面，在ＲＰＣＡ凸近??似模型中采用的＾范数不能表示噪声的结构化信息，也就没有考虑到噪声矩阵本身??的结构信息，这些就导致传统ＲＰＣＡ模型的效果不好。这也是为什么本文选择？范??数对模型进行改进的原因。??１６??
本文编号：3223545
本文链接：https://www.wllwen.com/guanlilunwen/tongjijuecelunwen/3223545.html
