高维数据下的协方差和总体均值检验
发布时间：2021-11-13 04:56
随着科技的飞速发展以及大数据时代的到来,统计数据的维数会随着样本量的增加随之增加,有时维数会远远大于样本量,进而造成维数膨胀,使得数学和数据统计分析等学科研究面临重大的挑战压力。经典的统计理论是在维数固定而样本趋于无穷的假定下推导出来的,而高维数据的稀疏性,这与传统统计理论的假定相违背,因此经典多元统计理论不能直接应用到高维数据上。具体来说,高维数据就是“大p小n”现象。在实际中,仅在维数变高（大p）这一方面,就需要修正大量传统的多变量分析理论方法和应用程序。因此,在“大p小n”背景下,经典的统计方法与理论很难应用到高维数据问题中,也不再具有强大的效能。所以,对基于高维数据的假设检验问题,寻找优良的检验方法是不可或缺的。本文在高维数据下,就多元统计分析中的两个基本假设检验问题展开研究:第一个是协方差矩阵相等性检验,第二个是总体均值相等性检验。本篇论文针对这两个高维数据的检验问题,在维数p和样本量n都趋于无穷的情况下分别提出了新的检验统计方法。具体来说,在第一个问题中,也就是高维双样本协方差矩阵相等性检验问题,为了使检验方法更有效,本文提出了一个新的检验统计量—TNew,同时借助F-矩阵...
【文章来源】：山西大学山西省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
不同参数设置221212(ρ,σ,σ,p,n,n)正态分布下NewT的检验水平(百分比)
高维数据下的协方差和总体均值检验223.2的折线图中可以看出NewT的检验水平表现很稳剑a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.1不同参数设置221212(ρ,σ,σ,p,n,n)正态分布下NewT的检验水平(百分比)a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.2不同参数设置221212(ρ,σ,σ,p,n,n)Gamma下NewT的检验水平(百分比)(2)图3.3-3.5分别描绘了在2212σ=σ=1时，正态分布、T分布以及Gamma分布下NewT和XT的检验水平趋势。在正态分布下，可以从图3.3中看出，当12p/n,p/n=0.2时，TNew和TX的检验水平有不同的趋势，但并不影响NewT随着样本量12(n,n)逐渐变大，与标准水平5%越来越接近的趋势。虽然XT有相似趋势，但与5%的接近程度比NewT要差一些。而当12p/n,p/n=0.5和12p/n,p/n=0.8时，NewT和XT的检验水平均呈现下降趋势，在相同的样本量12(n,n)下，NewT检验水平的值均小于XT的检验水平值，且NewT的检验水平更接近于标准水平5%，即NewT的检验水平值更接近标准水平5%。总之，图3.3的三个折线图均可表明：在正态分布下，NewT的检验水平比XT表现更好。在T分布下，在12p/n,p/n=0.2和12p/n,p/n=0.8两个折线图中，TNew和XT的检验水平趋势都与正态分布下的结果很相似。但在12p/n,p/n=0.5，样本量为40时，NewT与0.05的距离要比XT与0.05的距离大些，但并不影响在样本量为160、320以及640的情况下，NewT的整体优势。总之，图3.4的三个折线
第三章基于F-矩阵的高维协方差矩阵相等性检验23图均可表明：在T分布下，NewT的检验水平比XT表现更优。在Gamma分布下，当12p/n,p/n=0.2时，从折线图来看，TNew和TX的检验水平有着相似的整体趋势，且相比于XT，随样本量12(n,n)逐渐变大，NewT的检验水平与标准水平5%越来越接近的程度更高；当12p/n,p/n=0.5时，TNew的检验水平呈现出下降的趋势，但XT有些波动，在样本量等于40时，检验水平的值要小于NewT，但在样本量分别为160，320，640时，NewT检验水平的值都小于XT检验水平的值，即NewT的检验水平更接近于标准水平5%；当12p/n,p/n=0.8时，TNew和TX的检验水平跟相同情况下正态分布情形下的结果类似。但是，对于每一样本量12(n,n)，NewT的检验水平值都要比XT的检验水平值小，且NewT的检验水平值更接近标准水平5%。总之，图3.5的三个折线图均表明：在Gamma分布下，与XT相比，NewT的检验水平表现更稳剑a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.3正态分布下TX和TNew的检验水平(百分比)a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.4T分布下TX和TNew的检验水平(百分比)另外，对部分检验功效的实验结果也用折线图进行了描绘。在2212σ=σ=1时，图3.6-3.8分别更加直观地展示了NewT和XT在正态分布、T分布和Gamma分布下的区别。
【参考文献】：
期刊论文
[1]基于随机矩阵理论的WSN异常节点定位算法[J]. 林超,郑霖,张文辉,邓小芳. 计算机工程. 2020(01)
[2]基于随机矩阵谱偏离度的微网状态感知方法研究[J]. 胡旭光,马大中,孙秋野,王睿. 中国电机工程学报. 2019(21)
[3]泛在电力物联网数据挖掘体系建设综述及数据驱动认知框架探究[J]. 贺兴,艾芊,邱才明,张东霞. 电器与能效管理技术. 2019(19)
[4]基于随机矩阵理论的智能电网大数据体系结构设计[J]. 王艺霏,李贤,来骥,陈重韬,连浩. 计算技术与自动化. 2019(03)
[5]滚动轴承高维随机矩阵状态异常检测算法[J]. 倪广县,陈金海,王恒. 西安交通大学学报. 2019(10)
[6]不同协方差下高维数据的MANOVA检验问题[J]. 李顺勇,王一静. 山西大学学报(自然科学版). 2019(03)
[7]基于随机F-矩阵的高维双样本协方差矩阵相等性检验[J]. 何冰,薄晓玲. 吉林大学学报(理学版). 2019(01)
[8]基于推断模型的Behrens-Fisher问题的精确检验[J]. 梁成扬,金华,何美仪,谭银冰. 统计与决策. 2018(17)
[9]实值多变量维数约简:综述[J]. 单洪明,张军平. 自动化学报. 2018(02)
[10]单样本U统计量及其渐近性质[J]. 陈敏琼. 数学的实践与认识. 2017(18)
本文编号：3492363
【文章来源】：山西大学山西省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
不同参数设置221212(ρ,σ,σ,p,n,n)正态分布下NewT的检验水平(百分比)
高维数据下的协方差和总体均值检验223.2的折线图中可以看出NewT的检验水平表现很稳剑a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.1不同参数设置221212(ρ,σ,σ,p,n,n)正态分布下NewT的检验水平(百分比)a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.2不同参数设置221212(ρ,σ,σ,p,n,n)Gamma下NewT的检验水平(百分比)(2)图3.3-3.5分别描绘了在2212σ=σ=1时，正态分布、T分布以及Gamma分布下NewT和XT的检验水平趋势。在正态分布下，可以从图3.3中看出，当12p/n,p/n=0.2时，TNew和TX的检验水平有不同的趋势，但并不影响NewT随着样本量12(n,n)逐渐变大，与标准水平5%越来越接近的趋势。虽然XT有相似趋势，但与5%的接近程度比NewT要差一些。而当12p/n,p/n=0.5和12p/n,p/n=0.8时，NewT和XT的检验水平均呈现下降趋势，在相同的样本量12(n,n)下，NewT检验水平的值均小于XT的检验水平值，且NewT的检验水平更接近于标准水平5%，即NewT的检验水平值更接近标准水平5%。总之，图3.3的三个折线图均可表明：在正态分布下，NewT的检验水平比XT表现更好。在T分布下，在12p/n,p/n=0.2和12p/n,p/n=0.8两个折线图中，TNew和XT的检验水平趋势都与正态分布下的结果很相似。但在12p/n,p/n=0.5，样本量为40时，NewT与0.05的距离要比XT与0.05的距离大些，但并不影响在样本量为160、320以及640的情况下，NewT的整体优势。总之，图3.4的三个折线
第三章基于F-矩阵的高维协方差矩阵相等性检验23图均可表明：在T分布下，NewT的检验水平比XT表现更优。在Gamma分布下，当12p/n,p/n=0.2时，从折线图来看，TNew和TX的检验水平有着相似的整体趋势，且相比于XT，随样本量12(n,n)逐渐变大，NewT的检验水平与标准水平5%越来越接近的程度更高；当12p/n,p/n=0.5时，TNew的检验水平呈现出下降的趋势，但XT有些波动，在样本量等于40时，检验水平的值要小于NewT，但在样本量分别为160，320，640时，NewT检验水平的值都小于XT检验水平的值，即NewT的检验水平更接近于标准水平5%；当12p/n,p/n=0.8时，TNew和TX的检验水平跟相同情况下正态分布情形下的结果类似。但是，对于每一样本量12(n,n)，NewT的检验水平值都要比XT的检验水平值小，且NewT的检验水平值更接近标准水平5%。总之，图3.5的三个折线图均表明：在Gamma分布下，与XT相比，NewT的检验水平表现更稳剑a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.3正态分布下TX和TNew的检验水平(百分比)a)12p/n,p/n=0.2b)12p/n,p/n=0.5c)12p/n,p/n=0.8图3.4T分布下TX和TNew的检验水平(百分比)另外，对部分检验功效的实验结果也用折线图进行了描绘。在2212σ=σ=1时，图3.6-3.8分别更加直观地展示了NewT和XT在正态分布、T分布和Gamma分布下的区别。
【参考文献】：
期刊论文
[1]基于随机矩阵理论的WSN异常节点定位算法[J]. 林超,郑霖,张文辉,邓小芳. 计算机工程. 2020(01)
[2]基于随机矩阵谱偏离度的微网状态感知方法研究[J]. 胡旭光,马大中,孙秋野,王睿. 中国电机工程学报. 2019(21)
[3]泛在电力物联网数据挖掘体系建设综述及数据驱动认知框架探究[J]. 贺兴,艾芊,邱才明,张东霞. 电器与能效管理技术. 2019(19)
[4]基于随机矩阵理论的智能电网大数据体系结构设计[J]. 王艺霏,李贤,来骥,陈重韬,连浩. 计算技术与自动化. 2019(03)
[5]滚动轴承高维随机矩阵状态异常检测算法[J]. 倪广县,陈金海,王恒. 西安交通大学学报. 2019(10)
[6]不同协方差下高维数据的MANOVA检验问题[J]. 李顺勇,王一静. 山西大学学报(自然科学版). 2019(03)
[7]基于随机F-矩阵的高维双样本协方差矩阵相等性检验[J]. 何冰,薄晓玲. 吉林大学学报(理学版). 2019(01)
[8]基于推断模型的Behrens-Fisher问题的精确检验[J]. 梁成扬,金华,何美仪,谭银冰. 统计与决策. 2018(17)
[9]实值多变量维数约简:综述[J]. 单洪明,张军平. 自动化学报. 2018(02)
[10]单样本U统计量及其渐近性质[J]. 陈敏琼. 数学的实践与认识. 2017(18)
本文编号：3492363
本文链接：https://www.wllwen.com/guanlilunwen/tongjijuecelunwen/3492363.html
