海量数据中的分布式经验似然估计

发布时间：2022-01-08 06:04

　　当样本量非常大（海量数据）或者数据以分布式的方式存储（如Internet数据）时,由于耗时、内存限制、通信成本以及隐私安全等方面的考虑,传统的统计推断方法不再可行.为了有效地解决海量数据情形下的诸多问题,本文基于分治法在估计方程框架下提出了两种分布式估计量:分布式经验似然估计量（DEL）和分布式指数倾斜经验似然估计量（DETEL）,并得到了这两种估计量的均方误差的一个上界,在一定条件下证明了DEL和DETEL估计量的理论渐近性质,我们发现当分割的样本组数满足一定的条件时,本文所提出的两种分布式估计量与非分布式EL和ETEL估计量具有相同的渐近分布.最后,通过几种不同情形的数值模拟和实际数据分析验证了本文所提估计量的优越性.模拟结果显示:与非分布式EL和ETEL相比,DEL和DETEL方法可以显著地减少运行时间,并且通过两种方法得到的估计量在均方误差评价准则下的差异比较小. 

【文章来源】：兰州大学甘肃省 211工程院校 985工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

(0,1)参数的各种EL估计量的均

兰州大学硕士学位论文海量数据中的分布式经验似然估计(a)(b)(c)(d)图5.2:(0,1)参数的各种ETEL估计量的均方误差随S的变化折线图.(a)-(b)展示了完整折线图,(c)和(d)分别展示了和估计量的均方误差的细节折线图.上,CEL方法运行50次试验需要1603.41s,而当S=2时DEL方法只需693.60s,S=8时只需364.46s.类似于EL,图5.2和表5.2展示了上述ETEL估计量的均方误差.可以看出,当不是很大时,DETEL估计量的效果是比较好的.与CETEL方法相比,DETEL方法明显地减少了运行时间,且DETEL估计量和CETEL估计量在均方误差意义下没有明显的差异.表现为以下几点:(1)对于和来说,DETEL估计量的均方误差总是小于CETEL估计量的均方误差,甚至对于的一部分取值,DETEL估计量的均方误差不超过极大似然估计量的均方误差;28

兰州大学硕士学位论文海量数据中的分布式经验似然估计(a)(b)(c)(d)图5.3:(,2)参数的各种EL估计量的均方误差随S的变化折线图,其中～Unif(2,2),～Unif(0.5,2).(a)-(b)展示了完整折线图,(c)和(d)分别展示了和估计量的均方误差的细节折线图.(2)DETEL估计量和RDETEL估计量总是比SETEL稳健;(3)DETEL方法比CETEL方法需要更短的运行时间,在一个8核Inteli7处理器上,CETEL方法运行50次试验需要4902.37s,而当S=2时DETEL方法只需2989.91s,S=8时只需1614.09s.接下来从(,2)中抽取模拟数据,其中～Unif(2,2),～Unif(0.5,2).图5.3,表5.3和图5.4,表5.4分别展示了各EL和ETEL估计量的均方误差,与(0,1)的情形类似,可以看出,当不是很大时,本文所提出的分布式估计量是有效的.与非分布式方法相比,分布式方法明显地缩短了运行时间,在一个8核Inteli7处理器上,CEL和CETEL方法运行50次试验分别需要390.25s和4713.78s,而31


本文编号：3576026