大数据下Leverage重要性抽样方法的稳健改进

发布时间：2017-09-10 16:11

  本文关键词：大数据下Leverage重要性抽样方法的稳健改进

  更多相关文章： 大数据 重要性抽样 异质性问题 协方差矩阵

【摘要】：大数据以其巨大的样本容量或超高的变量维度使得直接计算变得不再可能,如何有效地抽取一个合适的计算样本是值得思考的问题。本文借鉴Leverage重要性抽样的思想,提出了两种稳健的改进抽样算法,不仅有效地抽取了代表性高的计算样本进行回归估计,还规避了方差大和异质性导致协方差矩阵估计不准的问题。模拟数据的分析显示,相比于Ma(2015)的方法,本文提出的方法具有更为优良的估计结果。
【作者单位】： 对外经济贸易大学统计学院;对外经济贸易大学大数据与风险管理研究中心;中国人民大学统计学院;中国人民大学应用统计研究中心;
【关键词】： 大数据 重要性抽样 异质性问题 协方差矩阵
【基金】：对外经济贸易大学学科建设专项经费“大数据下Leverage重要性抽样方法的稳健改进”(XK2016107) 对外经济贸易大学中央高校基本科研业务费专项资金资助“高维成分数据的稀硫分类算法及应用”(15QD15) 对外经济贸易大学中国企业“走出去”协同创新中心科研项目“大数据与投资选点”(201504YY006A)资助
【分类号】：F224
【正文快照】： 一、引言 随着数据采集技术的不断增强和储存成本的不断降低,数据量正在以级数方式增长并被人们储存,大数据以前所未有的方式影响并改变着我们的工作和生活。 数据量大是大数据的首要特征。如果我们试图利用全部数据研究解释变量和响应变量之间的关系,并进行样本预测,那么巨

【参考文献】

中国期刊全文数据库 前1条

1 Jianqing Fan;Fang Han;Han Liu;;Challenges of Big Data analysis[J];National Science Review;2014年02期

【共引文献】

中国期刊全文数据库 前9条

1 秦磊;熊巍;田茂再;;大数据下Leverage重要性抽样方法的稳健改进[J];统计研究;2016年08期

2 陈夏;闫莉;;广义线性模型的大样本理论及其研究进展[J];陕西师范大学学报(自然科学版);2016年03期

3 王东雨;宇文姝丽;;国外精准医疗研究可视化分析及启示[J];医学信息学杂志;2016年01期

4 孟润堂;罗艺;宇传华;邱杰;周达;;健康大数据在公共卫生领域中的应用与挑战[J];中国全科医学;2015年35期

5 马双鸽;王小燕;方匡南;;大数据的整合分析方法[J];统计研究;2015年11期

6 钱宇华;成红红;梁新彦;王建新;;大数据关联关系度量研究综述[J];数据采集与处理;2015年06期

7 李生慧;徐志伟;郑志杰;;对医学信息大数据趋势下医学统计学教学的几点思考[J];新校园(上旬);2015年10期

8 LIU JingYuan;ZHONG Wei;LI RunZe;;A selective overview of feature screening for ultrahigh-dimensional data[J];Science China(Mathematics);2015年10期

9 梁吉业;冯晨娇;宋鹏;;大数据相关分析综述[J];计算机学报;2016年01期

【相似文献】

中国期刊全文数据库 前3条

1 陈守东;易晓n，

本文编号：825287