基于EM算法的缺失数据的统计分析及应用

发布时间：2017-06-12 12:04

  本文关键词：基于EM算法的缺失数据的统计分析及应用，，由笔耕文化传播整理发布。

【摘要】：EM是一种专门用于求解参数极大似然估计的迭代算法。特别地,它为有缺失数据条件下的参数估计提供了一个标准的理论框架,这里的缺失有以下两种情况:一种是我们所研究的问题中确实存在数据的缺失;另一种是原始数据是完全的,但由于似然函数的求解十分困难,而额外添加一些数据就能将原来十分复杂的过程转化成一系列简单的似然函数优化问题,于是原始数据自然就成为了不完全数据。由于EM算法具有良好的收敛性和每次迭代都能使似然函数值单调不减的优良性质,所以许多与缺失数据有关的问题中都会结合EM算法来分析,也难怪有学者称EM算法和缺失数据如同一对孪生姐妹一般总是如影随形。本文主要对EM在含缺失数据的统计分析及应用中作了以下几方面的研究:(1)引言。主要介绍了本文研究的背景、意义以及国内外研究现状。(2)理论基础的构建部分。首先介绍了缺失数据的产生的原因、机制和模式;其次对极大似然估计的理论作了简要概述;最后介绍了EM算法的相关理论,在这一部分中详述了对EM算法的几种解释,从而加深了对该算法的理解。(3)EM算法在含缺失数据的调查表中的应用。这是EM算法在实际生活中的一类非常重要的应用,在这部分中我们首先将该算法应用在常见的调查表中数据有缺失的情形,然后以重庆市居民的交通起止点调查表为例,用EM算法来补全表中的数据并对其中的参数进行估计,从而很好的展现了该算法的实用价值。(4)EM算法在混合模型中的应用。在这一部分中我们主要研究了EM算法在二阶高斯混合模型和多层混合模型中的应用,其中在研究EM算法在二阶高斯混合模型中的应用时,我们将观测数据划分成(X,Y)和整体Y的形式,分别在这两种形式下给出模型中参数的估计,并用Matlab软件进行了随机数值模拟;在研究多层混合模型时,我们以二项-泊松多层混合模型为例给出了EM算法在该种模型下的参数估计,并用具体的实例来验证了EM算法在处理这类复杂的混合模型参数估计方面的优势,为EM算法在其它复杂混合模型中的应用提供了很好的借鉴。
【关键词】：EM算法 极大似然估计 缺失数据 混合模型 调查表
【学位授予单位】：重庆工商大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：C81
【目录】：

• 摘要5-6
• ABSTRACT6-8
• 第1章 引言8-14
• 1.1 研究背景和意义8-9
• 1.1.1 研究背景8
• 1.1.2 研究意义8-9
• 1.2 国内外的研究现状9-12
• 1.2.1 国外研究现状9-10
• 1.2.2 国内研究现状10-12
• 1.3 研究设计12-14
• 1.3.1 本文的工作12
• 1.3.2 论文的可能创新之处12-13
• 1.3.3 研究框架13-14
• 第2章 缺失数据产生的原因及分类14-19
• 2.1 缺失数据的定义及其产生原因14-15
• 2.1.1 缺失数据的定义14
• 2.1.2 缺失数据产生的原因14-15
• 2.2 缺失数据的分类15-17
• 2.2.1 按照缺失数据的机制分类15-16
• 2.2.2 按照缺失数据的模式分类16-17
• 2.3 缺失数据的处理方法17-19
• 第3章 EM算法的相关理论19-27
• 3.1 EM算法19-23
• 3.1.1 极大似然估计19
• 3.1.2 完备数据集19-20
• 3.1.3 EM算法20-23
• 3.2 EM算法的几种解释23-24
• 3.2.1 直观解释23
• 3.2.2 下界极大化23-24
• 3.3 EM算法的性质24-27
• 第4章 EM算法在调查表中的应用27-32
• 4.1 一个变量缺失的情形27-28
• 4.2 两个变量缺失的情形28-29
• 4.3 实例分析29-32
• 第5章 EM算法在二阶高斯混合模型中的应用32-60
• 5.1 EM算法在高斯混合模型中的应用32-37
• 5.1.1 高斯混合模型简介32-34
• 5.1.2 EM算法高斯混合模型中的参数估计34-37
• 5.2 EM算法在数据分开形式下的二阶高斯混合模型中的应用37-54
• 5.2.1 总体分布的符号说明37-38
• 5.2.2 分开形式下完全数据的二阶高斯混合模型的参数估计38-40
• 5.2.3 分开形式下缺失数据的二阶高斯混合模型的参数估计40-53
• 5.2.4 数值模拟53-54
• 5.3 EM算法在一般形式下的二阶高斯混合模型中的应用54-60
• 5.3.1 一般形式下完全数据的二阶高斯混合模型的参数估计55-57
• 5.3.2 数值模拟57-60
• 第6章 EM算法在二项-泊松多层混合模型中的应用60-66
• 6.1 EM算法在二项-泊松多层混合模型中的参数估计60-63
• 6.2 算法简要步骤63
• 6.3 实例分析63-66
• 第7章 总结和展望66-68
• 7.1 总结66-67
• 7.2 展望67-68
• 参考文献68-72
• 硕士期间发表的学术论文72-73
• 致谢73

【参考文献】

中国期刊全文数据库 前3条

1 杨明,毕涌,雷英杰;混合Weibull分布参数估计的EM算法[J];华北工学院学报;2003年05期

2 钟绍军;童恒庆;;凸约束广义线性模型参数MLE估计的收敛性研究[J];统计与决策;2012年04期

3 翟继友;张鹏;;高斯混合模型参数估值算法的优化[J];计算机技术与发展;2011年11期

中国硕士学位论文全文数据库 前2条

1 连军艳;EM算法及其改进在混合模型参数估计中的应用研究[D];长安大学;2006年

2 陈文强;混合泊松分布模型的参数估计问题[D];西北大学;2009年

  本文关键词：基于EM算法的缺失数据的统计分析及应用，由笔耕文化传播整理发布。

本文编号：443977