IRT信度估计值的两个重要影响因素研究

发布时间：2021-04-19 15:01

目的：项目反应理论下的测验信度（以下简称IRT信度），能够评价潜在特质估计的可靠性、稳定性，是测验分数精度和稳定性的宏观指标。本文旨在探讨在不同模型-数据资料拟合条件下，选择何种方法对IRT信度进行估计。方法：本研究以模型-数据资料拟合度以及信度估计方法为自变量，研究其对于估计准确度的主效应及交互效应，能够为不同模型-数据资料拟合度水平下IRT信度估计方法的选择提供参考。本研究采用R软件及其指令包编写计算机模拟程序，采用3*5的两因素混合实验设计，其中模型-数据资料拟合度为被试间变量（“高度拟合”、“中度拟合”和“低度拟合”三种水平模拟数据），IRT信度估计方法为被试内变量（总体信度、边际信度、理论信度、经验信度、Nicewander信度三种水平），以信度估计值的绝对偏差(信度估计值与信度真值之差)为因变量IRT信度估计值偏差的指标。结果：不同IRT信度估计方法对IRT信度影响显著，估计偏差最小的是边际信度，估计偏差最大的是Nicewander信度；不同模型-数据资料拟合度差异，，模型-数据资料拟合度越低，IRT信度估计偏差越大；信度估计方法与模型-数据资料拟合度交互效应显著，边际信度的估计绝对偏差最不易受到模型-数据资料拟合度影响，表现得最为稳定，经验信度稍次；在“高度拟合”水平下，总体信度估计偏差最小；在“中度拟合”和“低度拟合”水平下，边际信度估计偏差最小；Nicewander信度在模型-数据资料拟合度的各水平均是估计偏差最大的。结论：需要根据模型-数据资料拟合度选择适当的IRT信度估计方法。在拟合度较为理想时，用总体信度是最优选择；拟合度一般，边际信度是最佳选择；更差的拟合条件下边际信度依然是最佳选择。而当无法预知拟合度的时候，边际信度首选，其次就是经验信度。
【学位授予单位】：江西师范大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：B841

文章目录

摘要

Abstract

引言

1 文献综述

1.1 信度概念简介

1.2 项目反应理论基本概念简介

1.2.1 潜在特质理论

1.2.2 Logistic 模型

1.2.3 项目信息函数及测验信息函数

1.2.4 模型-数据资料拟合

1.3 IRT 信度定义简介

1.4 研究者对 IRT 信度作用的认识及其观点

1.5 IRT 信度估计公式研究

1.5.1 总体信度（Total Reliability）

1.5.2 理论信度（Theoretical Reliability）

1.5.3 边际信度（Marginal Reliability）

1.5.4 经验信度（Empirical Reliability）

1.5.5 条件信度

1.5.6 Nicewander 信度公式

1.5.7 Raju 公式

1.6 IRT 信度的影响因素研究

1.6.1 项目的难度、区分度及猜测系数的影响

1.6.2 测验长度的影响

1.6.3 项目的评分等级数的影响

1.6.4 潜在特质估计的影响

2 IRT 信度估计值影响因素的实证研究

2.1 提出问题

2.2 研究对象及研究假设

2.3 研究目标和各子目标拟解决的关键问题

2.4 研究方法

2.4.1 自变量设定

2.4.2 因变量指标选择

2.5 数据模拟说明及实验步骤

2.5.1 步骤一：项目参数的模拟

2.5.2 步骤二：被试能力参数

2.5.3 步骤三：作答反应矩阵的模拟

2.5.4 步骤四：能力参数估计

2.5.5 步骤五：计算 IRT 信度真值

2.5.6 步骤六：计算 5 种信度估计值

2.5.7 步骤七：计算因变量值

2.6 实验结果

2.6.1 基本数据

2.6.2 统计检验与分析

3 讨论

3.1 模型-数据资料拟合度对 IRT 信度真值的影响

3.2 模型-数据资料拟合度对 IRT 信度估计偏差的影响

3.3 信度估计方法之间的差异

3.4 指标使用建议

4 结论

5 本研究的特色与意义

5.1 研究的特色与创新之处

5.2 本研究的意义

6 当前研究局限与展望

6.1 缺乏复杂模型的信度估计方法

6.2 估计方法比较研究纳入的因素和方式单一

6.3 估计方法依赖 Fisher 信息函数

6.4 信度估计上限和下限问题尚未定论

参考文献

附录

致谢

在读期间公开发表论文（著）及科研情况

【参考文献】