三种评分设计下等级反应多水平侧面模型的应用

发布时间：2020-04-30 16:08

【摘要】：基于课程改革要求,各大测验越来越强调对学生分析和问题解决能力的探究。主观题则正满足了这一测验目的,因为这类题型能够反映出被试在作答时采用的答题策略,进而可以推测出被试所掌握的潜在知识结构或认知技能。主观题作答结果的开放性使得当前对其评分仍需依赖于专业的评分者。因此关于如何及时、有效地提高评分信度,保证测验的客观性与公平性也成为了当前心理与教育测评等领域的关注点之一。结合实际,在合理简约的评分设计情境中,运用统计和测量的方法分离引起分数变异的来源,并检测出变异的影响因素,这对出现评分者效应的评分者给予有针对性的训练,进而提升评分精确性具有十分重要的意义。康春花等人(2016)提出的GR-MLFM是在多面Rasch模型、多水平随机系数模型和等级反应模型基础之上建立,兼具上述模型的特征,可用于复杂评分情境下评分者宽严度及相关影响因素的检测与探讨,并且研究者也已通过模拟和实证研究验证了该模型在交叉评分设计情境下具有良好的适用性及稳定性,但其在嵌套和混合评分设计下的性能如何有待进一步验证。因此,本研究将在交叉、嵌套和混合评分设计下验证GR-MLFM的适用性及稳定性,并对三种评分设计下的结果进行相互比较,为实践工作在不同类型评分情境中能够选择适合有效地模型提供一定的理论参考。研究一和研究二均为模拟研究,分别探讨了 GR-MLFM简单模型和完整模型在完全交叉、嵌套和混合三种评分设计下的适用性和稳定性,并对三种设计下的参数估计返真性进行比较。其中,研究一模型中不考虑具体的预测变量的影响;研究二的模型中将被试性别和评分者自信心与责任心分别作为被试和评分者的预测变量加入到模型之中,发展成了完整模型,最后将两个研究下各参数估计值与其真值进行拟合比较。研究一和研究二结果表明,GR-MLFM在三种设计下均能对各参数进行精确估计,且完全交叉设计下的结果与混合设计下的结果基本一致,这两种设计下的参数返真性均好于嵌套设计。研究三为实证研究,目的是在研究一和研究二的基础上,将GR-MLFM完整模型应用于三种评分设计类型下的实践数据中,探讨模型在实际情境中的性能。研究结果表明GR-MLFM在实践中性能良好,能够精确地进行参数估计和有效地检测出评分者效应,且以完全交叉设计为参照,混合设计下的参数估计结果与其更为一致。
【图文】：

评分者,嵌套,财力,完全交叉

１．２．２嵌套设计逡逑嵌套设计（ｎｅｓｔｅｄ邋ｄｅｓｉｇｎ）是指其中一对评分者对某道题进行评分，然后另一对完全逡逑不同的评分者对另外一道题进行评分，例如图１．１ｂ）中评分者１和２评了被试的第一逡逑题，评分者３和４评了被试的第二题。嵌套设计下可以有不同的组合，这种类型的评逡逑分设计就是嵌套设计的一种（黎光明，刘晓喻，谭小兰，周梦培，张敏强，，２０１４）。逡逑在大多数可操作性的评估情境中，由于时间、人力以及财力的限制，评分者就会逡逑被分成多个小组对被试的表现进行评定，这种嵌套评分设计，实质上是一种不完整设逡逑计（Ｂｒｅｎｎａｎ，邋１９８３）。嵌套设计使用了一种特定的分配方式让评分者对被试的作答反应逡逑进行评定，优点之一就是不需要所有评分者评所有被试，从而既节约了时间和财力，逡逑也减轻了评分人员的负担。但是相比于完全交叉设计而言，嵌套设计下所收集到的数逡逑据实质上是具有一定缺失比率的数据

设计框架,评分者,测量方法,多水平方法

逡逑２．４．２整体研究设计逡逑整体研究设计如图２．２所示。逡逑２．５研究意义逡逑２．５．１理论意义逡逑评分者效应是主观评分中系统误差的重要组成部分，与其相关的研宄由来己久。逡逑从测量方法的角度来说，相比于ＣＴＴ、ＧＴ、ＩＲＴ、ＭＲＣＭ以及Ｇ－ＭＬＦＭ，本研究所逡逑采用的ＧＲ－ＭＬＦＭ体现了测量方法和模型的拓展与深入，它结合了多水平方法和逡逑ＧＲＭ的优势，不仅能够用概率函数的形式刻画出被试潜在特质以及评分者宽严度等逡逑２７逡逑
【学位授予单位】：浙江师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：B842

【参考文献】