层级一致性指标的多级评分拓展

发布时间：2017-08-14 14:22

  本文关键词：层级一致性指标的多级评分拓展

  更多相关文章： 认知诊断 多级计分数据 层级一致性指标 个人拟合指标

【摘要】：认知诊断评估(Cognitive Diagnosis Assessment, CDA)以反应学生认知过程的认知模型为基础,对个体的认知过程、知识结构进行诊断评估。CDA中认知模型准确、合理至关重要,直接影响认知诊断的准确性。目前,关于认知模型合理性验证的指标均针对0-1计分数据,而面对多级计分测验情境,研究者往往将其转换为0-1计分,这会损失部分信息造成对认知模型不精确的评价。据此,本研究将0-1计分层级一致性指标(Hierarchy Consistency Index, HCI)拓展为多级计分层级一致性指标(Generalized Hierarchy Consistency Index, GHCI),并探讨了GHCI的稳定性与精确性。研究分为5个子研究。研究1拓展了层级一致性指标,并针对不同得分情况说明GHCI的可行性、采用具体例子说明GHCI特点。研究2通过模拟研究将GHCI、不同转换比例下的HCI进行比较,并说明HCI在多级计分中随转换比例的变化。研究3通过模拟研究探讨GHCI对不同层级结构错误(错层、颠倒、有变无、无变有)的灵敏性。研究4通过模拟研究探讨GHCI对被试不同类型异常反应的灵敏性。研究5采用GHCI分析小学数学应用题问题解决中认知模型的合理性并检测异常反应被试,以说明GHCI在教育实践中的适用性。具体研究结果如下：(1)本研究对GHCI的拓展是可行的、合理的。GHCI针对多级计分的不同得分情况是可行的,可用于混合计分数据。GHCI较HCI具有一定的优势,对被试反应的评价更细致和准确。(2)对各属性层级结构下多级计分数据的模拟中,GHCI均值显著大于各种转换比例下的HCI均值,HCI低估了被试数据与认知模型的一致性。HCI受到转换比例的影响。随转换比例的提高,不同属性层级结构中HCI变化情况各不相同。(3) GHCL对层级关系错误具有灵敏性。针对不同类型的层级关系错误,GHCI均表现出随着错误程度的加深,其均值的降幅逐渐增大。GHCI;对不同类型的层级关系错误的灵敏性不同：在层级关系错层、属性颠倒、层级关系无变有的误设中GHCI均值随着误设程度的加深,降幅明显增加；在层级关系有变无中GHCI均值降幅均较小,对其灵敏性较其他类型层级关系错误较差。(4) GHCI. HCI对异常反应的灵敏性各有优势。GHCI对创造性反应的检出率更高,HCI对层级结构错误造成的异常反应的检出率更高。GHCI、HCI的检出率均随着测验长度的增加而上升。GHCI、HCI对创造性反应上检出率随区分度的降低逐渐下降,对层级错误造成的异常反应的检出率随区分度的降低,在不同项目个数中变化趋势各不相同。(5)实证研究中,小学数学应用题问题解决的GHCI均值为.757,大于其截断值,验证了该层级结构合理,能够反应学生应用题问题解决的认知规律。作为个人拟合指标,GHCI的截断值波动范围较小,更稳定。GHCI、HCI检出的异常反应被试各不相同。(6)实证研究中HCI随转换比例的增大,其均值逐渐下降。GHCI显著大于100%转换比例下HCI。HCI估了大部分学生作答状况与期望作答模式的一致性和属性层级结构合理性。GHCI对被试反应模式与期望模式的一致性的评价更细致。
【关键词】：认知诊断 多级计分数据 层级一致性指标 个人拟合指标
【学位授予单位】：浙江师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：B842.1
【目录】：

• 摘要3-5
• ABSTRACT5-14
• 1 文献综述14-27
• 1.1 认知诊断评估14-15
• 1.2 认知诊断评估的过程15-16
• 1.3 认知诊断评估诊断与分类精确性的影响因素16-22
• 1.3.1 测验因素16-20
• 1.3.2 被试因素20-21
• 1.3.3 模型因素21-22
• 1.4 属性层级一致性的验证方法22-25
• 1.4.1 层级一致性指标22-24
• 1.4.2 个人拟合指标24-25
• 1.5 考试改革与多级评分模型25-27
• 2 问题提出与研究设计27-31
• 2.1 问题提出27-28
• 2.1.1 属性层级一致性指标：仅限于0-1评分情境27
• 2.1.2 考试改革的推行：考试形式和评分方式日趋多样化27-28
• 2.1.3 属性层级不拟合的原因：认知模型缺陷?或个体反应偏差?28
• 2.2 研究设计28-29
• 2.3 研究意义29-31
• 3 研究一：层级一致性指标的多级评分拓展31-39
• 3.1 HCI的描述31-33
• 3.1.1 HCI公式及含义31-32
• 3.1.2 HCI的计算32-33
• 3.2 多级计分的特殊性33
• 3.3 HCI的拓展：多级计分层级一致性指标33-37
• 3.3.1 GHCI的公式及含义34-36
• 3.3.2 不同得分情况下GHCI计算举例36-37
• 3.4 GHCI的特征37-39
• 3.4.1 GHCI中比较数为0的被试比例较少37
• 3.4.2 GHCI对被试评价更细致37-38
• 3.4.3 GHCI可用于混合计分38-39
• 4 研究二：GHCI作为层级一致性指标的精确性和稳定性39-46
• 4.1 研究目的39
• 4.2 研究设计39-40
• 4.3 研究过程40
• 4.3.1 数据生成40
• 4.3.2 数据分析思路40
• 4.4 研究结果40-44
• 4.4.1 HCI均值因属性层级和转换比例不同而异40-42
• 4.4.2 GHCI均值因属性层级而异42
• 4.4.3 GHCI与HCI的均值比较42-44
• 4.4.4 GHCI较少出现分母为0的情况44
• 4.5 讨论与结论44-46
• 4.5.1 多级计分情境,HCI会低估属性层级的一致性44-45
• 4.5.2 HCI应用于多级计分情境,应根据属性层级设定转换比例45
• 4.5.3 GHCI适宜多级计分情境,拟合截断值的设置可因属性层级而异45-46
• 5 研究三：GHCI作为层级一致性指标的灵敏性46-61
• 5.1 研究目的46
• 5.2 研究假设46
• 5.3 研究方法46-48
• 5.3.1 各种误设条件的界定46-47
• 5.3.2 研究设计47
• 5.3.3 数据分析思路47-48
• 5.4 分析过程48-56
• 5.4.1 层级结构中存在错层的分析过程48-51
• 5.4.2 层级结构中存在层级关系颠倒的分析过程51-52
• 5.4.3 层级结构中存在有层级变无层级的分析过程52-55
• 5.4.4 层级结构中存在无层级关系变有层级关系的分析过程55-56
• 5.5 研究结果56-59
• 5.5.1 GHCI降幅随层级结构误设程度加深变大56-58
• 5.5.2 GHCI降幅在不同误设情况下变化不同58-59
• 5.6 讨论与结论59-61
• 5.6.1 GHCI与HCI误设结果的比较59
• 5.6.2 GHCI作为层级一致性指标的有效性59-60
• 5.6.3 GHCI在属性层级结构有变无时降幅较小60-61
• 6 研究四：GHCI作为个人拟合指标的灵敏性61-69
• 6.1 研究目的61
• 6.2 研究假设61
• 6.3 研究设计61-63
• 6.3.1 实验设计61-62
• 6.3.2 测验长度和项目区分度设置62
• 6.3.3 异常反应类型设置62-63
• 6.4 研究过程63-64
• 6.4.1 截断值的确定63-64
• 6.4.2 异常反应被试GHCI、HCI的计算64
• 6.4.3 灵敏性的评价64
• 6.5 研究结果64-66
• 6.5.1 GHCI、HCI截断值的变化64-65
• 6.5.2 GHCI、HCI对异常反应被试的检出率比较65-66
• 6.6 讨论与结论66-69
• 6.6.1 GHCI作为个人拟合指标具有灵敏性66
• 6.6.2 GHCI、HCI检出率随测验长度变化66-67
• 6.6.3 GHCI、HCI检出率随区分度变化67-68
• 6.6.4 GHCI、HCI检出率在不同类型异常反应的灵敏性68-69
• 7 研究五：GHCI在实证研究中的应用69-77
• 7.1 研究目的69
• 7.2 数据来源69-70
• 7.3 研究过程和方法70-71
• 7.3.1 模拟研究的过程和方法70-71
• 7.3.2 实证研究的过程和方法71
• 7.4 研究结果71-75
• 7.4.1 实证被试数据与认知模型的拟合71
• 7.4.2 HCI值随转换比例的变化71-72
• 7.4.3 被试的GHCI显著大于100%转换比例下的HCI72
• 7.4.4 不同范围GHCI值与100%转换比例下HCI值的分布状况72-73
• 7.4.5 GHCI值与HCI值的总体分布73-74
• 7.4.6 被试个体异常反应情况74-75
• 7.5 讨论与结论75-77
• 7.5.1 GHCI拓展的有效性75
• 7.5.2 不同转换比例下HCI在实证数据中的比较75-76
• 7.5.3 GHCI的截断值选取受特定实验条件的影响76-77
• 8 总结与展望77-80
• 8.1 研究结论77-78
• 8.2 研究展望78-80
• 参考文献80-86
• 攻读学位期间取得的研究成果86-87
• 致谢87-90

【参考文献】

中国期刊全文数据库 前10条

1 康春花;孙小坚;曾平飞;;基于等级反应模型的多水平多侧面评分者模型[J];心理科学;2016年01期

2 康春花;吴会云;陈婧;曾平飞;;小学数学“图形与几何”认知诊断测验的编制[J];教育测量与评价(理论版);2015年10期

3 秦春影;仝海燕;卢西庄;黄磊;;属性不独立对DINA模型参数估计的影响[J];齐齐哈尔大学学报(自然科学版);2014年01期

4 丁树良;罗芬;汪文义;;认知诊断分类中心的确定[J];心理学探新;2013年05期

5 张淑梅;包钰;郭文海;;一种多级评分的广义认知诊断模型[J];心理学探新;2013年05期

6 涂冬波;蔡艳;戴海琦;;基于HO-DINA模型的多级评分认知诊断模型的开发[J];心理科学;2013年04期

7 丁树良;王文义;罗芬;;认知诊断中Q矩阵和Q矩阵理论[J];江西师范大学学报(自然科学版);2012年05期

8 涂冬波;蔡艳;戴海琦;;几种常用非补偿型认知诊断模型的比较与选用:基于属性层级关系的考量[J];心理学报;2013年02期

9 田伟;辛涛;;基于等级反应模型的规则空间方法[J];心理学报;2012年02期

10 颜远海;丁树良;汪文义;;影响AHM与DINA诊断准确率的因素研究[J];江西师范大学学报(自然科学版);2011年06期

中国博士学位论文全文数据库 前1条

1 宋丽红;DINA改进模型（R-DINA）的提出及三个诊断模型自动选择机制研究[D];江西师范大学;2012年

中国硕士学位论文全文数据库 前4条

1 任平;多级聚类诊断法的开发及其在认知诊断评估中的应用[D];浙江师范大学;2015年

2 鲍孟颖;运用DINA模型对5年级学生数学应用题问题解决进行认知诊断[D];华东师范大学;2014年

3 毛萌萌;AHM模型下的新分类方法[D];江西师范大学;2008年

4 祝玉芳;RSM改进及多级评分AHM的开发研究[D];江西师范大学;2008年

，

本文编号：673110