计算机模拟病例考试的评价及难度研究

发布时间：2020-05-30 17:38

【摘要】： 前言 随着现代医学对医生实践能力要求的提高以及计算机技术的广泛应用,新的测量医学生临床实践能力的考试形式,如客观结构化临床考试(ObjectiveStructured Clinical Examination,OSCE)和计算机模拟病例考试(Computer-based Case Simulations,CCS)逐渐得到各国医学教育界的青睐。计算机模拟病例考试在医学领域的研究和运用开始于上世纪70年代,是由美国的NBME开发使用的。CCS由计算机提供逼真的诊疗环境、通过对患者疾病状况的动态的、人机交互的模拟,来实现模拟临床环境下医生对模拟病人动态的、没有暗示的诊断、治疗和监护的全过程。病程的发展是通过模拟时间的推进、以及考生的诊疗干预共同控制的。CCS的评分是利用计算机程序来完成的,CCS的评分思想是模拟专家思维进行评分,通过比较考生与专家管理病人的思维差别,来为考生的表现打分。 我校从2001年以来开发的计算机模拟考试系统。经过不断地发展和完善,从2006年开始逐渐通过修改考试程序和评分程序,增加了诊断和鉴别诊断的检索回答功能,逐步取消了人工参与的评分过程,使考试形式以及评分过程更加客观,从而方便考生的答题以及评分者评分。为了加大考生对这种考试形式的认同度,利于在全国范围推广,通过重新编写部分程序,CCS系统又增加了级联菜单选择录入诊疗操作的功能,并已经于2007年试点应用在执业医师实践技能考试中。 过去对CCS难度的研究主要是依据经典测验理论进行的,没有进一步深入进行现代测验理论方面考试的分析和研究。2007年重点学习了项目反应理论的有关知识,特别是理论模型较简单,数学基础坚实,结果稳定可靠的单参数Rasch模型,本次研究使用Conquest 2.0软件对大样本的考试数据进行分析和研究。 对象与方法 本研究以参加毕业综合考试的中国医科大学2000、2001和2002级临床医学专业全部1141名学生为研究对象,其中2000级352名;2001级5年制学生206名,7年制学生59名;2002级5年制学生295名,7年制学生229名。考试时间5年制学生从每年4月中旬到下旬;7年制学生从每年9月上旬到中旬。 结果 一、考试效度与信度分析 (一)效度分析 1、效标-关联效度 以标准化病人考试、第五学年理论综合考试成绩为效标,2005年、2006年、2007年的五年制和七年制学生的计算机模拟病例考试与这两种考试形式之间都存在中到低度并且具有显著的统计学意义的相关。其中2005年的CCS考试成绩与第五学年末理论综合考试成绩、2007年CCS考试成绩与标准化病人考试成绩相关系数稍大。 2、重测信度分析 根据2007年五年制和七年制CCS考试实验设计,采取人工干预和计算机随机选题结合的方式从9个病例中抽取考试病例,保证了每个考生用两种不同的答题方式回答同一个病例,所以可以通过两种不同答题方式的结果相关分析来估计考试的重测信度,结果见表2,发现两种答题方式的相关程度很高,相关系数都在0.7以上两种答题方式的相关都具有显著的统计学意义。 二、计算机模拟病例各评分项目难度分析 (一)计算机模拟病例考试考生能力与项目难度的分布情况 项目信度(Separation Reliability)为0.999,说明此病例分析具有良好信度。样本与项目分布情况见图4。图中左侧的717名考生能力基本符合正态分布;右侧的题目按难度高低从上向下排列,同样可以看出Q12、Q18、Q20、Q11、Q22和Q13题目偏难,几乎没有考生能够回答正确;而Q26、Q24、Q25、Q3和Q27题目偏易,其余试题难度分布比较均匀。 (二)计算机模拟病例诊断性辅助检查题目难度分析 经Rasah分析该病例诊断性辅助检查题目的难度和拟合度,可以发现有的项目(Q22)难度偏高,难度值超过2,相应地这些题目的拟合度较差,Q22的未加权拟合度的绝对值大于2。同时有的项目(Q03)难度偏低,甚至低于-3,其余的项目的难度和拟合度都较好。 (三)计算机模拟病例治疗与监护题目难度分析 经Rasch分析其题目的难度和拟合度,可以发现有些项目难度偏高,难度值甚至超过3,相应地这些题目的拟合度较差,其中Q12、Q18、Q20和Q1的未加权拟合度的绝对值都大于2;同时有些项目难度偏低,甚至低于-3,其中Q24和Q27的的未加权拟合度的绝对值都大于2,而且Q27的标准误较大,程序显示该项目为强行估计值;其余的项目的拟合度较好。 (四)计算机模拟病例病史与检体题目难度分析 经Rasch分析该病例病史与检体题目的难度和拟合度,可以发现项目Q1难度偏低,难度值接近-2,但此题目的拟合度比较好。说明这是一道题目难度低但是试题质量较好的题。 三、经典测量理论与项目反映理论对计算机模拟病例项目难度的分析比较 大部分项目的区分度都在0.2以上,只有难度偏高和偏低的5道题目区分度较低,对07年毕业实践技能考试的计算机模拟病例的难度分别用经典测量理论和项目反应理论进行相关分析,相关系数为-0.986,存在高度的相关。 结论 1、计算机模拟病例具有很好的表面效度和内容效度,效标关联效度较好。 2、计算机模拟病例的自由输入式答题方式和级联菜单式答题方式具有较好的重测信度。 3、对心梗病例27个评分项目分析,发现计算机模拟病例难度较高,主要由于治疗与监护项目难度大,拟合度大部分较好。 4、对心梗病例27个评分项目分别应用经典测量理论和项目反应理论进行难度分析,分布趋势一致,由于表示形式不同,所以存在高度的负相关。
【图文】：

考生能力与项目难度的分布情况

LatentTrait【Iogit*)Delta(s):2.30图3，项目22的特征曲线图3为考生潜在能力与正确回答该项目概率的特征曲线图。横轴代表考生的潜在能力，在这里主要指考生的诊疗思维和诊疗决策能力。范围从一co一+co，但是实际计算中取值一般在一3~+3之间。纵轴代表具备一定能力的考生正确回答
【学位授予单位】：中国医科大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：R-4

【相似文献】

相关期刊论文 前10条

1 倪士光;李虹;徐继红;JINNAM CHOI;;主动拖延量表在中国大学生群体中的修订及信效度检验[J];中国临床心理学杂志;2011年04期

2 郝志红;梁宝勇;;寻求心理咨询帮助的行为意向问卷的修订[J];中国临床心理学杂志;2011年03期

3 王冬;吴娴波;范耿;;大学生健康生活方式评价量表条目的初步筛选[J];现代预防医学;2011年18期

4 杨雅琴;王拥军;冯涛;张玉梅;;平衡评价量表在临床中的应用[J];中国康复理论与实践;2011年08期

5 刘园园;肖世富;;成套神经心理测验及其分测验在痴呆中的应用评价[J];中华临床医师杂志(电子版);2011年08期

6 沈峰;周惠清;陈光榆;宋立升;刘燕;杨琳;陈丽丽;李定国;;匹兹堡睡眠质量指数在肠易激综合征患者中的应用评价[J];胃肠病学;2011年01期

7 杨铮;陆金根;尤圣富;花永强;万崇华;郑培永;宋毅;柳涛;;基于中医理论的恶性肿瘤生活质量评价体系之肺癌量表的研制[J];现代预防医学;2011年18期

8 徐巍;张莺;杜文津;张春婷;薛曾;;简易躯体功能评估工具的初步研究[J];护理研究;2011年16期

9 王冬;许宏;吴娴波;;大学生健康生活方式评价量表的考评及修订[J];中国学校卫生;2011年07期

10 范晓玲;伍如昕;周路平;;4-6年级学生学习策略量表的编制[J];中国临床心理学杂志;2011年04期

相关会议论文 前10条

1 李放;陆蓉蓉;胡永善;吴毅;;健康成年人模拟站-坐-站运动中平衡参数的重测信度研究[A];中国康复医学会运动疗法分会第十一届全国康复学术大会学术会议论文摘要汇编[C];2011年

2 张秋霞;;不同目标力矩时踝关节肌肉力觉的重测信度[A];第十四届全国运动生物力学学术交流大会论文集[C];2010年

3 徐桂丽;刘蓬;;耳鸣严重程度评估方法的研究[A];世界中联耳鼻喉口腔专业委员会换届大会及第三次学术年会暨中华中医药学会耳鼻喉科分会第十七次学术交流会暨广东省中医及中西医结合学会耳鼻喉科学术交流会论文汇编[C];2011年

4 史惟;周美琴;;特殊学校脑瘫儿童步行能量消耗测定重测信度及测量误差研究[A];中国康复医学会运动疗法分会第十一届全国康复学术大会学术会议论文摘要汇编[C];2011年

5 杨子尼;潘建平;;《中国3—6岁城市儿童忽视常模》的研制[A];新世纪预防医学面临的挑战——中华预防医学会首届学术年会论文摘要集[C];2002年

6 吴毅;胡永善;杨晓冰;范文可;;功能综合评定表在脑血管病患者中的信度和效度研究[A];中国康复医学会第三次康复治疗学术大会论文汇编[C];2002年

7 张理义;;精神疾病预测技术的研发及应用[A];全国第十一次精神卫生高级论坛论文汇编[C];2011年

8 姚凯南;;中国儿童气质与儿童的健康[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年

9 邱纪方;张天友;刘晓林;林坚;叶祥明;林秀英;陈健尔;;功能综合测量的信度分析[A];继往开来 与时俱进——2003年康复医学发展论坛暨庆祝中国康复医学会成立20周年学术大会论文集[C];2003年

10 沈悦娣;魏丽丽;姚林燕;章迎春;王新玲;陈炜;李文玉;许百华;;简易智能精神状态检查量表筛查轻度认知损害的应用探讨[A];2011年浙江省心身医学学术年会论文汇编[C];2011年

相关重要报纸文章 前1条

1 新疆维吾尔自治区中医医院 李全智;国家中医临床研究基地 重点疾病研究路径如何构建[N];中国中医药报;2010年

相关博士学位论文 前10条

1 邓静;钙摄入、体力活动与围绝经期骨丢失关系的研究[D];中南大学;2010年

2 从恩朝;儿童期性侵犯与女性抑郁症的风险关联研究[D];复旦大学;2011年

3 朱大乔;护士自身体重与其从事体重管理态度和行为之关系[D];第二军医大学;2011年

4 李放;卒中后偏瘫患者站—坐—站活动的运动特征分析和干预研究[D];复旦大学;2010年

5 唐红英;高血压治疗依从性量表和态度与信念量表的编制及重庆市常模的建立[D];第三军医大学;2011年

6 李景;糖尿病肾病中医药疗效综合评价体系研究[D];北京中医药大学;2012年

7 李海峰;注射性臀肌挛缩症发病机理与临床研究[D];中国人民解放军军医进修学院;2012年

8 吴娟;手术/非手术治疗脊柱转移性肿瘤患者健康相关生命质量研究[D];第二军医大学;2010年

9 Shapour Badiee Aval Baghyahi;常规中药和针灸作为艾司唑仑替代治疗手段失眠的随机对照研究[D];北京中医药大学;2010年

10 罗阳;女性生殖道感染知信行量表的初步研制[D];中南大学;2011年

相关硕士学位论文 前10条

1 高茵茵;计算机模拟病例考试的评价及难度研究[D];中国医科大学;2008年

2 徐桂丽;耳鸣严重程度评估方法的研究[D];广州中医药大学;2011年

3 秦鹏;计算机模拟病例考试的效标—关联效度研究[D];中国医科大学;2007年

4 朱丽华;CSA言语—表象测验的改进[D];东北师范大学;2009年

5 嵩钰佳;CSA中的W-A维度的结构效度与V-I维度的重测信度的研究[D];东北师范大学;2008年

6 赵霞;中国临床医师资格考试实证效度的初步研究[D];中国医科大学;2009年

7 朱芳;0-3岁Griffiths精神发育量表中国常模修订及儿童精神发育影响因素研究[D];山西医科大学;2011年

8 那祖克·玉素甫;蒙特利尔认知评估量表在乌鲁木齐维吾尔族人群中的应用[D];新疆医科大学;2011年

9 路桃影;匹兹堡睡眠量表的测量特性及其最小重要差值的研究[D];广州中医药大学;2012年

10 尚小平;随机对照临床试验论文统计质量评价量表的建立与应用[D];郑州大学;2011年

，

本文编号：2688480