中国临床医师资格考试实证效度的初步研究

发布时间：2020-06-11 20:37

【摘要】： 前言临床医师资格考试作为行业准入考试,是对执业医师临床思维过程和实际工作能力的综合评价。考试必须具有较高的信度和效度,才能准确地反映所要测量研究对象所具有的知识和技能。在观察考试的效度时我们不仅应看到分数本身的可靠性,也应该考虑研究对象在考试中的表现与其在其他情境下(现实工作中)表现的关系。临床医师资格考试的实证效度(Demonstrative Validity,或Empirical Validity)研究,重要的是确定实证效度的效标。考试成绩效度高低的评判标准,可以是其它相关考试的成绩,也可以是研究对象在实践中的表现。通过比较临床医师资格考试成绩与另一种时间相近、内容和结构相似的考试成绩,分析两者的共时效度。比如参加临床医师资格考试的研究对象在比较短的时间内又参加了其它与临床医师资格考试相似的理论与实践考试。如果两次考试成绩的一致性较高,则证明两者的效度都高。反之,两次考试成绩的一致性较低,而又无法判定作为效标的考试是否具有理想的考试信度和效度时,就需要进行进一步研究。临床医师资格考试是评价、选拔和任用执业医师的重要考试,其考试成绩应该很好的预测研究对象在实践中的表现,同样研究对象的工作表现也应该和临床医师资格考试的成绩相一致,这样的考试才具有理想的效度。观察所要研究的对象,即刚刚参加临床医师资格考试或即将参加临床医师资格考试的医务人员。对于他们在医疗工作中的表现进行评价,评价内容包括病人的处理、痫志记录等,采用自我评价、患者评价、同行和上级医师评价、其他团队成员或组织的评价等方法,收集这些信息。研究对象在这些工作中表现出来的专业知识和技能正是临床医师资格考试所要评价的,因此是研究临床医师资格考试效度的客观、真实的效标。实证效度的研究主要是通过确定的效标与考试成绩相比较,分析研究医师考试的效度,因此又被称为效标关联效度(Criterion-related Validity)。要建立一个标准化考试,实证效度是重要的检验手段。国外开展了关于医学考试的实证效度研究。而国内在医学考试方面开展的研究集中在考试的分类、试题编制和分析、考务管理、题库建设和考试数据的分析评价方面,形成了完整的理论体系,促进了医学考试质量的提高。但对医学考试的实证研究不多,现有的一些也只是对学校内的考试进行预测研究,所得出的结论主要服务于教学,较少有文献报导,相关的实证研究资料没有系统地收集整理。对临床医师资格考试的实证研究工作还没有开展,不能从实践角度进行分析和评价。从实证角度开展对临床医师资格考试的研究,建立实证效度研究的完善方法和理论十分必要。本研究从客观实践角度评价临床医师资格考试结果反映真实情况的程度。通过收集并分析实证性资料,以研究对象的其他实际表现(工作或其它考试)为效标评价临床医师资格考试的效度,从而促进临床医师资格考试的完善和提高。对象与方法对象:以中国医科大学2007级60名本科学历住院医师为研究对象,专业包括内科,外科、妇科、儿科,附属一院22人,附属盛京医院31人,附属四院7人;其中男生29名,女生31名。方法:1、根据临床专业执业临床医师资格考试的内容、方式和技术特点,在临床医师资格考试之后较短的时间内,组织参加研究的考生进行一次理论考试和OSCE,作为与临床医师资格考试的对照考试。比较临床医师资格考试成绩同这些考试成绩的一致性程度,进行分析研究。2、收集研究对象本科期间的毕业考试成绩,将其作为效标与临床医师资格考试成绩做效标关联效度分析。3、临床专业临床医师资格考试实证效度资料的收集。观察参加考试考生在工作中的表现,整理平时科室考核和患者反馈资料,进行自我评价、患者评价、同行评价和其他评价,对他们的职业精神、专业知识和技能进行评定,并采用综合评价方法进行量化分级。使用统计学方法计算临床医师资格考试成绩与考生工作表现的关系,并尝试分析执业医师临床工作中的表现对临床医师资格考试成绩的预测能力。结果一、年度考核基本情况年度考核理论考试部分信度为0.803。以研究对象毕业考试中理论综合考试成绩作为效标,得到效度为0.495。这次理论考试的平均分为31.3,标准差为3.215。且男女性别之间成绩比较差异不显著,各个医院之间成绩也差异不显著。年度考核技能考试部分平均分为30.5,标准差为3.215。经统计分析,发现病例组合信度介于0.483到0.843之间。平均难度系数为0.57,病例难度较高。平均区分度为0.45,说明大多数病例的区分度较好。二、临床医师资格考试实证效度的分析临床医师资格考试与年度考核理论部分在总成绩、基础知识部分的成绩、专业知识部分及公共知识部分的成绩均相关。认知分级的角度考量的结果显示,三个认知分级的层次上,临床医师资格考试与年度考核均相关显著。与年度考核的技能考试部分的相关具有显著的统计学意义。与毕业考试从理论考试、OSCE考试方面均具有相关性。逐步回归分析显示年度考核中的基础知识部分和专业知识部分对于临床医师资格考试的影响较大。日常工作表现计量评分的相关性分析显示临床医师资格考试的成绩与研究对象日常工作中的表现相关性不显著。未能证实临床医师资格考试对研究对象在日常工作中表现的反映性。讨论一、年度考核的信度与难度、区分度的分析 (一)年度考核的信度年度考核的的可靠性较好,信度系数是0.803可以认为信度较好。很多研究对象在应试后反映本次年度考核试题具有一定的难度,从测试结果反应可见,平均成绩仅为61.86,及格率仅为67%。这相对于同组研究对象的临床医师资格考试通过率95%是存在一定差异。说明考试的难度大影响了考试信度。 (二) SP考试的病例难度与区分度年度考核中的标准化病人考试的平均难度是0.57,从效标考试的7个病例中其有5个的区分度系数在0.30以上,可以认为该病例的质量好。二、临床医师资格考试的实证效度分析 (一)临床医师资格考试的表面效度表面效度是指从外表看就可以明白考试是要测量什么。鉴于考生对考试的认可和接受程度,以及积极的态度参与临床医师资格考试考试,可以认为本次考试的表面效度较好 (二)临床医师资格考试的内容效度临床医师资格考试考核考生的临床能力范围比较全面,基本能代表临床训练的特定目标,可以作为评定个人临床能力成绩的一部分标准。由于目前关于内容效度的估计尚无恰当的计算方法,所以通过专家判断法定性地推测该项考试的内容效度。 (三)临床医师资格考试的实证效度最后的分析结果也显示临床医师资格考试与年度考核从理论试题的绝大多数考核部分及认知分级方面均显著相关性,同时技能考核方面也显著相关。而公共试题方面由于需要覆盖的内容较多,同时题量较少等客观因素的影响,相关性不是很高。预测效度的评估以研究对象的毕业考试作为预测效度的效标,分析得到两个考试的相关性显著,更加能够证明临床医师资格考试的效度及信度的良好。同时以研究对象日常工作表现的计量评分为效标,无法证明临床医师资格考试与研究对象日常表现的相关性。 (四)临床医师资格考试实证性方面尚待解决的问题研究对象的临床医师资格考试成绩与其日常表现的相关性不显著,也在一定程度上说明,临床医师资格考试注重对于考生临床基础及专业知识的掌握程度的考查,而缺乏对于医学职业价值、态度、行为和伦理,群体健康和卫生系统、交流技能、批判性思维和研究等领域的考查。结论一、本次年度考核评价结果是可靠而有效的。二、中国医科大学07届内外妇儿住院医师年度考核评价与本次临床医师资格考试相关性较好。三、研究对象的毕业综合考试成绩与临床医师资格考试的相关性较好。四、研究对象的日常工作表现评价与临床医师资格考试的相关性无统计学意义,有待进一步研究。五、临床医师资格考试的结构效度需要进一步研究。
【学位授予单位】：中国医科大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：R-4

【相似文献】