流行病学教学质量评价研究

发布时间：2020-05-09 09:00

【摘要】： 在不断提高流行病学教学质量的过程中,开展流行病学教学质量评价作为对提高流行病学教学质量方面努力的全面诊断与检查,无论对于了解掌握流行病学教学现状,诊断流行病学教学中存在的问题与不足,深化流行病学教学改革,提高流行病学教学质量,还是对于加强流行病学教学管理以及推动流行病学教研室工作,都具有非常重要的现实意义。本课题为一项跨学科的探索性研究,试图将教育学与流行病学的基本理论与研究方法相结合,从教学管理的角度出发,以教学评价理论为基础,结合流行病学教学实际,运用现代教学评价方法,借鉴流行病学研究的原理与方法,对流行病学教学质量评价的有关问题进行探索性研究,为流行病学教学改革奠定基础。本课题的内容既有对流行病学教学质量评价理论与方法的探索性研究,又有对流行病学教学有关现状的评价研究。主要分为三个部分: 第一章:阐述了流行病学教学质量评价的必要性和依据,对我国高校教学质量评价现状、新时期提高流行病学教学质量的紧迫性以及流行病学教学质量评价的意义进行了认真分析,阐述了流行病学教学质评价的主要依据,即教学质量评价论、教学目标分类学理论、教学规律、医学教育目标。第二章:以现代教育教学评价理论为基础,结合流行病学教学实际,对流行病学教学质量评价的概念、模式、目的与功能、要素、基本原则、内容、方法等基本理论问题进行了理论探讨,为进行系统的流行病学教学质量评价研究奠定了基础,为流行病学教学质量评价实践提供了理论依据。第三章:主要对目前流行病学教学质量评价实践与理论研究中的几个热点问题进行探索性研究,为进行流行病学教学质量评价的系统化研究奠定基础,为流行病学教学改革提供参考依据。 ①对我国高等医学院校本科生流行病学教学内容进行了调查研究,并采用topsis法,得出高等医学院校本科生流行病学教学内容排序,可以作为制定流行病学教学大纲、教师选择教学重点、制定流行病学测验命题双向细目表等教学工作或教学改革的参考依据。 ②对流行病学课程考试有关情况进行了调查研究,为流行病学考试改革提供奠定了基础。 ③对山西医科大学校预防医学专业毕业生流行病学课程考试成绩与实际水平关系进行了尝试性评价研究,既是对学生考试成绩与实际水平之间关系评价方法的研究,也是对该校毕业生流行病学考试成绩与实际水平之间关系的评价研究。 ④阐释了流行病学考试阅卷质量评价的必要性,并对流行病学考试阅卷质量评价方法进行了尝试性研究。同时,进行了山西医科大学流行病学考试阅卷质量评价研究。 ⑤对流行病学考试成绩和试题质量评价的步骤、指标、方法进行了研究,并进行了实例分析。 ⑥进行流行病学教学质量社会评价研究,提出了一种流行病学教学质量社会评价新方法,也为开展单门课程教学质量社会评价提供了新思路。 ⑦本课题认为考试是教学的指挥棒,要解决当前流行病学教学质量中存在的问题,评价、控制和提高流行病学教学质量的策略应以考试改革为主线,并将建立一套适合流行病学教研室使用的考试管理与评价系统,作为提高流行病学考试管理与评价效率和质量的重要手段。因此,本课题研究开发了一套基于计算机网络的、集流行病学教学、题库组建、考试管理、考试质量评价以及在线考试与课后学习为一体的流行病学考试管理与评价系统,可使用户完全根据自身应用特点快速构建流行病学考试与学习培训平台系统,实现对考试与培训学习的高效管理。第一章流行病学教学质量评价的必要性及依据第一节流行病学教学质量评价的必要性 1.1.1我国高校教学质量评价现状我国高等医学院校对流行病学教学质量的评价,绝大多数也停留在全校各科总体教学过程和教学质量评价层面,而很少针对学科特征和教学特点进行专门所的教学质量评价。但是,“一个学校的教育质量如何,主要是由它的各科教学质量来决定。”因此,高校必须注重教学质量评价在各学科教学质量控制中的重要作用,将开展微观层面的、符合各学科自身教学特点的教学质量评价纳入整体教学质量评价的范围,并进行深入研究和积极实践,以保障和促进各科教学质量的提高。 1.1.2新形势下提高流行病学教学质量的紧迫性高等医学院校都将流行病学作为临床医学、预防医学和卫生事业管理、口腔医学、妇幼保健等专业的必修课程,其教学质量如何不仅直接影响着医学人才尤其是公共卫生人才的培养质量及今后的发展潜力,也事关人民群众的健康事业。世界公共卫生领域面临着前所未有的新挑战的当今时代,提高流行病学教学质量,培养一支符合社会发展要求、能较快适应疾病控制实际需要、高素质、跨学科的流行病学人才队伍,提高医学人才队伍的流行病学素质和能力,已经成为当务之急。 1.1.3流行病学教学质量评价的意义开展有效的流行病学教学质量评价可以为高等医学院校各层领导和管理人员提供基本的教学信息,以利于教学决策;能够使学校各级领导尤其是教研室主任,及时地发现影响流行病学教学水平和质量提高的不利因素,找到存在的主要问题和不足之处,避免工作的盲目性和随意性;是提高流行病学教师教学水平、促进教师持续发展的的重要手段;是提高学生流行病学学习质量,促进学生全面发展的重要工具;可以促进流行病学教学质量评价理论和实践的发展。第二节流行病学教学质量评价的依据 1.2.1以教育评价理论、教育目标分类学理论为主要理论依据经过百余年的发展,教育评价理论在对教育评价的研究对象与理论模式、评价的目的与功能、评价要素与内容、评价方式与方法、评价的组织与实施等方面,取得了丰富的研究成果,这些教育评价理论成果是教育评价实践的理论基础,对教育评价实践产生着深远的影响。作为现代教育评价的一个子类的流行病学教学质量评价,必须以教育评价理论已取得的成果为基础和依据,来开展理论研究与评价实践。教育评价的目标是开展教育评价的理论前提。没有评价目标,就不知道评价什么,因此,这个问题就成了开展评价研究的重点。评价目标与教育目标具有一致性,教育目标分类不仅是教育评价的理论依据,而且为教育评价提供了基本的目标结构。教育目标分类学理论可用于指导学科教学评价,也可用于指导学生是否达到教学目标评价。 1.2.2以教学规律为依据教学质量评价本质上是对教学活动达到一定质量要求的价值判断,而教学活动是具有特定规律的,因此,教学质量评价必须以教学规律为依据,而不能脱离教学规律。教学规律是客观存在的,人们对教学规律的认识也是不断发展的,教学质量评价中对教学规律的遵循与把握也应随着人们对教学规律的认识而不断发展。 1.2.3以医学教育目标为依据流行病学作为医学教育的一门基础必修课程,其教学是在医学教育目标的指导下,为实现医学教育目标而服务的。因此,流行病学教学质量评价必须依据一定的医学教育目标而进行。第二章流行病学教学质量评价的基本理论问题 2.1流行病学教学质量评价的概念 2.1.1教学质量:指教学活动或现象满足社会需求和教育对象发展需要的状况。 2.1.2教学质量评价:是指根据一定的教学目标和标准,对教学活动或现象满足社会需求和教育对象发展需要的状况做出价值判断的过程。 2.1.3流行病学教学质量评价:是指根据一定的流行病学教学目标和标准,对流行病学教学活动或现象满足社会需求和教育对象发展需要的状况做出价值判断的过程,其最终目的在于改进流行病学教学工作、提高流行病学教学质量。 2.2流行病学教学质量评价模式本课题从过程的角度,提出了流行病学教学质量评价模式,即教学评价一体化模式。 2.3流行病学教学质量评价的目的与功能流行病学教学质量评价的最根本目的是为学习流行病学的学生、流行病学教师和整个教学系统提供流行病学教学状况的准确信息,以确定流行病学教学调整和改进的方向,从而促进流行病学教学质量的提高。流行病学教学质量评价的功能很多,但更偏重于诊断与改进、导向、反馈、激励四个方面的功能。 2.4流行病学教学质量评价的要素流行病学教学质量评价的要素:评价主体、评价客体和评价过程。 2.5流行病学教学质量评价的基本原则流行病学教学质量评价遵循的基本原则:整体性原则、方向性原则、科学性原则、目的性原则、激励性原则、发展性原则、可行性原则、评价和指导相结合原则、定量与定性相结合原则。 2.6构建流行病学教学质量评价内容的指导思想本课题将素质教育观作为流行病学教学质量评价内容构建的指导思想。 2.7流行病学教学质量评价方式方法 2.7.1教育教学评价方法的类型教育教学评价的方法大体可分为两类:即量化评价方法和质性评价方法。 2.7.2教育教学评价常用评价方法教育教学评价常用评价方法有测验法、观察法、访谈法、自我反省法、历史法等。 2.7.3运用流行病学方法开展教学质量评价的可能性本课题认为,可以借鉴和运用流行病学理论与研究方法开展教学质量评价研究。第三章流行病学教学质量评价研究探索第一节高等医学院校本科生流行病学教学内容调查研究本研究对我国目前高等医学院校本科生流行病学教学内容进行了问卷调查,并采用topsis法方法,求出流行病学教学内容的综合得分,并给出一个排序,为流行病学教学改革奠定基础。 3.1.1资料来源 3.1.1.1调查目的探索流行病学教学内容质量评价的新途径,并确立一个流行病学教学内容选择确定的参照标准。 3.1.1.2调查内容确定本研究的调查内容确定主要分为三个步骤: 第一步:流行病学教学内容确定。通过收集我国高等医学院校本科生用流行病学教材及教学大纲所包括的流行病学教学内容,进行认真归纳整理后,确定了拟调查的流行病学教学内容范围,并按照章节分列出来。本调查将高等医学院校本科生流行病学教学内容共分为35章,每章又分为不同的节。第二步:评价项目确定。为流行病学教学内容的每一章节都设立了评价内容的重要性、适用性、可操作性、专家对评价内容的熟悉程度以及进行评价的判断依据5个评价项目,其中评价评价的判断依据又分为理论分析、实践经验、同行了解、直觉4个子项目。每个评价项目均按Likert五级评分。5分为非常熟悉、非常适用、非常重要、非常强的可操作性、影响非常大:4分为比较熟悉、比较适用、比较重要、比较强的可操作性、影响比较大:3分为熟悉、适用、重要、一般性可操作、影响一般:2分不熟悉、不适用、不重要、可操作性较差、影响不大:1分为非常不熟悉、非常不适用、非常不重要、可操作性非常差、无影响。第三步:制定了《高等医学院校本科生流行病学教学内容调查表》。 3.1.1.3调查对象与方法本调查的主要对象分为两类,即流行病学教学专家与流行病学实践专家。流行病学教学专家,分别为北京大学公共卫生学院、中国协和医科大学、中国医科大学流行病学教研室、华中科技大学同济医学院、四川大学公共卫生学院、天津医科大学公共卫生学院、安徽医科大学公共卫生学院、中山大学公共卫生学院、山东大学公共卫生学院、哈尔滨医科大学公共卫生学院、中南大学公共卫生学院、吉林大学公共卫生学院、河北医科大学公共卫生学院、浙江大学公共卫生学院、郑州大学公共卫生学院、南京医科大学公共卫生学院共16所院校的16位流行病学教学专家。流行病学实践专家,主要有5位山西省疾病控制中心主任医师或副主任医师,15位山西省各地市疾病控制中心主任医师或副主任医师。将拟制的《高等医学院校本科生流行病学教学内容调查表》通过邮寄方式发给专家,共发出问卷36份,回收问卷34份,有效问卷32份。 3.1.2资料处理与统计方法先对调查所获数据进行了认真整理,然后运用spss统计软件建立了数据库。为了得到教学内容的各章的综合得分,我们通过三个步骤对数据进行统计分析处理。 3.1.2.1求各章各项目的平均得分各章在重要性、适用性、可操作性、熟悉程度、理论分析、实践经验、同行了解程度、直觉8个指标上的得分计算步骤是对于每一章,将各评价者给出的这一章包括的每一节在熟悉程度、适用性、重要性、可操作性、理论分析、实践经验、同行了解程度、直觉8个指标上的得分相加,然后除以节数,便得到该评价者在这一章在各项目上的给分,再求其均数,得到每一章在8个项目指标上的得分。 3.1.2.2各评价项目的可靠性分析为了确定最后计算各章综合得分时要采用的指标,我们对重要性、适用性、可操作性、熟悉程度、理论分析、实践经验、同行了解、直觉等8个指标进行了可靠性分析,有分析结果可知,去掉V8(直觉)项目以后Alpha(一致性系数),系数增加了,而且V8(直觉)与其它7个项目的复相关系数只有.4815,说明V8(直觉)这个项目与其它项目缺乏一致性,应将V8(直觉)删掉。从删掉V8(直觉)项目后的可靠性分析结果看,去掉任一项目,Alpha系数都下降:任一指标与其它6个指标的复相关系数皆大于0.5;且7个项目总的Alpha=.9128,标准化的alpha=.9168,说明V1-V7这7项之间的一致性很好。因此,采取V1-V7这7个项目作为求各章综合评分的指标。 3.1.2.3求各章的综合得分及其排序采用Topsis法,运用自编的SAS程序,对V1-V7这7个项目进行分析,求得各章综合得分及其排序。排序结果显示:排在前10位的章目依次为:病例对照研究、队列研究、研究的真实性与因果推断、循证医学、绪论、偏倚及其控制、流行病学方法的概括与选择、描述性研究、传染流行病学、疾病的分布;排在后10位的章目从最末位开始依次为:药物流行病学、感染性腹泻、筛检、管理流行病学、地方病流行病学、突发事件流行病学、疟疾、肾综合症出血热、理论流行病学研究、分子流行病学。其中,排序较典型的章目是“循证医学”,排在第4位:“理论流行病学”,排在第27位。 3.1.3总结上述关于高等医学院校本科生流行病学教学内容的排序,可以作为制定流行病学教学大纲、教师选择教学内容和教学重点、制定流行病学测验命题双向细目表等的参考依据。但是,在参照这一排序时,必须结合本校流行病学教学实际情况,同时考虑教育对象即学生在专业、层次等方面的不同特点。同时,还必须结合当时、当地流行病学发展实际以及社会实际需求。第二节流行病学课程考试有关情况调查研究 3.2.1调查对象本调查的主要对象分为两类,即流行病学教学专家与流行病学实践专家。流行病学教学专家,分别为北京大学公共卫生学院、中国协和医科大学、中国医科大学流行病学教研室、华中科技大学同济医学院、四川大学公共卫生学院、天津医科大学公共卫生学院、安徽医科大学公共卫生学院、中山大学公共卫生学院、山东大学公共卫生学院、哈尔滨医科大学公共卫生学院、中南大学公共卫生学院、吉林大学公共卫生学院、河北医科大学公共卫生学院、浙江大学公共卫生学院、郑州大学公共卫生学院、南京医科大学公共卫生学院共16所院校的16位流行病学教学专家。共发出问卷16份,回收问卷15份,有效问卷13份。流行病学实践专家,主要有5位山西省疾病控制中心主任医师或副主任医师,15位山西省各地市疾病控制中心主任医师或副主任医师。发出调查问卷20份,回收有效问卷19份。 3.2.2调查内容及统计分析 3.2.3结果 1)从对流行病学现有考试情况的调查统计分析结果看,高等医学院校建立流行病学试题库的比率并不高;制定流行病学考试试卷标准答案已基本普及化;采取集体流水式阅卷方式所占比率较大,但从x~2分析结果看,几种阅卷方式的差异并无统计学意义;开展流行病学考试质量评价分析已基本普遍化;流行病学考试评价主体主要以教研室和任课教师为主;13所被调查院校都在拟订流行病学试题时参照历次考试质量评价分析结果;仍有部分院校不注重流行病学考试质量评价分析结果的反馈;流行病学考试质量分析结果并没有在教学改革中得到普遍运用。 2)从流行病学考试有关情况的专家认同程度调查统计分析结果看,在流行病学考试质量评价主体的认同上,13位专家对4个评价主体的认同程度不同,认同程度由高到低依次为:全体任课教师、教研室、个别专家、所在院系;13位专家都认为有必要对流行病学考试质量评价分析结果进行反馈,但在必要性程度上的意见有所不同,认为“必要性较大”的认同一致性比认为“必要性很大”的一致性较高;13位专家都认为在拟订流行病学试题时有必要参照历次考试质量评价分析结果,但在必要性程度上的意见有所不同,认同一致性程度由高到低依次位:必要性较大、必要性很大、必要性一般;13位专家都认为有必要在流行病学教学实践与教学改革中运用流行病学考试质量评价分析结果,但在必要性程度上的意见有所不同,认同一致性程度由高到低依次位:必要性很大、必要性较大、必要性一般;13位专家认为有必要对每次流行病学考试质量进行评价分析,但在必要性程度上的意见有所不同,认为“必要性较大”的认同一致性比认为“必要性很大”的一致性高。 3)从流行病学课程考试成绩有关问题的调查统计分析结果看,各种形式考试成绩在流行病学课程考试总成绩中应占比例,分别为理论课考试成绩50%、实验课考试成绩15%、实习考核成绩15%、平时考核成绩10%、其它考核成绩为10%;32位应答专家中75%的专家认为综合性试卷最能反映学生流行病学实际水平;从对专家意见的统计分析结果看,目前流行病学课程考试成绩反映学生流行病学实际水平程度得分的均数为0.6375(63.75%)、标准差为0.07071,可以认为流行病学课程考试成绩反映学生流行病学实际水平程度并不高。第三节山西医科大学预防医学专业毕业生流行病学课程考试成绩与实际水平关系的评价研究 3.3.1调查内容与调查方式为了了解山西医科大学预防医学专业毕业生流行病学课程考试成绩与流行病学实际水平的关系,我们从该校2001年-2004年四年间毕业的、在公共卫生部门工作的预防医学专业学生中随机抽取44名学生作为调查对象。该校流行病学课程考试成绩由理论课考试成绩(占80%)、生产实习考核成绩(占20%)构成,此项内容的数据通过向该校考试中心调取获得。44名毕业生流行病学实际水平相关数据通过问卷调查方式获得。由44名毕业生所在单位所在部门的负责人填写调查问卷,调查的主要项目为流行病学实践能力、流行病学理论素养、团队精神、人际交往,每个项目采用5级评分制。共发出调查表44份,收回调查表44份,调查表回收率为100%。 3.3.2变量设置与资料来源根据研究需要,我们设置了流行病学考试成绩、流行病学实践能力、流行病学理论素养、团队合作精神、组织交往能力、综合能力6个变量。其中,44名学生的流行病学课程考试成绩通过该校考务管理部门获取;44名学生的流行病学实践能力、流行病学理论素养、团队合作精神、组织交往能力通过发放调查问卷的方式获得;44名学生的流行病学综合能力由流行病学实践能力、流行病学理论素养、团队合作精神、组织交往能力4个变量综合得出。 3.3.3调查结果的统计处理 3.3.3.1.调查内容描述性统计 3.3.3.2流行病学综合能力变量的提取为了获得某校预防医学专业毕业生流行病学实际能力,我们利用统计方法,将流行病学实践能力、流行病学理论素养、组织交往能力、团队合作精神4个变量合成一个终结变量综流行病学综合能力,综合反映毕业生在流行病学实践能力、流行病学理论素养、组织交往能力、团队合作精神4个变量上的得分。流行病学综合能力统计合成的基本原理:首先采用改进的层次分析法(Improved Analysis of Hierarchy Process;IAHP)来确定流行病学实践能力、流行病学理论素养、组织交往能力、团队合作精神的权重,再以相应权重乘对应变量并求和,得到综合能力。流行病学实践能力、团队合作精神、组织交往能力、流行病学理论素养4个变量的权重分别为0.38016、0.25179、0.14197、0.22608。求得流行病学综合能力的均数为3.6184,标准差为0.61022 3.3.3.3变量间的相关性分析运用SPSS11.5软件进行统计分析,得到流行病学考试成绩、流行病学实践能力、流行病学理论素养、组织交往能力、团队合作精神、流行病学综合能力间两两相关系数。可知,该校预防医学专业毕业生流行病学课程考试成绩与流行病学理论素养相关系数为0.711,并且在α=0.01水平上具有统计学意义;与流行病学综合能力的相关系数为0.596,并且在α=0.01水平上有统计学意义。毕业生流行病学综合能力与流行病学实践能力得相关系数为0.786,并且在α=0.01水平上有统计学意义;与团队合作精神的相关系数为0.300,并且在α=0.05水平上有统计学意义;与流行病学理论素养的相关系数为0.466,并且在α=0.01水平上有统计学意义。 3.3.4结论 1)该校44位预防医学专业毕业生流行病学综合能力得分的均数为3.6184,标准差为0.61022。 2)从该校预防医学专业毕业生流行病学考试成绩与流行病学实际水平的相关性分析看,毕业生流行病学课程考试成绩与综合能力、理论素养之间显著相关,但与实践能力、团队合作精神、组织交往能力之间的相关无统计学意义。这主要是由于该校流行病学课程考试成绩有理论课考试成绩和生产实习考核成绩组成,且理论课考试成绩所占比重过大,有重视理论课考试,而忽视实践课考试的倾向,导致成绩中没有客观地反映出学生的实践能力、团队合作精神和组织交往能力。因此,该校在流行病学课程考试改革中应充分考虑对学生实践能力的考核,一方面,开展对学生课间实习和平时学习表现的考核,另一方面,适当增加各类实践课考试成绩在总成绩中所占的比重,而相对减少理论课考试成绩在总成绩中的比重。 3)从该校预防医学专业毕业生流行病学综合能力与构成综合能力的4个因素的相关性分析看,毕业生流行病学综合能力与流行病学实践能力、流行病学理论素养、团队合作精神3个要素之间显著相关。可见,学生流行病学实践能力、理论素养和团队合作精神都是学生流行病学综合能力的重要构成部分,在流行病学教学中,要树立和贯彻素质教育理念,不仅要注重对学生理论知识和技能的培养,而且要加强学生实践能力、团队合作精神的培养,促进学生的全面发展。第四节流行病学考试阅卷质量评价研究 3.4.1阅卷质量与阅卷质量评价目前,我国高校很少通过开展课程考试阅卷质量评价来查找阅卷中存在的问题与不足,以促进阅卷质量的提高。 3.4.2山西医科大学校流行病学考试阅卷质量评价 3.4.2.1研究对象选取山西医科大学某班预防医学专业流行病学考试阅卷作为研究对象,该次阅卷的基本情况如下: 1)试卷题型及分值构成:试卷由名称解释、判断题、填空题、简答题、计算题五种题型构成,每种题型分值为20分,总分为100分。 2)阅卷标准:统一的阅卷标准中对试题答案标准、评分标准、阅卷注意事项作了明确规定。 3)阅卷方式:集体流水式阅卷。 4) 4位流行病学教师 3.4.2.2资料来源在该校某班预防医学专业流行病学考试结束后,随机选取了一个班级的试卷复印了1份,已备在组织教师重阅时使用。首先在考试结束后,流行病学教研室按照学校的统一安排与要求,组织了流行病学考试答卷的阅卷工作,得到第一次集体流水式阅卷结果。为了减小由于教师阅卷记忆对才重阅卷的影响,我们选择在第一次阅卷的两个月后,按照同样的阅卷程序、阅卷方式、阅卷教师,组织了对该班该次考试答卷的重阅工作,得到第二次集体流水式阅卷结果。 3.4.2.3统计分析结果第一题:首次阅卷所得成绩的均数是17.26,标准差为3.066;重阅所得成绩的均数是16.36,标准差为3.839。经t检验,p值为0.364,大于0.05,因而,两次评分之间的差异无统计学意义。第二题:第二次流水评分的平均成绩是15.44,标准差为2.485,第一次流水评分的平均成绩是15.44,标准差为2.417。经t检验,p值为为1.00,大于0.05,因而,两次评分之间的差异无统计学意义。第三题:第二次流水评分的平均成绩是16.36,标准差为3.839,第一次流水评分的平均成绩是17.26,标准差为3.066。经t检验,p值为为0.780,大于0.05,因而,两次评分之间的差异无统计学意义。第四题:第二次流水评分的平均成绩是16.14,标准差为4.729,第一次流水评分的平均成绩是17.52,标准差为4.341。经t检验,p值为为0.288,大于0.05,因而,两次评分之间的差异无统计学意义。第五题:第二次流水评分的平均成绩是15.56,标准差为4.538,第一次流水评分的平均成绩是15。44.26,标准差为4.350。经t检验,p值为为0.924,大于0.05,因而,两次评分之间的差异无统计学意义。总分:第二次流水评分的平均成绩是79.86,标准差为17.335,第一次流水评分的平均成绩是79.66,标准差为16.334。经t检验,p值为为0.701,大于0.05,因而,两次评分之间的差异无统计学意义。由此可见,对于同样的25份流行病学考卷,经两次集体流水式样阅卷,所得成绩之差异无统计学意义。 3.4.3流行病学教师阅卷水平评价方法研究 3.4.3.1教师阅卷水平评价的意义研究教师阅卷水平的差异性以及教师阅卷行为对阅卷水平的影响强度和方向,解释教师在阅卷水平发展中最需要发展和改进的关键阅卷行为因素,对改进教师阅卷行为、提高阅卷水平乃至促进教师全面发展,具有重要的理论和现实意义。 3.4.3.2教师阅卷水平评价方法研究 1)教师阅卷水平评价研究思路将教师阅卷水平假设为一种受多种因素影响的“健康状况”或“疾病”,运用流行病学描述性研究和病例对照研究的方法,对教师的阅卷行为现状和特征、在不同人群中的分布,以及影响阅卷水平的危险行为因素进行描述性研究和病因研究,同时采用病例对照的研究方法,从多元理论的维度透视教师阅卷行为对影响阅卷水平的相关行为因素进行Logisti单因素和多因素回归分析,对教师在不同阅卷水平发展阶段的关键阅卷行为影响因素进行探讨,筛选出影响阅卷水平的关键行为因素,并对这些阅卷行为因素的影响强度进行定量分析,从而为教师改进阅卷行为、提高阅卷水平提供参考依据。 2)教师阅卷水平的差异性研究方法第一步:确定评价研究对象,包括某门课程某次考试答卷和该课程教师两个方面。评价研究对象可以是某一范围的总体,也可以由研究者根据研究目的在某一范围内采取抽样法来确定。研究对象确定后,按照所需数量复印没有判阅的答卷,并发放给每位教师。第二步:根据研究需要,按照统一的阅卷标准和程序,组织教师进行集体流水方式、独立方式或两中方式都采取的阅卷工作,获得相同答卷的不同组得分。对所得不同组得分进行认真整理后,根据研究需要建立《不同教师阅卷所得得分差异性研究数据库》。第三步:按照不同的划分标准,设计不同组的病例对照研究。第四步:运用统计分析软件,进行相关统计学分析,并对统计分析结果进行合理描述与认真分析,得出相关研究结论。 3)教师阅卷行为及其对阅卷水平影响的研究方法第一步:通过文献法、调查法、咨询法、主成分分析法、因子分析法等方法,科学确定调查内容,并制成《教师阅卷行为现状调查表》。第二步:组成调查小组,按照严格调查程序,运用研制的调查表,开展现况调查,并根据研究需要对所得数据进行认真的遴选、分类、标注和整理,建立《教师阅卷行为及其对阅卷水平影响研究》数据库。第三步:设计多组病例对照研究。运用流行病学方法,尤其是行为流行病学方法,研究影响教师阅卷水平的行为因素、这些行为因素与人群中的分布和影响分布的因素、尤其是影响教师阅卷水平的危险行为,从而提出改进教师阅卷行为、提高教师阅卷水平的具体干预措施,并进行效果评价。 3.4.3.3山西医科大学流行病学教师阅卷水平差异性评价研究为了考察流行病学考试阅卷中不同老师对同样试卷的评分情况,我们根据上述方法,对该校5位流行病学授课教师的阅卷水平进行评价,5位教师中1位为流行病学专家、教学水平高,工作认真负责,其余4为普通教师。研究方法首先,选取从该校预防医学专业2006年流行病学考试班级中随机选取一个班级流行病学考试答卷,在学校组织阅卷前,复印了5份。其次,严格按照该校阅卷标准与程序,组织5位教师开展独立阅卷,获得5组不同成绩。再等该校组织的集体流水式阅卷结束后,获得1组成绩,共获的6组不同成绩。第三,对成绩进行认真审核、校错、整理后,运用SPSS软件建立数据库。第四,对不同教师阅卷所得学生成绩运用Dunnet法进行对照分析研究。从所得结果看,不同教师阅卷结果从原始分数看,都存在不同程度的差异。但从Dunnet检验结果来看,A教师(专家)阅卷评分结果与集体流水式阅卷评分结果差异无统计学意义,可以认为专家独立阅卷水平与集流水式水平基本一致;从第一题评分来看,B、C、D、E四位普通教师的给分与A教师(专家)、集体流水式阅卷给发均有差异。出现这种差异的原因可能是教师阅卷错误,也可能是由于第一题为名词解释题,不同于完全非对即错式的客观性试题,所以有的学生答题可能不完全与标准答案一致,但表达的意思基本正确,对于这样的答案,不同教师在给分时就会依据自己主观判断给发:从第二题评分看,B、C、D、E四位教师与集体流水式阅卷、A教师(专家)给分均无统计学差异,这主要是因为第二题是判断题,评分标准容易统一,受阅卷教师的主观性影响很小,在这种题型评阅中存在差异,只能说明有的教师对于阅卷标准把握错误,或者阅卷不认真;从第三题评分看,E教师与A教师(专家)评分结果没有统计学差,B、C、D三位教师与A教师(专家)以及B、C、D、E四位教师与集体流水式阅卷的结果均存在统计学意义差异。这是由于第三题为填空题,不同于完全非对即错式的客观性试题,所以有的学生答题可能不完全与标准答案一致,但表达的意思基本正确,对于这样的答案,不同教师在给分时就会依据自己主观判断给发,造成不同教师给发不同的结果;从第四题评分来看,B、C二位教师的给分与集体流水式阅卷、A教师(专家)的给分有统计学意义上的差异,而D、E二位教师的给分与集体流水式阅卷、A教师(专家)给分没有统计学意义上的差异。由于第四题是简答题,属于主观题,尽管有标准答案和评分标准,但由于有的老师阅卷尺度掌握得与A教师(专家)、集体流水式阅卷比较一致,而有的老师的尺度掌握得与A教师(专家)、集体流水式阅卷存在明显不同,因此,造成不同的评分差异性。从第五题的评分来看,C教师评分与集体流水式阅卷、A教师(专家)的评分结果无统计学意义差异,而B、D、E三位的教师与集体流水式阅卷、A教师(专家)的评分有统计学意义上的差异。由于第五题是论述题,属于主观性题型,评分极易受阅卷教师主观性判断的影响,从而造成评分结果的一定差异性;从总分来看B、C、D、E四位教师给分与A教师(专家)、集体流水式阅卷的评分结果均有统计学差异,但差异程度会随着客观性试题、准客观性试题、主观性试题的顺序而减小。可见,阅卷方式、教师阅卷水平都是影响阅卷质量的重要因素,这种影响在主观性试题的评分上尤为显著。 3.4.4讨论从上述的尝试性研究看,积极开展阅卷质量评价,发现和改进阅卷中存在的问题和不足,选择科学的阅卷方式,注重教师阅卷能力的发展,不仅对于提高阅卷质量,保证考试的公平性、公正性,而且对于提高教师阅卷能力,促进教师全面发展,都具有积极的促进作用。第五节流行病学考试成绩与试题质量评价研究 3.5.1流行病学考试成绩与试题质量评价步骤第一步:确定评价目的与评价对象第二步:资料收集、分析与整理根据评价目的和对象,收集资料,对资料来源和资料情况作一般性分析,并将资料整理后建立流行病学考试质量评价数据库第三步:确定评价指标一般包括成绩均数、标准差、成绩分布正态性检验、信度、效度以及试题的覆盖度、难度、区分度、相关系数等指标。第四步:数据处理运用统计分析软件对数据进行相应评价指标的统计分析。第五步:结果分析对统计分析结果进行描述与分析,并得出相应结论,提出改进建议。 3.5.2流行病学考试质量评价主要指标 3.5.2.1成绩分析 1)成绩分布正态性检验 2)信度 3)效度 3.4.2.2试题分析 1)试题覆盖度 2)试题难度 3)试题区分度 3.5.3流行病学考试质量评价实例 3.5.3.1资料与方法 1)分析资料山西医科大学某级本科学生流行病学考试试卷与成绩,试卷共83份,分为A卷42份、B卷41份。A、B卷总题量都为37道,其中固定答案的客观题(填空题、判断正误、单选题)共26道,分值30分;主观题(名词解释、简答题、论述题)共11道,分值70分,全卷满分100分。 2)数据处理将每名学生的编号、每道题得分、总分输入计算机,用Excel 2002和SPSS for Windows10.0统计软件包进行数据处理和统计分析,分别进行学生成绩分布的正态性、信度和效度分析,试题的覆盖度、难度、区分度分析。 3.5.3.2统计分析结果 1)成绩分析通过正态性检验,本次考试A卷、B卷试题的学生成绩频数分布呈负偏态分布,学生成绩主要分布在高分区,说明试题较易或学生基础较好,但B卷相对于A卷来说,试题更易或学生基础更好。本次考试A卷的信度为0.57,效度为0.68;B卷的信度为0.51,效度为0.55。说明本次考试成绩基本可靠、有效,受偶然因素影响小。 2)试题分析 ①覆盖度分析从分析结果看,试题各题之间相关系数矩阵看,A卷中第一题与第三题相关系数基本满足小于0.2的要求,第二题与第三题相关系数基本满足小于0.2的要求,第三题与第四题相关系数基本满足小于0.2的要求,其它各题相关系数均大于0.2,较为明显的是第一、二题与第四、五、六题,说明此试题覆盖面较差。B卷中第一题与第三题,第二题与第三、六题,第三题与第四、五、六题相关系数基本满足小于0.2的要求其余部分都大于0.2,较为明显的是第一题与第五题,第二题与第四、五题,第四题与第五题,说明此试题覆盖面较差,但比A卷覆盖面较大。 ②难度分析从分析结果看本次考试A卷试题为较易试题,其中第一题为无意义题目,第二、三题为可接受题目第四、五、六题为较易题目:B卷试题也为较易试题,其中第一、三、四题为较易题目,第二、五、六题为可接受题目。根据T检验,A、B卷之间的难度无显著性差别。 ③区分度分析从分析结果看,本次考试两份试题的区分度都大于0.4,说明试题区分度较大,对学生的能力和学业水平的鉴别力非常好,其中A卷中区分度较大的为第一、三、六题,B卷中为第四题,A、B卷相比较而言,A卷的区分度较大。 3.5.3.3结论与建议 1)本次流行病学A、B卷考试成绩都呈负偏态分布,成绩集中在高分区,试题难度较小,没有突出教学内容的重点和难点。原因可能是编制试题时没有体现教学内容的重点和难点,也可能是在教学过程中没有突出教学内容的重点和难点。因此,在考试命题过程中,要适当增加整个试题难度,对于毫无意义的题目应予以取消,对较易的题目应适当增加难度,以突出教学的重点和难点,提高试题质量。同时,在教学过程中,也应该注重突出教学内容的重点和难点,深化学生对此门课程学习。 2)本次流行病学考试试题的题型较少、题量较小、覆盖面较差,没有能够充分测量出学生对此门课程全面掌握的程度。原因可能是编制试题时没有体现出试题的覆盖面,也有可能是教学过程中忽视了知识的覆盖面。因此,在考试命题过程中,要适当扩大试题的覆盖面,适当增加题量和题型,提高试题质量。在教学过程中,要扩大教学内容的覆盖面,拓宽学生对此门课程的学习范围,使学生对此门课程进行全面的学习和掌握。 3)本次流行病学考试,试题覆盖面和难度虽然都较小,但试题区分度较大,能很好地鉴别学生掌握知识的水平。同时,考试成绩的信度和效度较高,考试结果稳定、可靠、有效。第六节流行病学教学质量社会评价研究本课题认为,应该将流行病学教学质量社会评价纳入流行病学教学质量评价的范围,并尝试采取变通的方法,进行流行病学教学质量社会评价。基本思路是先采用调查法进行用人单位对该部分毕业生的总体评价、该部分毕业生的自我总体评价以及部分毕业生对流行病学教学对毕业生影响的自我评价三个方面的评价,再通过一定的计算公式,间接体现流行病学教学质量社会评价。 3.6.1评价项目设置我们主要评价设置了三个评价项目,每个评价项目又分别设置了不同的子项目。 3.6.1.1用人单位对毕业生的总体评价评价内容主要包括4个部分,即思想品德评价、知识评价、能力评价、业绩评价。 1)毕业生思想品德评价主要包括以下几个指标构成:敬业精神、诚信、职业道德、遵纪守法、进取精神; 2)毕业生知识评价主要包括以下几个指标构成:知识结构、知识对实际需要的满足程度、整体知识水平、专业知识掌握的深度; 3)毕业生能力评价主要包括以下几个指标构成:自学能力、信息能力、胜任能力、动手操作能力、专业知识技能应用能力、组织协调能力、管理能力、创新能力; 4)毕业生业绩评价主要包括以下几个指标构成:工作效率、工作质量、工作成绩。 3.6.1.2毕业生自我总体评价评价内容主要包括4个部分即思想品德自我评价、知识自我评价、能力自我评价、业绩自我评价。 1)思想品德自我评价主要包括以下几个指标构成:敬业精神、诚信、职业道德、遵纪守法、进取精神; 2)知识自我评价主要包括以下几个指标构成:知识结构、知识对实际需要的满足程度、整体知识水平、专业知识掌握的深度; 3)能力自我评价主要包括以下几个指标构成:自学能力、信息能力、胜任能力、动手操作能力、专业知识技能应用能力、组织协调能力、管理能力、创新能力; 4)业绩自我评价主要包括以下几个指标构成:工作效率、工作质量、工作贡献。 3.6.1.3流行病学教学对毕业生影响的自我评价评价内容主要包括3个部分,即流行病学教学对职业道德的影响、流行病学教学对知识的影响、流行病学教学对能力的影响。 1)流行病学教学对职业道德的影响主要包括以下几个项目:敬业精神、团队精神、职业道德、责任感; 2)流行病学教学对知识的影响主要包括以下几个项目:基础理论水平、知识获取、知识应用、继续教育; 3)流行病学教学教程对能力的影响主要包括以下几个项目:理论分析能力、动手操作能力、科研创新能力、信息获取能力。 3.6.2统计处理基本思想第一步:确定评价项目的权重。评价项目权重确定方法采用IAHP法。第二步:分别求社会用人单位对毕业生的总体评价、毕业生自我总体评价、流行病学教学对毕业生影响的自我评价的综合得分。第三步:计算公式构建。本研究使用的计算公式为: 个体总得分=(W_1×S_1+W_2×S_2)×S_3÷25×100这个公式通过变通的方式间接体现了流行病学教学质量的社会评价,是本课题的一个难点,同时也是一个创新点。第四步:求流行病学教学质量社会评价的满意度。具体方法是先选取某届就业毕业生的一个样本,运用上述公式计算每一个毕业生的个体总得分,再以总样本个体总得分的均值作为该届毕业生开设流行病学课程年度的流行病学教学质量社会评价的满意度。 3.6.3流行病学教学质量社会评价调查研究 3.6.3.1调查统计分析结果根据上述研究思路,鉴于教学质量社会评价具有一定的滞后性,本课题对山西医科大学2002-2004届预防医学专业的就业毕业生进行了流行病学教学质量社会评价。选取2002-2004届预防医学专业的就业毕业生各30名发放问卷调查,共发出问卷90份,收回问卷90份,文卷回收率为100%。按照上述流行病学教学质量社会评价统计处理基本思想,运用SPSS11.5统计软件,求得该校2002-2004届毕业生相应年度的流行病学教学质量社会评价的满意度,分别为:80.448806、84.254228、86.725714、83.809582 3.6.3.2结论该校2002届预防医学专业毕业生开设流行病学课程年度的流行病学教学质量社会评价的满意度为80.448806,2003届预防医学专业毕业生开设流行病学课程年度的流行病学教学质量社会评价的满意度为84.254228,2004届预防医学专业毕业生开设流行病学课程年度的流行病学教学质量社会评价的满意度为86.725714,三届预防医学专业毕业生流行病学教学质量社会评价总满意度为83.809582。可见,2002-2004届某校预防医学专业毕业生开设流行病学课程年度的流行病学教学质量社会评价的满意度逐年上升。 3.6.4结论本研究阐述的流行病学教学质量社会评价的统计思想及构建的有关公式,具有独创性,为单门课程教学质量的社会评价提供了一种新模式。同时,本研究建立的流行病学教学质量社会评价的指标体系及指标权重,不仅适用于流行病学教学质量社会评价,而且也可以作为其它科目社会评价的参考。第七节流行病学考试管理与评价系统的开发根据上述一系列调查研究结果,本课题认为,考试是教学的指挥棒,要解决当前流行病学教学质量中存在的问题,评价、控制和提高流行病学教学质量的策略应以考试改革为主线,并将建立一套适合流行病学教研室使用的考试管理与评价系统,作为提高流行病学考试管理与评价效率和质量的重要手段。因此,本课题开发了适应于教研室使用、基于计算机网络的流行病学考试管理与分析系统,将流行病学教学与题库组建、试卷设计、试题评价、试卷分析、在线考试、网上互动、信息反馈等一系列活动统一在此软件的支持下,不仅可以提高流行病学考试管理与评价的工作效率,而且可以为考试信息反馈以及学生课后学习提供一个便捷而开放的信息化平台。 3.7.1系统架构系统基于微软公司Windows操作系统、IIS数据库平台构建,微软公司产品优异的性能为本系统提供了高效稳定的动行环境,使系统无论在运行速度、易用性还是在数据吞吐能力方面都表现卓越。采用B/S模式,由前台用户考试部分、后台系统管理部分两大部分组成,不需安装客户端,被授权
【学位授予单位】：山西医科大学
【学位级别】：博士
【学位授予年份】：2008
【分类号】：R181.3-4

【引证文献】