寻找“最佳证据”:如何运用元分析进行文献综述——以STEM教育对学生成绩的影响研究为例
发布时间:2021-07-13 15:06
元分析相对于传统的主观性文献综述方法而言,能够更加有效、客观和规范地从既有实证研究文献中梳理出一般性、规律性的结论,因此成为教育循证改革过程中寻找"最佳证据"的重要方法。与国外相比,我国运用元分析方法进行实证文献综述的研究还比较少。针对于此,本研究以STEM教育对学生学业成绩的影响为例,展示了运用元分析方法进行实证研究综述的过程。研究发现STEM教育有利于提高学生的学业成绩(d=0.410),STEM教育方法、受教育阶段、地区和样本量等因素均会显著影响到STEM教育的效果。这样的研究,不仅提供了关于STEM教育效果的一般性证据,而且在方法层面探讨了如何通过文献综述获得可靠证据以支持教育改革。
【文章来源】:华东师范大学学报(教育科学版). 2020,38(06)北大核心CSSCI
【文章页数】:16 页
【部分图文】:
文献检索与筛选流程
一般而言,发表偏倚是指统计结果为正向显著的研究成果,更容易被期刊所接受并发表的一种现象。如果存在发表偏倚,元分析的结果可能会面临放大干预措施真实效果的风险(Rothstein et al.,2005,p.2-3)。发表偏倚是影响研究结果可靠性的一个重要因素,因此对其进行检验是元分析不可或缺的重要一环。常用的检验方法是漏斗图,通过观察漏斗图是否对称来判断发表偏倚存在与否;若无法直观判断出漏斗图是否对称,则可通过Egger检验来确定。本研究的漏斗图如图2所示,该图明显不对称,Egger检验的结果也显著(B0=3.289,t=2.714,p1=0.007,p2=0.014),这表明本研究存在发表偏倚。发表偏倚作为一种不可控的因素,元分析的研究者很难完全避免这一问题。若存在发表偏倚,则需要对发表偏倚进行修正并测算所缺失的研究文献对元分析结果的影响,同时还要更为谨慎地讨论研究的结果,以确保分析结果足够稳健。但需要指出的是,是否存在发表偏倚并不能作为评价元分析质量的唯一标准。事实上,无论是元分析还是传统的文献综述,都可能存在因发表偏倚而导致的“有偏估计”问题。相比于传统文献综述,元分析的研究者们已经发展出了一系列检验、修正发表偏倚的技术,以最大限度地保证分析结果的稳健性。修正与测算发表偏倚影响的常用方法是剪补法(trim and fill),其主要步骤是:首先,剪除(trim)引起漏斗图不对称的研究,并重新计算合并效应量(中心值);其次,将去除的研究沿新的中心对称地填补(fill)到对称轴的另一侧;最后,计算合并效应量及其标准差,并不断叠代以上过程直至结果稳定(Duval&Tweedie,2000;Rothstein et al.,2005,p.127-144)。Bediou等人(2018)近期发表在心理学权威期刊《Psychology Bulletin》上的研究,便是利用这一方法修正了发表偏倚对研究结果的影响。参考以上研究,我们同样运用剪补法,对本文的效应量进行修正。修正后的合并效应量为0.410,95%置信区间为(0.185,0.636),说明发表偏倚的存在或导致效应量放大了41.43%。那么,这样一个经过修正的效应量是否可靠呢?为解决这个问题,我们还需要对结果进行敏感性检验,以评估元分析结果对发表偏倚的反应程度。
所谓“最佳证据”应当是更具代表性和全面性的证据,其来源应当尽可能地广泛,不遗漏任何有价值的研究。为此,本研究以“STEM education”、“integrated STEM education”、“student achievement”等关键词在教育数据库以及搜索引擎(e.g.,ERIC,EBSCO,Springer,Google Scholar)中进行检索。根据已制定的纳入标准,先是对文献标题进行筛选,排除明显不符合标准的研究,并将可能符合标准的文献下载存档;然后阅读文献摘要,进一步排除不符合要求的研究;最后对剩余的文献进行全文阅读,筛选出完全符合标准的文献。本研究共检索了28683篇文献,最终纳入17篇,获得20个效应量。文献检索与筛选流程如图1所示。(三)文献编码
【参考文献】:
期刊论文
[1]“文献法”是研究方法吗——兼谈研究整合法[J]. 姚计海. 国家教育行政学院学报. 2017(07)
[2]文献综述与教育学博士学位论文撰写[J]. 张斌贤,李曙光. 学位与研究生教育. 2015(01)
[3]效应量:估计、报告和解释[J]. 卢谢峰,唐源鸿,曾凡梅. 心理学探新. 2011(03)
本文编号:3282288
【文章来源】:华东师范大学学报(教育科学版). 2020,38(06)北大核心CSSCI
【文章页数】:16 页
【部分图文】:
文献检索与筛选流程
一般而言,发表偏倚是指统计结果为正向显著的研究成果,更容易被期刊所接受并发表的一种现象。如果存在发表偏倚,元分析的结果可能会面临放大干预措施真实效果的风险(Rothstein et al.,2005,p.2-3)。发表偏倚是影响研究结果可靠性的一个重要因素,因此对其进行检验是元分析不可或缺的重要一环。常用的检验方法是漏斗图,通过观察漏斗图是否对称来判断发表偏倚存在与否;若无法直观判断出漏斗图是否对称,则可通过Egger检验来确定。本研究的漏斗图如图2所示,该图明显不对称,Egger检验的结果也显著(B0=3.289,t=2.714,p1=0.007,p2=0.014),这表明本研究存在发表偏倚。发表偏倚作为一种不可控的因素,元分析的研究者很难完全避免这一问题。若存在发表偏倚,则需要对发表偏倚进行修正并测算所缺失的研究文献对元分析结果的影响,同时还要更为谨慎地讨论研究的结果,以确保分析结果足够稳健。但需要指出的是,是否存在发表偏倚并不能作为评价元分析质量的唯一标准。事实上,无论是元分析还是传统的文献综述,都可能存在因发表偏倚而导致的“有偏估计”问题。相比于传统文献综述,元分析的研究者们已经发展出了一系列检验、修正发表偏倚的技术,以最大限度地保证分析结果的稳健性。修正与测算发表偏倚影响的常用方法是剪补法(trim and fill),其主要步骤是:首先,剪除(trim)引起漏斗图不对称的研究,并重新计算合并效应量(中心值);其次,将去除的研究沿新的中心对称地填补(fill)到对称轴的另一侧;最后,计算合并效应量及其标准差,并不断叠代以上过程直至结果稳定(Duval&Tweedie,2000;Rothstein et al.,2005,p.127-144)。Bediou等人(2018)近期发表在心理学权威期刊《Psychology Bulletin》上的研究,便是利用这一方法修正了发表偏倚对研究结果的影响。参考以上研究,我们同样运用剪补法,对本文的效应量进行修正。修正后的合并效应量为0.410,95%置信区间为(0.185,0.636),说明发表偏倚的存在或导致效应量放大了41.43%。那么,这样一个经过修正的效应量是否可靠呢?为解决这个问题,我们还需要对结果进行敏感性检验,以评估元分析结果对发表偏倚的反应程度。
所谓“最佳证据”应当是更具代表性和全面性的证据,其来源应当尽可能地广泛,不遗漏任何有价值的研究。为此,本研究以“STEM education”、“integrated STEM education”、“student achievement”等关键词在教育数据库以及搜索引擎(e.g.,ERIC,EBSCO,Springer,Google Scholar)中进行检索。根据已制定的纳入标准,先是对文献标题进行筛选,排除明显不符合标准的研究,并将可能符合标准的文献下载存档;然后阅读文献摘要,进一步排除不符合要求的研究;最后对剩余的文献进行全文阅读,筛选出完全符合标准的文献。本研究共检索了28683篇文献,最终纳入17篇,获得20个效应量。文献检索与筛选流程如图1所示。(三)文献编码
【参考文献】:
期刊论文
[1]“文献法”是研究方法吗——兼谈研究整合法[J]. 姚计海. 国家教育行政学院学报. 2017(07)
[2]文献综述与教育学博士学位论文撰写[J]. 张斌贤,李曙光. 学位与研究生教育. 2015(01)
[3]效应量:估计、报告和解释[J]. 卢谢峰,唐源鸿,曾凡梅. 心理学探新. 2011(03)
本文编号:3282288
本文链接:https://www.wllwen.com/jiaoyulunwen/xuexiaoguanli/3282288.html