基于计算机的适应性英语阅读测试的可行性验证

发布时间：2017-04-13 14:21

  本文关键词：基于计算机的适应性英语阅读测试的可行性验证，由笔耕文化传播整理发布。

【摘要】：为了使测试变得更科学和更人性化，在将来的外语测试中，不是是否采用适应性测试的问题,而是怎样应用的问题。目前我国还没有实施具有一定规模的适应性语言测试。本文就实施小规模适应性英语阅读测试的可行性进行探讨，为今后适应性语言测试的推广提供参考。 本论文中的适应性英语阅读测试的目的是使高校和其他教育机构能够在短时间内确定考生的英语水平，进而使得考生能够进入相应的班级学习。因此该适应性英语测试是一种低风险、小规模的分级考试。基于此目的该考试在以下方面不同于其他适应性测试。首先，该测试采用商业软件作为开发平台。其次，该测试题库中的题目改编自阅读出版物。最后，该英语阅读测试采用短语境形式。 该测试包含两个阶段。第一个阶段旨在大致确定考生的英语水平，根据第一个阶段考生的答题情况，计算机程序在第二个阶段提供适合考生英语水平的试题，以便于用更少的题目和时间取得更准确的考试结果。该测试长度是20题至28题，题目由计算机程序根据考生的答题情况从含有300道阅读题目的题库中调取。完成该测试需要的时间最长为35分钟。 基于阅读理解和考试评价的相关理论，本论文提出六个研究问题，从不同的方面对该测试进行验证： 1.改编自阅读出版物的题目难度是否可靠？ 2.该测试对考生焦虑是否有影响？ 3.考生对该适应性阅读测试的态度是否与对计算机的态度相关？ 4.该适应性英语测试能否测量预期的阅读能力？ 5.该适应性英语测试和其他测试的相关性如何？ 6.该适应性英语阅读测试的信度如何？ 本论文中采用Spielberger (1980)等人的测试焦虑量表（Test AnxietyInventory）来测量考试的焦虑程度。采用Selwyn (1997)的学生对计算机的态度量表（Students’Attitudes Toward Computers）和作者设计的量表测量学生对计算机的态度。采用出声思考（Thinking aloud verbal protocol）来发现考生在阅读过程中所采用的阅读技巧。 测试于2011-2012秋季学期在中国农业大学实施，包括纸笔分级测试和适应性英语阅读测试。受试来自六个班级，共212人。研究数据包括定性数据和定量数据。采用方差分析，，t检验，皮尔逊相关分析和描述性统计对定量数据进行分析。研究结果表明改编自阅读出版物的题目难度是可靠的，这说明作者确定题目难度的方法是恰当的。该测试引起考生焦虑程度的提高，其原因是由于对适应性测试的陌生感和对考试长度缺乏认知。研究结果还发现，考生对该适应性阅读测试的态度和他们对计算机的态度显著相关。考生对计算机的态度和考生使用计算机的时间显著相关。通过定性分析发现该适应性短语境阅读测试能够测量预期的阅读技巧，说明该测试在一定程度上具有良好的构念效度。此外，相关分析显示，该测试和纸笔测试中度相关，并且该测试具有较高的信度。研究结果显示了在小规模，低风险计算机适应性测试中采用出版物材料进行题库建设和采用商业软件作为开发平台是可行的。本研究是针对于英语阅读的适应性测试，对于英语听力，语法词汇等适应性测试具有一定的借鉴意义。 本文总计六章内容，详情如下： 第一章引言，介绍论文主题、意义；第二章文献综述从项目反映理论、阅读理解的过程和测试评价三个层面勾勒出本研究的理论框架；第三章详述了该适应性阅读测试的设计，具体包括题库的大小、进入水平、终止原则、设计详图、计分原则和节目设计。第四章详细描述了研究方法，其中包括研究设计、受试、研究工具、数据采集和分析步骤。第五章呈现了数据分析结果。第六章包括讨论和结论。此外还指出了本研究的学术价值和意义。对于考虑采用适应性测试的考试设计者而言，在设计低风险、小规模的适应性测试时可以采用现有的软件作为开发平台，通过改编现有题目进行题库建设。本研究证实了以上两点的可行性。对于语言教师而言本研究的意义在于教师要鼓励学生更多的使用计算机，因为研究显示在一定程度内更多的使用计算机能提高学生对计算机的积极态度，并且降低学生的考试焦虑。 本论文具有一定的局限性。在今后的研究中应选取具有更高或更低英语水平的受试来验证这种适应性英语阅读测试的有效性。
【关键词】：适应性英语阅读测试 短语境阅读 验证 效度 信度
【学位授予单位】：上海外国语大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：H310.4
【目录】：

• Acknowledgements4-6
• Dedication6-7
• Abstract (Chinese)7-9
• Abstract (English)9-17
• List of Tables17-19
• List of Figures19-20
• Chapter One: Introduction20-24
• 1.1 Background20-21
• 1.2 Purpose of the Study21
• 1.3 Research Questions21-22
• 1.4 Definition of Terms22
• 1.5 Significance of the Study22-23
• 1.6 Structure of the Dissertation23-24
• Chapter Two: Literature Review24-58
• 2.1 Theoretical Foundation of CAT: Item Response Theory24-25
• 2.1.1 Basic Assumptions of Item Response Theory24-25
• 2.1.2 Compromise of Unidimensionality25
• 2.2 CAT Components25-28
• 2.2.1 Item Banking and Item Calibration26-28
• 2.3 Development of Language CAT Projects28-34
• 2.3.1 Purposes of Language CAT31-33
• 2.3.2 Task Types of Language CAT33-34
• 2.3.3 Multi-stage Design34
• 2.4 Computer Adaptive or Computer Mediated Reading Research34-39
• 2.4.1 Score Equivalence34-36
• 2.4.2 Construct Equivalence36-37
• 2.4.3 Computer Familiarity, Anxiety Level and Computer Interfaces37-39
• 2.5 Construct of Reading Ability: Theoretical Considerations39-50
• 2.5.1 Reading Process39-42
• 2.5.2 Dimensionality of Reading Construct42-44
• 2.5.3 Reading Skills44-50
• 2.6 Test Evaluation50-58
• 2.6.1 Messick’s Test Validation Theory50-51
• 2.6.2 Bachman and Palmer’s Framework of Test Usefulness Evaluation51-54
• 2.6.3 Evaluation of CALT Usefulness54-58
• Chapter Three: The Design of Reading CAT58-80
• 3.1 Purposes of the Computer Adaptive Reading Test58-59
• 3.2 Software Template59-65
• 3.2.1 Questionmark Overview59-60
• 3.2.2 Questionmark Perception60-61
• 3.2.3 Jump Blocks61-65
• 3.3 Item Adaptation65-70
• 3.3.1 Change the Items to Suit Chinese Cultural Situation68-69
• 3.3.2 Change the Words to Suit Chinese Curriculum69-70
• 3.3.3 Change the Choices to be Parallel70
• 3.4 Method of Determining Item Difficulty70-72
• 3.4.1 Item Difficulty70-71
• 3.4.2 Readability71-72
• 3.5 Common Issues in CAT Design72-80
• 3.5.1 Size of Item Bank72-73
• 3.5.2 Entry Level73
• 3.5.3 Stopping Rule73-74
• 3.5.4 Design Map74-77
• 3.5.5 Scoring Rule77-78
• 3.5.6 Interface Design78-80
• Chapter Four: Research Methodology80-92
• 4.1 Overview of the Research Design80-81
• 4.2 The Pilot Study81-83
• 4.3 The Main Study83-85
• 4.4 The Study Population and Participants85-86
• 4.4.1 The Population85
• 4.4.2 The Participants85
• 4.4.3 ESL Instructors85-86
• 4.5 The Instrumentation86-90
• 4.5.1 Test Anxiety Inventory86
• 4.5.2 Students’ Attitudes Towards Computers86-87
• 4.5.3 Evaluating Test Design with Think Aloud Verbal Protocol87-88
• 4.5.4 Student Interviews88
• 4.5.5 Researcher-developed Questionnaire88
• 4.5.6 Computer Adaptive Reading Test88-89
• 4.5.7 Placement Test89-90
• 4.6 Data Collection and Analysis Procedure90-92
• 4.6.1 Data Collection and Analysis in the First and Second Phase90
• 4.6.2 Data Collection and Analysis in the Third Phase90-92
• Chapter Five: Results, Findings and Discussion92-143
• 5.1 Introduction92
• 5.2 Descriptive and Inferential Analysis of Test Anxiety92-96
• 5.3 Students’ Attitudes toward Computers96-98
• 5.4 Data on Students’ Experiences with Computers and Computerized Test98-111
• 5.4.1 Descriptive Data Analysis on Time Spent with Computers99-103
• 5.4.2 Descriptive Data Analysis on Attitudes toward Computerized Test103-110
• 5.4.3 Descriptive Data Analysis on Reading Skills110-111
• 5.5 Analysis of Data on Think Aloud Protocol111-116
• 5.5.1 Analysis of Data on Item Difficulty111-113
• 5.5.2 Analysis of Data on Reading Skill113-116
• 5.6 Analysis of Test Scores116-127
• 5.6.1 Analysis of Computer Adaptive Test Scores116-121
• 5.6.2 Analysis of Placement Test Scores121-125
• 5.6.3 Correlation of Scores of Computer Adaptive Reading Test and Placement Test125-127
• 5.7 Correlation Analysis of Factors Concerned in the Study127-130
• 5.8 Findings and Discussions130-143
• 5.8.1 Research Question 1 ： Is the item difficulty from published materials reliable?130-132
• 5.8.2 Research Question 2: Is the participants’ test anxiety influenced by the computer adaptive reading test?132-134
• 5.8.3 Research Question 3: What is the relationship between participants’perception of the computer adaptive reading test and their attitudes or experiences with computer?134-136
• 5.8.4 Research Question 4: Can the computer adaptive reading test measure the expected reading skill?136-137
• 5.8.5 Research Question 5: What is the correlation of the computer adaptive reading test with other test?137-139
• 5.8.6 Research Question 6: How reliable is the computer adaptive reading test?139-143
• Chapter Six: Summary and Conclusion143-156
• 6.1 Summary of the Study143-145
• 6.2 Conclusion145-148
• 6.3 Educational Implications148-150
• 6.3.1 Educational Implications for Test Designers148-150
• 6.3.2 Educational Implications for Language Teachers150
• 6.4 Limitations and Delimitations150-153
• 6.4.1 Limitations150-152
• 6.4.2 Delimitations152-153
• 6.5 Recommendation for Future Research153-156
• 6.5.1 Recommendation for Future Research Relative to Study Limitations129153-154
• 6.5.2 Recommendation for Future Research Relative to Study Delimitations154-156
• References156-171
• Appendix A: Scoring Scheme of the Test171-175
• Appendix B: Test Directions for the Computer Adaptive Reading Test175-176
• Appendix C: Instruction and Practice Tasks for Retrospective Verbal Report176-177
• Appendix D: Material Used in the Third Phase of the Study177-180
• Appendix E: Test Anxiety Inventory180-182
• Appendix F: Attitudes Toward Computers182-184
• Appendix G: Researcher-Developed Questionnaire184-187

【参考文献】

中国期刊全文数据库 前8条

1 韩少杰;李新涛;;基于英语网络测试系统的自适应测试与常规测试的对比实验研究[J];外国语言文学;2006年04期

2 张武保;自适应性测试的实验研究[J];解放军外国语学院学报;1999年03期

3 曾用强;电脑顺应性测试模式的设计[J];外语教学与研究;1992年02期

4 金艳;吴江;;大学英语四级网考效度初探——影响考生评价和考试成绩的因素分析[J];外语电化教学;2010年02期

5 李清华;;基于纸笔的语言测试与基于计算机的语言测试的等效研究综述[J];外语界;2006年04期

6 陈慧麟;;基于纸笔的语言测试和基于计算机的语言测试之间效度对等性验证模式初探[J];外语界;2009年03期

7 何莲珍;短语境阅读测试法的效度研究[J];现代外语;1998年02期

8 罗娟;;大学英语四级机助测试效度实证研究[J];中南林业科技大学学报(社会科学版);2009年06期

  本文关键词：基于计算机的适应性英语阅读测试的可行性验证，由笔耕文化传播整理发布。

本文编号：303814