全国统一考试结果的分析与利用
|
摘要
考试结果的统计与分析既是现代考试流程中的一个重要步骤，也是促进考试走向科学化、规范化必不可少的手段。通过对同等学力人员申请硕士学位全国统一考试结果的分析与利用，建立严格的考试质量控制措施，并及时发现考试中的问题，不仅对该考试本身具有现实意义，而且对保证同等学力人员申请硕士学位的培养质量和国家宏观控制硕士研究生质量，进而推进高等教育的改革与发展也具有重大的现实意义。本论文以同等学力人员申请硕士学位全国统一考试结果为研究对象，通过对考试分数的收集、整理、分析研究，获取反映试题和考试质量指标的各种数据，同时结合目前实际工作开发了同等学力人员申请硕士学位全国统一考试统计分析系统，运用该系统对2002年度同等学力人员申请硕士学位全国统一考试的成绩作了统计分析，用于指导2003年度命题，并用该系统对2003年度该考试全国报名信息进行了汇总、校验和统计分析。
论文的主要内容简述如下：
第一章概述了考试的概念、分类和各类考试的特点，分析了考试与教育测量和教育统计的关系，之后介绍了考试结果统计分析的国内外研究现状和发展趋势，分析了同等学力人员申请硕士学位全国统一考试性质特点和存在的问题，最后阐明了本论文的研究目的、意义和研究内容。
第二章从教育统计和教育测量的角度出发，从理论上探讨了考试结果统计分析的方法，包括常用的数理统计方法的应用，归纳总结考试质量分析的教育测量学指标：难度、区分度、信度、效度，论述了四度分析的概念、特点、方法和相互关系，并对目前常用的测量理论进行了简要介绍。
第三章通过实验分析，以实际应用为目的，对2001、2002年度同等学力申请硕士学位全国统一考试中报考人数较多，涉及范围较广、较具典型性的五个外国语语种和六个一级学科分别进行了系统的抽样统计分析，包括试卷整体分析和项目分析，重点对英语考试结果进行完整的统计分析，从量化的角度反映了试卷和
浙江工业大学硕士学位论文
试题的质量，并对考生的人群状况，以及违纪情况作了统计与分析。
第四章建立了同等学力人员申请硕士学位全国统一考试统计分析系统，对该
系统进行了规划和设计，介绍了系统的总体结构、特点及主要功能模块，给出了
系统运行实例。
第五章是对本文工作的总结，并对下一步的相关研究作了展望。
The statistics and analysis of test results is the important part in modem test process, which is a necessary means to promote test more scientific and more normative too. It is significant to establish the strict control means of test qualify and find problems existing in the test timely, by analyzing and utilizing the results of National Qualification Test for Master-Degree Applicants (NQTMDA), which is not only for the test itself but also for the guarantee of quality of master-degree application and the promotion to innovation and development of high education. The research object of this dissertation aims at the results of NQTMDA, and all kinds of data reflecting the test quality are obtained by gathering, disposing and analyzing the scores of tests. In the same time the statistic and analysis system of NQTMDA has been developed, combining with the practical work.
The main ideas of this dissertation are as follows:
Chapter one describes the concepts, classification and features of tests, and analyzes the relationship between test and measurement and statistics of education. Then, the history, research status and development trend of statistics and analysis for test results are introduced, and the properties and existent problems of NQTMDA are analyzed. Finally purposes, significance and contents of the dissertation are illuminated.
The second chapter discusses the methods for statistics and analysis of test results from the point of view of educational statistics and measurement. It includes the application of mathematical statistics methods and the summarization of education measurement targets of test quality analysis, and also the concepts, features, methods and correlation of difficulty, discrimination, reliability and validity are discussed. At the end of this chapter, some typical theories are introduced in brief.
In chapter three, 5 main classifications of language and 6 typical subjects of NQTMDA are analyzed systematically and respectively from integer and item of the tests, which analyzes the results of English test result in emphasis and reflects the
quality of tests from the point of view of quantification. Also we analyze the status of candidate crowd and violating the exam discipline.
Chapter four constructs the statistic and analysis system of NQTMDA, and demonstrates the integral architecture of the system, and the features of this application software are introduced. Then main functional modules of system are analyzed. A few of main functions of system are illustrated by examples.
The last chapter summarizes the research of the dissertation and explicates the developing aspects of the coming research wok.
论文的主要内容简述如下：
第一章概述了考试的概念、分类和各类考试的特点，分析了考试与教育测量和教育统计的关系，之后介绍了考试结果统计分析的国内外研究现状和发展趋势，分析了同等学力人员申请硕士学位全国统一考试性质特点和存在的问题，最后阐明了本论文的研究目的、意义和研究内容。
第二章从教育统计和教育测量的角度出发，从理论上探讨了考试结果统计分析的方法，包括常用的数理统计方法的应用，归纳总结考试质量分析的教育测量学指标：难度、区分度、信度、效度，论述了四度分析的概念、特点、方法和相互关系，并对目前常用的测量理论进行了简要介绍。
第三章通过实验分析，以实际应用为目的，对2001、2002年度同等学力申请硕士学位全国统一考试中报考人数较多，涉及范围较广、较具典型性的五个外国语语种和六个一级学科分别进行了系统的抽样统计分析，包括试卷整体分析和项目分析，重点对英语考试结果进行完整的统计分析，从量化的角度反映了试卷和
浙江工业大学硕士学位论文
试题的质量，并对考生的人群状况，以及违纪情况作了统计与分析。
第四章建立了同等学力人员申请硕士学位全国统一考试统计分析系统，对该
系统进行了规划和设计，介绍了系统的总体结构、特点及主要功能模块，给出了
系统运行实例。
第五章是对本文工作的总结，并对下一步的相关研究作了展望。
The statistics and analysis of test results is the important part in modem test process, which is a necessary means to promote test more scientific and more normative too. It is significant to establish the strict control means of test qualify and find problems existing in the test timely, by analyzing and utilizing the results of National Qualification Test for Master-Degree Applicants (NQTMDA), which is not only for the test itself but also for the guarantee of quality of master-degree application and the promotion to innovation and development of high education. The research object of this dissertation aims at the results of NQTMDA, and all kinds of data reflecting the test quality are obtained by gathering, disposing and analyzing the scores of tests. In the same time the statistic and analysis system of NQTMDA has been developed, combining with the practical work.
The main ideas of this dissertation are as follows:
Chapter one describes the concepts, classification and features of tests, and analyzes the relationship between test and measurement and statistics of education. Then, the history, research status and development trend of statistics and analysis for test results are introduced, and the properties and existent problems of NQTMDA are analyzed. Finally purposes, significance and contents of the dissertation are illuminated.
The second chapter discusses the methods for statistics and analysis of test results from the point of view of educational statistics and measurement. It includes the application of mathematical statistics methods and the summarization of education measurement targets of test quality analysis, and also the concepts, features, methods and correlation of difficulty, discrimination, reliability and validity are discussed. At the end of this chapter, some typical theories are introduced in brief.
In chapter three, 5 main classifications of language and 6 typical subjects of NQTMDA are analyzed systematically and respectively from integer and item of the tests, which analyzes the results of English test result in emphasis and reflects the
quality of tests from the point of view of quantification. Also we analyze the status of candidate crowd and violating the exam discipline.
Chapter four constructs the statistic and analysis system of NQTMDA, and demonstrates the integral architecture of the system, and the features of this application software are introduced. Then main functional modules of system are analyzed. A few of main functions of system are illustrated by examples.
The last chapter summarizes the research of the dissertation and explicates the developing aspects of the coming research wok.
引文
[1]于信风，考试学引论，沈阳：辽宁人民出版社，1987
[2]张敏强著：教育测量学，人民教育出版社，1998：35-49
[3]刘新平，教育统计与测量在高教管理中的作用，中国高教研究，1994．4：89-91
[4]侯光文著：教育测量与教学评价，明天出版社，1991：42-43
[5]王素君，考试、应试、考试改革(之一)——应试：考试制度下的必然现象，沈阳建筑工程学院学报(社会科学版)1999．10：43-46
[6]李国强，普通话水平测试的教育统计与教育测量研究，硕士研究生生学位论文，2001．5
[7]刘振起、胡欣杰，考试数据的机辅分析、诊断与反馈，指挥技术学院学报，2000．4：101-104
[8]陈雪娟，也谈试卷质量分析，数理统计与管理，Vol．2，13：54-58
[9]侯晓霞、王子勇，试卷质量分析与评价系统的设计，计算机工程，2000．11：151-153
[10]钱朝霞，考试分析及其应用，海南大学学报自然科学版，1999．6：197-200
[11]谢伟，如何进行考试分析，教学与管理，2001，4：79-80
[12]王汉澜，教育测量学，河南大学出版社，1987．9
[13]H.Wainer, Item Clusters and Computerized adaptive Testing, Journal of Educational Measurement, 1987.24:185-201
[14]邵晨辉、陈玉泉、徐良贤，基于题目反应理论的机助自适应考试系统，计算机工程，2000．11(26)：161-163
[15]尚钢，教育测量数据的多元自建模模型分析，武汉测绘科技大学学报，1998，9：279-281
[14]罗冠中，汤上勇，关于Rasch模型推广的若干问题，华南师范大学学报(自然科学版)，1996．4：81-88
[15]国家教委考试中心主编，题库建设理论与实践，光明日报出版社，1991．4
[16]余国祥，关于集对分析在教育测量与评价中的应用，学科教育，1997．1：44-48
[17]Cook L L, Peterson N S Problem related to the use of conventional and item response theory equating methods in less than optimal circumstance.
APM, 1987.11 (3):225-244
[18]Way W D,Reese C M An investigation of use of simplified IRT model for scaling and equating the TOFEL test,ETS,TOFEL technical report, 1991.2:1-22
[19]Boldt R F, Simulated equating using several item response curves, ETS,TOFEL technical report, 1994.8:1-27
[20]许祖慰，项目反应理论及其在测验中的应用，华东师范大学出版社，1992．1
[21]王秀玲，李金波，IRT的单维性假设检验与IRT的应用研究，浙江师范大学(社会科学版)1997．5：91-95
[22]许健，马世晔等，标准化试题的评价与IRT模型的应用，中国考试，2000．12：15-17
[23]心理学测量研究小组，北京师范大学学报(社科版)，1980：65
[24]杨惠中，C．Weir，大学英语四、六级考试效度研究，上海外语教育出版社，1998．10
[25]William Donnelly,YU Zhengjing,Testing the test:CET and communicative validity, Journal of Chengdu university of information technology, Jun.2002:140-148
[26]樊丽俭、冯振宇，科学评价考试成绩、努力提高考试成绩，交通高教研究，2001．4：31-34
[27]程志等，F-S-P表在试卷分析中的应用，中国高等医学教育
[28]王伟，试卷综合评判方法的应用，医学教育，1994．11：33-36
[29]李秀央，秩和比(RSA)法用于试题质量分析，中国高等教育，1996，1：41
[30]国务院学位委员会关于授予具有研究生毕业同等学力人员硕士、博士学位的规定
[31]徐维清，同等学力申请硕士学位全国考试管理信息系统的研究与开发，北京理工大学硕士学位论文，2001．5
[32]徐维清、赵瑜、朱珍民，同等学力全国考试信息管理系统，湘潭大学自然科学学报，Vol．22No．3 2000．9：30-34
[33]薛华成，管理信息系统(第二版)，清华大学出版社，1993．6
[34]胡家喜，相关系数在考试质量分析中的应用，孝感学院学报(自然科学版)，2000．11：19-22
[35]王建明、刘建成，试卷质量分析与评价系统的设计与实现，湖南商学院学报，
1998．5：72-74
[36]于桂珍，评价试卷的层次分析模型，工科数学Vol．10 No．4 1994．12：124-127
[37]陈英豪、吴裕益，测验的编制与应用，伟文图书公司，1982
[38]郭丽，大学英语总结性考试的分析与评价，西安外国语学院学报，2000．6：87-90
[39]高洪，孔密，运用统计手段科学分析考试成绩，沈阳教育学院学报，2000．6：47-49
[40]王城，周泽汉等，考试质量分析程序及应用，上海第二医科大学学报，2002，1：78-81
[41]王较过、秦春华、李晓林，试卷质量综合评价初探，陕西教育学院学报，2001，1：69-73
[42]Anthony Wood，Paul Fletcher,Arthur Hughes：Statistics in Language Studies，北京语言文化大学出版社，2000
[43]蔡景一，医学基础课程试卷考核质量评价指标与方法的研究，北京医科大学公共卫生学院，硕士学位论文，2001
[44]陈嘉鹏，关于考试若干问题的探讨，电力高等教育，1994，2：62-66
[45]戴培东、申国明，考试分析方法的应用，中医教育ETCM，1998，7(4)：24-26
[46]刘景轩，赵世明，标准参照考试的概念与理论问题，中国高等医学教育，1998 2：39-41
[47]Bob M. Data Warehouse[M] America: The Mc Graw Hill 1996
[48]W.H. Inmon, R.D. Hackathorn, Building the Data Warehouse, John Wiley & Sons,Inc,1993
[49]Gronlund N.E., Linn R.L. Measurement and Evaluation Sixth ed. New York,Macmillan Publishing Company, 1990, 47-48,77-83
[50]Robert L Ebel. Essentials of Educational Measurement. 3rd Edition, 1979,132-140
[51]R.L. Thorndike, Measurement and Evaluation in Psychology and Education, John wisely & Sons. Inc, 1977
[52]G.A. Ferguson, Statistical Analysis in Psychology and Education, McGraw Hill,International Book Company, 1981
[53]裘夏清，黄培根，考试评估管理信息系统，中山大学学报论丛，1997．3：135-140
[54]李伟，如何将数理统计方法应用于考试结果分析，统计与决策，2001．4：22-23
[55]庚铁汉，王建明，考试成绩与试卷质量分析系统，电脑与信息技术，
1999，2：31-33
[56]刘景轩、赵世明，标准参照考试的概念与理论问题，中国高等医学教育，1998，2：39-41
[57]杨已青，教育测量学中信度系数之估计，杭州电子工业学院学报，1998．3：53-58
[58]任杰、谢小庆，中国少数民族与外国考生HSK成绩的公平性分析，心理学探索，2002，Vol．22：51-56
[59]邵晨辉、陈玉泉、徐良贤，基于题目反应理论的机助自适应考试系统，计算机工程，2000．11(26)：161-163
[60]宋立新、刘影、王清，关于单项选择题与多项选择题概率难度的比较，数理统计与管理，Vol．20，2001．1：30-32
[61]谢桂华，学位与研究生教育工作实践及思考，高等教育出版社，2002，11：445-457
[62]王珊、陈红，数据库系统原理教程，清华大学出版社，1998，7
[63]阮桂海、蔡建瓴，SPSS for Windows高级应用教程，电子工业出版社，1998，11
[64]吴明隆，SPSS统计应用实务，中国铁道出版社，2000，9
[65]Database Language SQL Explained. CCTA, 1993
[66]Ricardo Catherine M. Database Systems: Principles, Design & Implementation. Macmillan Publishing Company, 1990
[67]邵建利，计算机在统计中的应用，上海财经大学出版社，2000，5
[68]陈立文、王云峰、曾珍香、吕荣杰，教学管理改革方案及其信息系统开发，管理信息系统，2001，4：25-28
[69]姜旭平，信息系统的开发方法—方法、策略、技术、工具与发展，清华大学出版社，2000
[70]闻星火、陈辉、王映雪，资产管理信息系统的开发与应用，清华大学学报，2000 No．1
[71]Ken North，面向对象的数据库程序设计，电子工业出版社，2001
[72]郭文明，逯涛，基于组件的考试管理信息系统分析与分析，电脑开发与应用，Vol．14，2001，7：26-32
[2]张敏强著：教育测量学，人民教育出版社，1998：35-49
[3]刘新平，教育统计与测量在高教管理中的作用，中国高教研究，1994．4：89-91
[4]侯光文著：教育测量与教学评价，明天出版社，1991：42-43
[5]王素君，考试、应试、考试改革(之一)——应试：考试制度下的必然现象，沈阳建筑工程学院学报(社会科学版)1999．10：43-46
[6]李国强，普通话水平测试的教育统计与教育测量研究，硕士研究生生学位论文，2001．5
[7]刘振起、胡欣杰，考试数据的机辅分析、诊断与反馈，指挥技术学院学报，2000．4：101-104
[8]陈雪娟，也谈试卷质量分析，数理统计与管理，Vol．2，13：54-58
[9]侯晓霞、王子勇，试卷质量分析与评价系统的设计，计算机工程，2000．11：151-153
[10]钱朝霞，考试分析及其应用，海南大学学报自然科学版，1999．6：197-200
[11]谢伟，如何进行考试分析，教学与管理，2001，4：79-80
[12]王汉澜，教育测量学，河南大学出版社，1987．9
[13]H.Wainer, Item Clusters and Computerized adaptive Testing, Journal of Educational Measurement, 1987.24:185-201
[14]邵晨辉、陈玉泉、徐良贤，基于题目反应理论的机助自适应考试系统，计算机工程，2000．11(26)：161-163
[15]尚钢，教育测量数据的多元自建模模型分析，武汉测绘科技大学学报，1998，9：279-281
[14]罗冠中，汤上勇，关于Rasch模型推广的若干问题，华南师范大学学报(自然科学版)，1996．4：81-88
[15]国家教委考试中心主编，题库建设理论与实践，光明日报出版社，1991．4
[16]余国祥，关于集对分析在教育测量与评价中的应用，学科教育，1997．1：44-48
[17]Cook L L, Peterson N S Problem related to the use of conventional and item response theory equating methods in less than optimal circumstance.
APM, 1987.11 (3):225-244
[18]Way W D,Reese C M An investigation of use of simplified IRT model for scaling and equating the TOFEL test,ETS,TOFEL technical report, 1991.2:1-22
[19]Boldt R F, Simulated equating using several item response curves, ETS,TOFEL technical report, 1994.8:1-27
[20]许祖慰，项目反应理论及其在测验中的应用，华东师范大学出版社，1992．1
[21]王秀玲，李金波，IRT的单维性假设检验与IRT的应用研究，浙江师范大学(社会科学版)1997．5：91-95
[22]许健，马世晔等，标准化试题的评价与IRT模型的应用，中国考试，2000．12：15-17
[23]心理学测量研究小组，北京师范大学学报(社科版)，1980：65
[24]杨惠中，C．Weir，大学英语四、六级考试效度研究，上海外语教育出版社，1998．10
[25]William Donnelly,YU Zhengjing,Testing the test:CET and communicative validity, Journal of Chengdu university of information technology, Jun.2002:140-148
[26]樊丽俭、冯振宇，科学评价考试成绩、努力提高考试成绩，交通高教研究，2001．4：31-34
[27]程志等，F-S-P表在试卷分析中的应用，中国高等医学教育
[28]王伟，试卷综合评判方法的应用，医学教育，1994．11：33-36
[29]李秀央，秩和比(RSA)法用于试题质量分析，中国高等教育，1996，1：41
[30]国务院学位委员会关于授予具有研究生毕业同等学力人员硕士、博士学位的规定
[31]徐维清，同等学力申请硕士学位全国考试管理信息系统的研究与开发，北京理工大学硕士学位论文，2001．5
[32]徐维清、赵瑜、朱珍民，同等学力全国考试信息管理系统，湘潭大学自然科学学报，Vol．22No．3 2000．9：30-34
[33]薛华成，管理信息系统(第二版)，清华大学出版社，1993．6
[34]胡家喜，相关系数在考试质量分析中的应用，孝感学院学报(自然科学版)，2000．11：19-22
[35]王建明、刘建成，试卷质量分析与评价系统的设计与实现，湖南商学院学报，
1998．5：72-74
[36]于桂珍，评价试卷的层次分析模型，工科数学Vol．10 No．4 1994．12：124-127
[37]陈英豪、吴裕益，测验的编制与应用，伟文图书公司，1982
[38]郭丽，大学英语总结性考试的分析与评价，西安外国语学院学报，2000．6：87-90
[39]高洪，孔密，运用统计手段科学分析考试成绩，沈阳教育学院学报，2000．6：47-49
[40]王城，周泽汉等，考试质量分析程序及应用，上海第二医科大学学报，2002，1：78-81
[41]王较过、秦春华、李晓林，试卷质量综合评价初探，陕西教育学院学报，2001，1：69-73
[42]Anthony Wood，Paul Fletcher,Arthur Hughes：Statistics in Language Studies，北京语言文化大学出版社，2000
[43]蔡景一，医学基础课程试卷考核质量评价指标与方法的研究，北京医科大学公共卫生学院，硕士学位论文，2001
[44]陈嘉鹏，关于考试若干问题的探讨，电力高等教育，1994，2：62-66
[45]戴培东、申国明，考试分析方法的应用，中医教育ETCM，1998，7(4)：24-26
[46]刘景轩，赵世明，标准参照考试的概念与理论问题，中国高等医学教育，1998 2：39-41
[47]Bob M. Data Warehouse[M] America: The Mc Graw Hill 1996
[48]W.H. Inmon, R.D. Hackathorn, Building the Data Warehouse, John Wiley & Sons,Inc,1993
[49]Gronlund N.E., Linn R.L. Measurement and Evaluation Sixth ed. New York,Macmillan Publishing Company, 1990, 47-48,77-83
[50]Robert L Ebel. Essentials of Educational Measurement. 3rd Edition, 1979,132-140
[51]R.L. Thorndike, Measurement and Evaluation in Psychology and Education, John wisely & Sons. Inc, 1977
[52]G.A. Ferguson, Statistical Analysis in Psychology and Education, McGraw Hill,International Book Company, 1981
[53]裘夏清，黄培根，考试评估管理信息系统，中山大学学报论丛，1997．3：135-140
[54]李伟，如何将数理统计方法应用于考试结果分析，统计与决策，2001．4：22-23
[55]庚铁汉，王建明，考试成绩与试卷质量分析系统，电脑与信息技术，
1999，2：31-33
[56]刘景轩、赵世明，标准参照考试的概念与理论问题，中国高等医学教育，1998，2：39-41
[57]杨已青，教育测量学中信度系数之估计，杭州电子工业学院学报，1998．3：53-58
[58]任杰、谢小庆，中国少数民族与外国考生HSK成绩的公平性分析，心理学探索，2002，Vol．22：51-56
[59]邵晨辉、陈玉泉、徐良贤，基于题目反应理论的机助自适应考试系统，计算机工程，2000．11(26)：161-163
[60]宋立新、刘影、王清，关于单项选择题与多项选择题概率难度的比较，数理统计与管理，Vol．20，2001．1：30-32
[61]谢桂华，学位与研究生教育工作实践及思考，高等教育出版社，2002，11：445-457
[62]王珊、陈红，数据库系统原理教程，清华大学出版社，1998，7
[63]阮桂海、蔡建瓴，SPSS for Windows高级应用教程，电子工业出版社，1998，11
[64]吴明隆，SPSS统计应用实务，中国铁道出版社，2000，9
[65]Database Language SQL Explained. CCTA, 1993
[66]Ricardo Catherine M. Database Systems: Principles, Design & Implementation. Macmillan Publishing Company, 1990
[67]邵建利，计算机在统计中的应用，上海财经大学出版社，2000，5
[68]陈立文、王云峰、曾珍香、吕荣杰，教学管理改革方案及其信息系统开发，管理信息系统，2001，4：25-28
[69]姜旭平，信息系统的开发方法—方法、策略、技术、工具与发展，清华大学出版社，2000
[70]闻星火、陈辉、王映雪，资产管理信息系统的开发与应用，清华大学学报，2000 No．1
[71]Ken North，面向对象的数据库程序设计，电子工业出版社，2001
[72]郭文明，逯涛，基于组件的考试管理信息系统分析与分析，电脑开发与应用，Vol．14，2001，7：26-32