基于IRT分布式网络考试系统的设计与实现
|
摘要
随着计算机技术和网络技术的高速发展,计算技术逐渐从集中式环境向分布式环境发展。计算机测试软件也从原来的单机模式向现在的分布式考试系统发展,由传统的测试模式向自适应测试方向发展。传统利用计算机进行测试的基本思想是将需要进行考试的试题组合成一张电子试卷,考生利用计算机进行答卷,所有考题是事先预设好的,而计算机化自适应测试(CAT)的基本思想是由计算机去选择最适合考生测试的题目,然后通过考生的反应来估算考生的能力值,继而选择更加合适的题目。大多数的CAT系统运用的是一套建立在项目反应理论基础上的统计模型,按照这种模型去选择测试项目和估算项目反应的结果,本文选用三参数Logistic模型作为基本模型进行研究和设计。
本文首先综述了建立CAT考试系统的理论基础和关键技术,包括CTT和IRT理论及其相关数学模型,分析了这些数学模型中需要解决一些参数的计算方法。接着详细的讨论了分布式应用软件技术的理论基础,包括软件模式、DCOM技术、CORBA技术、EJB技术、MIDAS原理等,讨论了在Delphi下建立基于MIDAS框架的多层分布式C/S结构软件的方法。在以这些理论为基础的前提下,提出了基于IRT分布式网络考试系统的设计背景、总体规划及详细实现过程,最后讨论了系统在实现过程中涉及的一些关键部分,包括系统初始化及终止条件的确立、抽题原则、测试终止条件的确立、曝光度控制、试题预取技术的实现、测验等值策略、负载均衡与容错等,评价了该系统的不足之处,并提出了后续改进的基本设想。
With the rapid development of computer technology and network technology, computation technology is shifting gradually from an integrated environment to a distributed environment, and the computer-based test software today tends to change into a distributed examination system rather than the single-unit version earlier, and the traditional test pattern follows the trend of Computer Auto-adaptation Test(referred as CAT). The principle of traditional computer testing system is to group the test questions into one examination paper, and the candidates will answer the questions on the computers. All the test questions are set up in advance in this test system. In contrast, CAT system can determine which questions are most suitable for a particular examinee by judging their aptitudes from their reaction to the questions.It is a constant and rough task for the society to improve the validity, utility and correctness of our educational test system as the practical means of evaluating one's capability. Most CAT tests employ a set of statistical framework based on Item Response Theory (IRT) to choose testing items and to score the responses of the candidates.In this paper I adopt a three-parameter Logistic model as the basic model for the research and design of DNES based on IRT.
Firstly, the related theories and key technologies of CAT system are introduced, among which are the theory and mathematical model of CTT and IRT, and the analysis of some calculation methods of some parameters that should be resolved in these models. And the second section is a detailed introduction of the theory basis regarding the distributed application software technology, including software format, DCOM technology, CORBA technology, EJB technology, MIDAS Principle etc., discussing the approach of establishing the multi-layered MIDAS Distributed C/S software based on Delphi framework. Thirdly, according to the above theories, a distributed examination system, an IRT-based network, is developed. And finally,some key technical details involved in the actual process are described, e.g. the initialization and termination conditions, the principle of question selection, test termination conditions, Item Pool Management, access of questions, Test Equating, item equivalency etc., as well as some assumptions for improving the potential problems.
本文首先综述了建立CAT考试系统的理论基础和关键技术,包括CTT和IRT理论及其相关数学模型,分析了这些数学模型中需要解决一些参数的计算方法。接着详细的讨论了分布式应用软件技术的理论基础,包括软件模式、DCOM技术、CORBA技术、EJB技术、MIDAS原理等,讨论了在Delphi下建立基于MIDAS框架的多层分布式C/S结构软件的方法。在以这些理论为基础的前提下,提出了基于IRT分布式网络考试系统的设计背景、总体规划及详细实现过程,最后讨论了系统在实现过程中涉及的一些关键部分,包括系统初始化及终止条件的确立、抽题原则、测试终止条件的确立、曝光度控制、试题预取技术的实现、测验等值策略、负载均衡与容错等,评价了该系统的不足之处,并提出了后续改进的基本设想。
With the rapid development of computer technology and network technology, computation technology is shifting gradually from an integrated environment to a distributed environment, and the computer-based test software today tends to change into a distributed examination system rather than the single-unit version earlier, and the traditional test pattern follows the trend of Computer Auto-adaptation Test(referred as CAT). The principle of traditional computer testing system is to group the test questions into one examination paper, and the candidates will answer the questions on the computers. All the test questions are set up in advance in this test system. In contrast, CAT system can determine which questions are most suitable for a particular examinee by judging their aptitudes from their reaction to the questions.It is a constant and rough task for the society to improve the validity, utility and correctness of our educational test system as the practical means of evaluating one's capability. Most CAT tests employ a set of statistical framework based on Item Response Theory (IRT) to choose testing items and to score the responses of the candidates.In this paper I adopt a three-parameter Logistic model as the basic model for the research and design of DNES based on IRT.
Firstly, the related theories and key technologies of CAT system are introduced, among which are the theory and mathematical model of CTT and IRT, and the analysis of some calculation methods of some parameters that should be resolved in these models. And the second section is a detailed introduction of the theory basis regarding the distributed application software technology, including software format, DCOM technology, CORBA technology, EJB technology, MIDAS Principle etc., discussing the approach of establishing the multi-layered MIDAS Distributed C/S software based on Delphi framework. Thirdly, according to the above theories, a distributed examination system, an IRT-based network, is developed. And finally,some key technical details involved in the actual process are described, e.g. the initialization and termination conditions, the principle of question selection, test termination conditions, Item Pool Management, access of questions, Test Equating, item equivalency etc., as well as some assumptions for improving the potential problems.
引文
[1] 余嘉元.项目反应理论及其应用.江苏教育出版社,1992
[2] 余胜泉,何克抗.网络题库系统的设计与实现.中国远程教育,2000.9[总 164]:53～57
[3] Baker. Item response theory:Parameter estimation techniques. New York: Marcel Dekker
[4] 漆书青. 现代测量理论在考试中的应用. 华中师范大学出版社,2003:250～254
[5] 杨志明,张雷.评测的概化理论及其应用.北京教育科学出版社,2002.9: 44～47
[6] 许祖慰.项目反应理论及其在测验中的应用.上海华东师范大学出版社,1992:19～20
[7] 陈乙雄,符云清,祝伟华.项目反应原理在远程教育中的应用研究.计算机科学.2005年第 4 期
[8] 于向英.教育测量与统计.郑州大学出版社,2004.1: 45～68
[9] 万勇,于全训.传统测验理论与项目反应理论(J).山东师范大学学报,1991,66(3)
[10] 张华龙,龙华.计算机自适应考试技术在网络教育中的应用.东华大学学报(自然科学版 ) ,2004,30(3):76～80
[11] 李卫东,黄河笑,郭俊文. IRT 在自适应考试中的应用.计算机工程,2001,27 (7):179～181
[12] 顾海根.人员测评[M].中国科学技术大学出版社,2005:236～240
[13] 漆书青.略论心理和教育测量理论的发展历程.江西师范大学学报,Vol.34 No.1:2001.2
[14] 张倩苇.发达国家和地区教育信息化的新进展.比较教育研究
[15] 孙浩. 基于远程教育的自适应测评系统的研究和实现. 昆明理工大学硕士学位论文, 20050410
[16] 罗芬,丁树良,胡小松,万宇文,甘登文.基于 IRT 若干参数估计方式的比较.江西师范大学学报 Vol.27 No.1 2003
[17] 刘丽萍,王文杰,郭世宁.计算机自适应考试(CAT)系统题库的设计与实现,计算机系统应用,2006 年第 3 期,10～12
[18] Binrbaum,A.Some latent trait models and their use in inferring an examinee's abiilty.In F.M .Lord & M.R.Novick,Statistical theories of mental test scores(chapters17~20),1968
[19] 赖鸿斌. 基于三层分布式 C/S 结构模型的铁路工务地理信息系统设计和开发. 西南交通大学硕士学位论文, 20031101
[20] 曾强,龚育昌. 基于 SQL 和 ADO 的用户数据库自动部署.计算机工程与应用,2007,43(16) :186～188
[21] 梁莹,陈正铭.基于 ADO 技术的 XML 数据库信息处理.计算机系统应用,2006 年第1 期:88～90
[22] 李维.Delphi5.X ADO/MTS/COM+ 高级程序设计篇.机械工业出版社,2001
[23] Jeffrey D.Ullman,Jennifer Widom 著,史嘉权等译.数据库系统基础教程.清华大学出版社,1999 年 9 月第一版
[24] 白青海,张善勇,郑瑛.ADO 与 SQL Server 2000 数据库应用程序开发探讨.内蒙古民族大学学报,2003,18(2):117～120
[25] 田怀凤. 汉语水平考试 IRT 题库与自适应系统研究.上海交通大学硕士学位论文,20050201
[26] 苗学林,电脑顺应测试及其在预测 TOEFL 成绩中的应用.中山大学学报论丛,1994.02 期
[27] 董明华.自适应考试理论及其在医学教育中的应用.华中科技大学硕士学位论文,20061114
[28] 袁连海,董文,张志亮著. SQLServer 2000 应用开发实例教程.机械工业出版社,2002.1
[29] 董福贵,王金铭,王秀清,赵景林.大型网络数据库 SQL Server 的安全策略.东北电力学院学报,1998,18(3):118～123
[30] 叶蓓著.SQL Server2000 关系数据库特性分析.现代电子技术,2003.23 (166):70～74
[31] 叶奇志,刘治柱.用 Delphi 实现通用数据库管理系统.计算机与现代化,1997. 1: 31～34
[32] 邵晨辉,陈玉泉,徐良贤.基于题目反应理论的机助自适应考试系统.计算机工程,2000 年 11 月,第 11 期:161～163
[33] 李广洲,丁金芳,邓海山.基于 Web 的化学计算机化自适应测验系统的实现.计算机与应用化学,2002,19(5):661～664
[34] 飞思科技产品研发中心.Delphi7 组件与分布式应用开发.电子工业出版社.2003,1
[35] 李璟,李玉枕.利用 Delphi 开发基于 MIDAS 和 ADO 技术的三层应用.计算机应用与软件,2004.7:109～111
[36] 陈耿,文登敏.一个基于 MIDAS 的分布式数据库软件的实现.计算机应用, 2002 年9 月:71～73
[37] 张敏强.教育测量学.人民教育出版社,2001
[38] 宋坤.邹天思.Delphi 数据库系统开发完全手册.人民邮电出版社,2006.3
[39] 董敏. 基于项目反应理论的计算机自适应题库系统 IRT-CABS 的研究.中国科学技术大学博士学位论文, 20040801:50～51
[40] 王志刚,赵跃龙.一个基于 MIDAS 容错技术的问题及其解决办法.计算机工程与应用,2003.2:144～145
[2] 余胜泉,何克抗.网络题库系统的设计与实现.中国远程教育,2000.9[总 164]:53～57
[3] Baker. Item response theory:Parameter estimation techniques. New York: Marcel Dekker
[4] 漆书青. 现代测量理论在考试中的应用. 华中师范大学出版社,2003:250～254
[5] 杨志明,张雷.评测的概化理论及其应用.北京教育科学出版社,2002.9: 44～47
[6] 许祖慰.项目反应理论及其在测验中的应用.上海华东师范大学出版社,1992:19～20
[7] 陈乙雄,符云清,祝伟华.项目反应原理在远程教育中的应用研究.计算机科学.2005年第 4 期
[8] 于向英.教育测量与统计.郑州大学出版社,2004.1: 45～68
[9] 万勇,于全训.传统测验理论与项目反应理论(J).山东师范大学学报,1991,66(3)
[10] 张华龙,龙华.计算机自适应考试技术在网络教育中的应用.东华大学学报(自然科学版 ) ,2004,30(3):76～80
[11] 李卫东,黄河笑,郭俊文. IRT 在自适应考试中的应用.计算机工程,2001,27 (7):179～181
[12] 顾海根.人员测评[M].中国科学技术大学出版社,2005:236～240
[13] 漆书青.略论心理和教育测量理论的发展历程.江西师范大学学报,Vol.34 No.1:2001.2
[14] 张倩苇.发达国家和地区教育信息化的新进展.比较教育研究
[15] 孙浩. 基于远程教育的自适应测评系统的研究和实现. 昆明理工大学硕士学位论文, 20050410
[16] 罗芬,丁树良,胡小松,万宇文,甘登文.基于 IRT 若干参数估计方式的比较.江西师范大学学报 Vol.27 No.1 2003
[17] 刘丽萍,王文杰,郭世宁.计算机自适应考试(CAT)系统题库的设计与实现,计算机系统应用,2006 年第 3 期,10～12
[18] Binrbaum,A.Some latent trait models and their use in inferring an examinee's abiilty.In F.M .Lord & M.R.Novick,Statistical theories of mental test scores(chapters17~20),1968
[19] 赖鸿斌. 基于三层分布式 C/S 结构模型的铁路工务地理信息系统设计和开发. 西南交通大学硕士学位论文, 20031101
[20] 曾强,龚育昌. 基于 SQL 和 ADO 的用户数据库自动部署.计算机工程与应用,2007,43(16) :186～188
[21] 梁莹,陈正铭.基于 ADO 技术的 XML 数据库信息处理.计算机系统应用,2006 年第1 期:88～90
[22] 李维.Delphi5.X ADO/MTS/COM+ 高级程序设计篇.机械工业出版社,2001
[23] Jeffrey D.Ullman,Jennifer Widom 著,史嘉权等译.数据库系统基础教程.清华大学出版社,1999 年 9 月第一版
[24] 白青海,张善勇,郑瑛.ADO 与 SQL Server 2000 数据库应用程序开发探讨.内蒙古民族大学学报,2003,18(2):117～120
[25] 田怀凤. 汉语水平考试 IRT 题库与自适应系统研究.上海交通大学硕士学位论文,20050201
[26] 苗学林,电脑顺应测试及其在预测 TOEFL 成绩中的应用.中山大学学报论丛,1994.02 期
[27] 董明华.自适应考试理论及其在医学教育中的应用.华中科技大学硕士学位论文,20061114
[28] 袁连海,董文,张志亮著. SQLServer 2000 应用开发实例教程.机械工业出版社,2002.1
[29] 董福贵,王金铭,王秀清,赵景林.大型网络数据库 SQL Server 的安全策略.东北电力学院学报,1998,18(3):118～123
[30] 叶蓓著.SQL Server2000 关系数据库特性分析.现代电子技术,2003.23 (166):70～74
[31] 叶奇志,刘治柱.用 Delphi 实现通用数据库管理系统.计算机与现代化,1997. 1: 31～34
[32] 邵晨辉,陈玉泉,徐良贤.基于题目反应理论的机助自适应考试系统.计算机工程,2000 年 11 月,第 11 期:161～163
[33] 李广洲,丁金芳,邓海山.基于 Web 的化学计算机化自适应测验系统的实现.计算机与应用化学,2002,19(5):661～664
[34] 飞思科技产品研发中心.Delphi7 组件与分布式应用开发.电子工业出版社.2003,1
[35] 李璟,李玉枕.利用 Delphi 开发基于 MIDAS 和 ADO 技术的三层应用.计算机应用与软件,2004.7:109～111
[36] 陈耿,文登敏.一个基于 MIDAS 的分布式数据库软件的实现.计算机应用, 2002 年9 月:71～73
[37] 张敏强.教育测量学.人民教育出版社,2001
[38] 宋坤.邹天思.Delphi 数据库系统开发完全手册.人民邮电出版社,2006.3
[39] 董敏. 基于项目反应理论的计算机自适应题库系统 IRT-CABS 的研究.中国科学技术大学博士学位论文, 20040801:50～51
[40] 王志刚,赵跃龙.一个基于 MIDAS 容错技术的问题及其解决办法.计算机工程与应用,2003.2:144～145