基于HNC理论的主观题自动批改算法设计与系统实现
|
摘要
在计算机自动测评(CAA)领域中，针对单项选择题、多项选择题和填空题等客观试题的自动批改技术已经很成熟，被应用于大型的考试系统中。但是，针对名词解释、简答题、论述题以及作文题等主观题型的自动批改技术，由于其受到人工智能、自然语言理解、模式识别等理论与技术发展的限制，所以至今还很不完善，没有实用的系统出现。
国内对主观题的批改依然是人工批改，但人工批改的结果会受很多主客观因素的影响，如学生卷面的整洁程度、学生字体的美丑、教师当时的情绪状态等，从而降低了学生之间竞争的公平性和公正性。
而计算机的运算速度快、效率高、精度高、不会疲劳，工作不受主观因素影响，尤其适用于主观题的自动批改。因此，研究如何利用计算机来实现主观题的自动批改具有很大的现实意义。
本文针对汉语理解的特点，将HNC(概念层次网络)理论引入到主观题的自动批改系统中来，利用HNC理论的知识表达方法以及句类分析技术来实现计算机对汉语句子的语义成分自动分析，设计出了基于HNC理论的主观题自动批改算法，并实现了一个主观题自动批改实验系统，达到了一定的批改效果。
In the CAA (Computer Assisted Assessment) area, the techniques of the auto-assessment of the object questions, such as single choices, multiple choices and vacancy filling questions etc., have been very perfect and been used in large-scaled testing systems. But, when refers to the subject questions, such as the term explanation, short answer questions, essay questions and compositions etc., their auto-assess techniques remain unperfect, because the subject questions' auto-assess techniques are restricted by the development of the techniques in Artificial Intelligence area, the Natural Language Understanding area and the Pattern Recognition area, so, there was no applied system in use.
In China, the subject questions' assessment is still in manual. What' s more, there are many object or subject factors that will influence the result, such as the cleanesss of the student' s papers, the beauty or ugliness of the student' s handwriting, the teacher' s mood etc. That brings down the justiness of the competition between the students.
The computer, however, is prior to human in processing speed, efficiency, precision and never be tired. What' s more, there is no object or subject factor that can influence its work. So, it is very fit for the auto-assessment of the subjective questions.
In this paper, we introduced the HNC (Hierarchical Network of Concepts) theory into the Subjective-Question-Autoassess-System. Using its knowledge expression method and sentence category analyzing method to analyze the semantemes of Chinese sentences automatically. Then, we designed the according algorithms based on HNC theory. Finally, we developped the Subjective-Question-Autoassess system. The auto-assess result was pretty good.
国内对主观题的批改依然是人工批改，但人工批改的结果会受很多主客观因素的影响，如学生卷面的整洁程度、学生字体的美丑、教师当时的情绪状态等，从而降低了学生之间竞争的公平性和公正性。
而计算机的运算速度快、效率高、精度高、不会疲劳，工作不受主观因素影响，尤其适用于主观题的自动批改。因此，研究如何利用计算机来实现主观题的自动批改具有很大的现实意义。
本文针对汉语理解的特点，将HNC(概念层次网络)理论引入到主观题的自动批改系统中来，利用HNC理论的知识表达方法以及句类分析技术来实现计算机对汉语句子的语义成分自动分析，设计出了基于HNC理论的主观题自动批改算法，并实现了一个主观题自动批改实验系统，达到了一定的批改效果。
In the CAA (Computer Assisted Assessment) area, the techniques of the auto-assessment of the object questions, such as single choices, multiple choices and vacancy filling questions etc., have been very perfect and been used in large-scaled testing systems. But, when refers to the subject questions, such as the term explanation, short answer questions, essay questions and compositions etc., their auto-assess techniques remain unperfect, because the subject questions' auto-assess techniques are restricted by the development of the techniques in Artificial Intelligence area, the Natural Language Understanding area and the Pattern Recognition area, so, there was no applied system in use.
In China, the subject questions' assessment is still in manual. What' s more, there are many object or subject factors that will influence the result, such as the cleanesss of the student' s papers, the beauty or ugliness of the student' s handwriting, the teacher' s mood etc. That brings down the justiness of the competition between the students.
The computer, however, is prior to human in processing speed, efficiency, precision and never be tired. What' s more, there is no object or subject factor that can influence its work. So, it is very fit for the auto-assessment of the subjective questions.
In this paper, we introduced the HNC (Hierarchical Network of Concepts) theory into the Subjective-Question-Autoassess-System. Using its knowledge expression method and sentence category analyzing method to analyze the semantemes of Chinese sentences automatically. Then, we designed the according algorithms based on HNC theory. Finally, we developped the Subjective-Question-Autoassess system. The auto-assess result was pretty good.
引文
[1] 陈小荷．现代汉语自动分析—Visual C++实现[M]．北京：北京语言文化大学出版社，1999．
[2] 冯书晓等．国内中文分词技术研究新进展[J]．情报杂志，2002(11)
[3] 高焕芝．有限主观题考试白适应系统[J]．防灾技术高等专科学校学报，2004，6(1)
[4] 高思丹，袁春风．主观试题的计算机自动批改技术研究[J]．计算机应用研究，2004(2)
[5] 高思丹，袁春风．语句相似度计算在主观题自动批改技术中的初步应用[J]．计算机工程与应用，2004(14)
[6] 龚小谨等．汉语句子谓语中心词的自动识别[J]．中文信息学报，2003，17(2)
[7] 黄康，袁春风．基于领域概念网络的自动批改技术[J]．计算机应用研究，2004(11)
[8] 黄曾阳．HNC(概念层次网络)理论： 计算机理解语言研究的新思路[M]．北京：清华大学出版社，1998
[9] 黄曾阳．语言概念空间的基本定理和数学物理表示式[M]．北京：海洋出版社，2004
[10] 况姗芸．网络课程中主观题在线评阅系统的设计与实现[J]．中国电化教育，2004(3)
[11] 李大农，董慧．汉语分词有向图的快速生成算法[J]．情报学报，2004，23(1)
[12] 李辉阳，韩忠愿．有限领域简述文字的自动判读及其在CAI中的应用[J]．计算机工程与应用，2002(8)
[13] 李向阳，苗壮．自由文本信息抽取技术[J]．情报科学，22(7)
[14] 李耀勇．基于HNC理论的机器翻译[D]．中国科学院声学研究所博士后学位论文，2001年6月
[15] 李志清．电子作业自动批改中问题的研究[D]．湘潭大学硕士学位论文，2003年5月
[16] 刘陵孙等．从主客观题的比较分析论加强主观题考试的作用[J]．中国高等医学教育，2001(5)
[17] 刘志文等．自然语言语句的HNC表示[J]．语言文字应用，1998(2)
[18] 雒自清．语义块类型、构成及变换的分析与处理[D]．中国科学院声学研究所博士学位论文，2004年6月
[19] 苗传江．HNC(概念层次网络)理论导论[M]．北京：清华大学出版社，2005．1
[20] 苗传江．基于HNC句类体系的句子语义研究[J]．语言文字应用，2006(1)
[21] 孙茂松．汉语自动分词研究评述[J]．当代语言学，2001，3(1)
[22] 汤赛丽．常识知识问答系统中知识库构建的研究与设计．河南大学硕士学位论文，2005年5月[23] 唐兴全等．HNC反色情知识库建设[C]．全国第八届计算语言学联合学术会议(JSCL-2005)论文集，2005
[24] 汪保安．基于HNC的短时记忆处理[D]．中国科学院软件研究所硕士学位论文，2000年
[25] 王科等．汉语分词的主要技术及其应用展望[J]．通信技术，2003(6)
[26] 王朔．基于Chart算法的句法分析系统的设计与实现。湖南大学工程硕士学位论文，2004年9月
[27] 王永生．计算机阅卷中主观题型的单层模糊综合评判[J]．青海大学学报(自然科学版)，2000，18(3)
[28] 吴晨，张全．基于HNC的自然语言问答处理系统[C]．第八届全国人机语音通讯学术回忆论文集，2005
[29] 吴雪敏，汉语语句的计算机分析[D]．电子科技大学硕士学位论文，2001年2月
[30] 许骏，柳泉波，何克抗．CAA研究的新领域—IT技能测评自动化(上)[J]．电化教育研究，2002(1)
[31] 许骏，柳泉波，何克抗． CAA研究的新领域—IT技能测评自动化(下)[J]．电化教育研究，2002(2)
[32] 杨思春．模式方法在汉语句子相似度计算中的应用研究[D]．南京大学硕士学位论文，2001年11月
[33] 杨涛．基于净室技术和HNC理论的自动程序设计体系的研究[D]．重庆大学硕士学位论文，2004年．
[34] 在VB中如何处理中文名．http://www.pediy.com/bbshtml/BBS5/pediy50400．htm
[35] 赵致靖．汉语自动分词技术及其在机器人辅助教育智能接口中的应用研究[D]．天津师范大学研究生学位论文，2004年5月
[36] 詹卫东．80年代以来汉语信息处理研究述评[J]．当代语言学，2000(2)
[37] 张克亮．面向机器翻译的汉英句类及句式转换研究[D]．中国科学院声学研究所博士学位论文，2004年7月
[38] 郑海，林鸿飞．基于段落匹配的文本分类机制[J]．计算机工程与应用，2004(28)
[39] 周舫．汉语句子相似度计算方法及其应用的研究[D]．河南大学硕士学位论文，2005年5月
[40] 周强．汉语句法树库标注体系[J]．中文信息学报，2004，18(4)．
[41] 朱巧明等．自动阅卷系统中近似匹配算法的设计[J]．微机发展，1999(4)
[42] Bergler Sabine. From Lexical Semantics to Text Analysis[C].Computational Lexical Semantics, NewYork: Cambridge University Press, 1995.
[43] Burstein J, etal. Automated Evaluation of Essays and Short Answers [C].??Fifth International Computer Assisted Assessment Conference, Loughborough University, 2001.
[44] Burstein J, etal. Using Lexical Semantic Techniques to Classify Free Responses[C]. Proceedings of SIGLEX 1996 Workshop, Annual Meeting of the Association of Computational Linguistics, University of California, Santa Cruz, 1996. 227-246.
[45] Claudia Leacock & Martin Chodorow. C—rater: Automated Scoring of Short—Answer Questions., Computers asd the Humanities, 2003(37)
[46] David Callear, Jennifer Jerrams-Smith, & Victor Soh. Bridging Gaps in Computerised Assessment of Texts[EB/OL]. http://csdl2.computer.org/comp/proceedings/icalt/2001/1013/00/10130139.pdf
[47] Landauer TK, etal. Introduction to Latent Semantic Analysis [J]. Discourse Processes, 1998,25(3).
[48] Lawrence Rudner & Phill Gagne. An Overview of Three Approaches to Scoring Written Essays by computer[EB/OL]. http://pareonline. net/getvn. asp?v=7&n=26.
[49] Philippe DESSUS, Benoit LEMAIRE, & Angelique VERNIER. Free-Text Assessment in a Virtual Campus[EB/OL]. http://web. upmf-grenoble. fr/sciedu/pdessus/capsOO. PDF.
[50] Yigal Attali Jill Burstein, Automated Essay Scoring With E-rater V. 2.0[EB/OL]. http://www. ets. org/Media/Products/e-rater/erater_IAEA. pdf
[2] 冯书晓等．国内中文分词技术研究新进展[J]．情报杂志，2002(11)
[3] 高焕芝．有限主观题考试白适应系统[J]．防灾技术高等专科学校学报，2004，6(1)
[4] 高思丹，袁春风．主观试题的计算机自动批改技术研究[J]．计算机应用研究，2004(2)
[5] 高思丹，袁春风．语句相似度计算在主观题自动批改技术中的初步应用[J]．计算机工程与应用，2004(14)
[6] 龚小谨等．汉语句子谓语中心词的自动识别[J]．中文信息学报，2003，17(2)
[7] 黄康，袁春风．基于领域概念网络的自动批改技术[J]．计算机应用研究，2004(11)
[8] 黄曾阳．HNC(概念层次网络)理论： 计算机理解语言研究的新思路[M]．北京：清华大学出版社，1998
[9] 黄曾阳．语言概念空间的基本定理和数学物理表示式[M]．北京：海洋出版社，2004
[10] 况姗芸．网络课程中主观题在线评阅系统的设计与实现[J]．中国电化教育，2004(3)
[11] 李大农，董慧．汉语分词有向图的快速生成算法[J]．情报学报，2004，23(1)
[12] 李辉阳，韩忠愿．有限领域简述文字的自动判读及其在CAI中的应用[J]．计算机工程与应用，2002(8)
[13] 李向阳，苗壮．自由文本信息抽取技术[J]．情报科学，22(7)
[14] 李耀勇．基于HNC理论的机器翻译[D]．中国科学院声学研究所博士后学位论文，2001年6月
[15] 李志清．电子作业自动批改中问题的研究[D]．湘潭大学硕士学位论文，2003年5月
[16] 刘陵孙等．从主客观题的比较分析论加强主观题考试的作用[J]．中国高等医学教育，2001(5)
[17] 刘志文等．自然语言语句的HNC表示[J]．语言文字应用，1998(2)
[18] 雒自清．语义块类型、构成及变换的分析与处理[D]．中国科学院声学研究所博士学位论文，2004年6月
[19] 苗传江．HNC(概念层次网络)理论导论[M]．北京：清华大学出版社，2005．1
[20] 苗传江．基于HNC句类体系的句子语义研究[J]．语言文字应用，2006(1)
[21] 孙茂松．汉语自动分词研究评述[J]．当代语言学，2001，3(1)
[22] 汤赛丽．常识知识问答系统中知识库构建的研究与设计．河南大学硕士学位论文，2005年5月[23] 唐兴全等．HNC反色情知识库建设[C]．全国第八届计算语言学联合学术会议(JSCL-2005)论文集，2005
[24] 汪保安．基于HNC的短时记忆处理[D]．中国科学院软件研究所硕士学位论文，2000年
[25] 王科等．汉语分词的主要技术及其应用展望[J]．通信技术，2003(6)
[26] 王朔．基于Chart算法的句法分析系统的设计与实现。湖南大学工程硕士学位论文，2004年9月
[27] 王永生．计算机阅卷中主观题型的单层模糊综合评判[J]．青海大学学报(自然科学版)，2000，18(3)
[28] 吴晨，张全．基于HNC的自然语言问答处理系统[C]．第八届全国人机语音通讯学术回忆论文集，2005
[29] 吴雪敏，汉语语句的计算机分析[D]．电子科技大学硕士学位论文，2001年2月
[30] 许骏，柳泉波，何克抗．CAA研究的新领域—IT技能测评自动化(上)[J]．电化教育研究，2002(1)
[31] 许骏，柳泉波，何克抗． CAA研究的新领域—IT技能测评自动化(下)[J]．电化教育研究，2002(2)
[32] 杨思春．模式方法在汉语句子相似度计算中的应用研究[D]．南京大学硕士学位论文，2001年11月
[33] 杨涛．基于净室技术和HNC理论的自动程序设计体系的研究[D]．重庆大学硕士学位论文，2004年．
[34] 在VB中如何处理中文名．http://www.pediy.com/bbshtml/BBS5/pediy50400．htm
[35] 赵致靖．汉语自动分词技术及其在机器人辅助教育智能接口中的应用研究[D]．天津师范大学研究生学位论文，2004年5月
[36] 詹卫东．80年代以来汉语信息处理研究述评[J]．当代语言学，2000(2)
[37] 张克亮．面向机器翻译的汉英句类及句式转换研究[D]．中国科学院声学研究所博士学位论文，2004年7月
[38] 郑海，林鸿飞．基于段落匹配的文本分类机制[J]．计算机工程与应用，2004(28)
[39] 周舫．汉语句子相似度计算方法及其应用的研究[D]．河南大学硕士学位论文，2005年5月
[40] 周强．汉语句法树库标注体系[J]．中文信息学报，2004，18(4)．
[41] 朱巧明等．自动阅卷系统中近似匹配算法的设计[J]．微机发展，1999(4)
[42] Bergler Sabine. From Lexical Semantics to Text Analysis[C].Computational Lexical Semantics, NewYork: Cambridge University Press, 1995.
[43] Burstein J, etal. Automated Evaluation of Essays and Short Answers [C].??Fifth International Computer Assisted Assessment Conference, Loughborough University, 2001.
[44] Burstein J, etal. Using Lexical Semantic Techniques to Classify Free Responses[C]. Proceedings of SIGLEX 1996 Workshop, Annual Meeting of the Association of Computational Linguistics, University of California, Santa Cruz, 1996. 227-246.
[45] Claudia Leacock & Martin Chodorow. C—rater: Automated Scoring of Short—Answer Questions., Computers asd the Humanities, 2003(37)
[46] David Callear, Jennifer Jerrams-Smith, & Victor Soh. Bridging Gaps in Computerised Assessment of Texts[EB/OL]. http://csdl2.computer.org/comp/proceedings/icalt/2001/1013/00/10130139.pdf
[47] Landauer TK, etal. Introduction to Latent Semantic Analysis [J]. Discourse Processes, 1998,25(3).
[48] Lawrence Rudner & Phill Gagne. An Overview of Three Approaches to Scoring Written Essays by computer[EB/OL]. http://pareonline. net/getvn. asp?v=7&n=26.
[49] Philippe DESSUS, Benoit LEMAIRE, & Angelique VERNIER. Free-Text Assessment in a Virtual Campus[EB/OL]. http://web. upmf-grenoble. fr/sciedu/pdessus/capsOO. PDF.
[50] Yigal Attali Jill Burstein, Automated Essay Scoring With E-rater V. 2.0[EB/OL]. http://www. ets. org/Media/Products/e-rater/erater_IAEA. pdf