网络教育资源重组的研究与实现
|
摘要
WWW网是一个拥有上亿用户和大约400万站点的庞大的、分布式的超媒体、超链接的信息系统。目前，WWW网上的各种资源越来越丰富，很多网站都提供了与教学有关的内容，如何才能快速找到与给定请求条件相关的教学资源信息，是很多教育界人士所关心的问题。搜索引擎技术为人们从大量信息中找到自己所需资源提供了可能。
广东省目前正在建设一个“151工程”，有关院校负责建设与高等教育有关的网站、资源库及网络示范课程，如何把这些宝贵的资源进行重组，以供人们方便的使用，是本课题研究的主要目的。本课题设计并建立了“151工程”的门户网站，将其各种资源有效地组织起来，并提供了各种方便的查询方式，如主题目录分类搜索及关键字搜索。其中关键字搜索可以自动采集“151工程”有关资源的网页信息，并摘录、入库，根据用户输入的关键字进行查询，进而给出相关的查询结果。
本文首先对搜索引擎的发展、分类及特点等做了简要的介绍。在第三章分析了搜索引擎的工作原理，并就搜索引擎涉及到的某些相关技术，如搜索技术、汉语分词技术等进行了讨论。
本文第四章，对“151工程”门户网站的功能进行了分析，提出了网站的结构框架并予以实现。
门户网站的关键技术是搜索引擎的实现。第五章我们以搜索引擎中数据流程为主线，描述了本网站关键字搜索引擎的系统结构，设计实现了它的四个子系统：搜索子系统、分析子系统、索引子系统和查询子系统，其间详细介绍了各部分实现的关键算法。
最后总结了本文的工作，并对“151工程”门户网站今后的发展提出了一些设想。
The world wide web (www) is a large distributed hypertext system with hundreds of millions of users and more than 4 million websites nowadays. At present, the resources, e.g., those related to education, from the internet becomes more and more so that it has become a common concern for people to search these information from the web. Search engine technology (SET) makes it possible for one to find the formation of their needs.
Recently, a program is being carried out in Guangdong province, called "151" project, in which many related universities and colleges are constructing the web sites, resources and web demonstrated courses related to high educations. In this thesis, we will focus on the study of how to reconstruct these resources and provide a more convenient way for the users. In this project, we designed and constructed the gate website of "151" project and reorganized miscellaneous resources in a more efficient way. Further, we provided many more convenient searching ways, e.g., subject category classification searching and keywords search, in which the keywords searching can collect the webpage information of "151" project automatically, indexing and saving these information, and performing the search based on the keywords provided by the users, and then presenting the corresponding final searching results.
An introduction and survey of the development and the features of the classification of SET is outlined in the first and the second chapters. Then, in Chapter 3, the principle of SET is introduced, in which some related techniques, such as search technique, Chinese participle techniques etc. are discussed.
In Chapter 4, based on the analysis of he functions of the web portal of "151" project, the structure frame of the web site is proposed and realized.
The key technique of the web portal is the realization of the search engine. Hence, in Chapter 5, we described the system structure of the search engine of our web portal and designed its four subsystems, i.e., search, analysis, index, and query subsystems. The key algorithms are also given on how to realize these functions within these chapters.
The thesis is summarized at the final chapter, and some proposals are given for future work in developing "151" web portal.
广东省目前正在建设一个“151工程”，有关院校负责建设与高等教育有关的网站、资源库及网络示范课程，如何把这些宝贵的资源进行重组，以供人们方便的使用，是本课题研究的主要目的。本课题设计并建立了“151工程”的门户网站，将其各种资源有效地组织起来，并提供了各种方便的查询方式，如主题目录分类搜索及关键字搜索。其中关键字搜索可以自动采集“151工程”有关资源的网页信息，并摘录、入库，根据用户输入的关键字进行查询，进而给出相关的查询结果。
本文首先对搜索引擎的发展、分类及特点等做了简要的介绍。在第三章分析了搜索引擎的工作原理，并就搜索引擎涉及到的某些相关技术，如搜索技术、汉语分词技术等进行了讨论。
本文第四章，对“151工程”门户网站的功能进行了分析，提出了网站的结构框架并予以实现。
门户网站的关键技术是搜索引擎的实现。第五章我们以搜索引擎中数据流程为主线，描述了本网站关键字搜索引擎的系统结构，设计实现了它的四个子系统：搜索子系统、分析子系统、索引子系统和查询子系统，其间详细介绍了各部分实现的关键算法。
最后总结了本文的工作，并对“151工程”门户网站今后的发展提出了一些设想。
The world wide web (www) is a large distributed hypertext system with hundreds of millions of users and more than 4 million websites nowadays. At present, the resources, e.g., those related to education, from the internet becomes more and more so that it has become a common concern for people to search these information from the web. Search engine technology (SET) makes it possible for one to find the formation of their needs.
Recently, a program is being carried out in Guangdong province, called "151" project, in which many related universities and colleges are constructing the web sites, resources and web demonstrated courses related to high educations. In this thesis, we will focus on the study of how to reconstruct these resources and provide a more convenient way for the users. In this project, we designed and constructed the gate website of "151" project and reorganized miscellaneous resources in a more efficient way. Further, we provided many more convenient searching ways, e.g., subject category classification searching and keywords search, in which the keywords searching can collect the webpage information of "151" project automatically, indexing and saving these information, and performing the search based on the keywords provided by the users, and then presenting the corresponding final searching results.
An introduction and survey of the development and the features of the classification of SET is outlined in the first and the second chapters. Then, in Chapter 3, the principle of SET is introduced, in which some related techniques, such as search technique, Chinese participle techniques etc. are discussed.
In Chapter 4, based on the analysis of he functions of the web portal of "151" project, the structure frame of the web site is proposed and realized.
The key technique of the web portal is the realization of the search engine. Hence, in Chapter 5, we described the system structure of the search engine of our web portal and designed its four subsystems, i.e., search, analysis, index, and query subsystems. The key algorithms are also given on how to realize these functions within these chapters.
The thesis is summarized at the final chapter, and some proposals are given for future work in developing "151" web portal.
引文
[1] Andrew S. Tanenbaum, Computer Networks (3th Edition), Prentice Hall PTR, 1996
[2] Lawrence S, Giles C L. Searching the World Wide Web. Science, 1998, 280:98～100
[3]卢卫平、吴维宁、林成，中文水产搜索引擎的研究与探索，上海水产大学学报，2000，9
[4]张俭恭、陈定权、吴振新，关于搜索引擎与元搜索引擎的讨论，现代图书情报技术，2002，2
[5]李广健、黄崑，元搜索引擎及其主要技术，情报科学，2002，2
[6]搜索引擎技术评述，http://tpi.cnki.net/tech_02.htm
[7]李广健、张蕾，网上搜索引擎的几个理论问题，情报科学，1999，7月
[8]张开丹，张惠惠，万维网信息检索系统开发技术，情报学报，2002，2
[9]洪光宗、王皓，搜索引擎Robot技术实现的原理分析，现代图书情报技术，2002，1
[10]严威，赵政，开发中文搜索引擎汉语处理的关键技术，计算机工程，1999，6
[11]殷建平，汉语自动分词方法，计算机工程与科学，1998，8
[12]李岩、陈新中、杨炳儒，基于Web挖掘的智能门户搜索引擎的研究，计算机工程与应用，2002，4
[13]强自力，网络分类目录及其分类方法，大学图书馆学报，1999，4
[14]张晓辉、邵华、常桂然，WWW上的信息发现与搜索引擎技术，小型微型计算机系统，1998，6
[15]何念慈，Internet上的教学资源搜索系统的研究与实现，硕士学位论文，2000．5
[16]丁国良、王嘉祯，专题式Web信息检索系统的设计与实现，军械工程学院学报，2000，3
[17] Gudivada V N. Information Retrieval on the World Wide Web [J]. IEEE Internet Computing, 1997, 1 (5): 58～68
[18] Lawrences S, Giles C L. Context and Page Analysis for Improved Web Search [J]. IEEE Internet Computing, 1998, 2(4): 38～46
[19] Massimo Marchiori. The Quest for Correct Information on the Web: Hyper Search Engines [J]. Computer Networks and ISDN System, 1997,29(8～13): 1225～1235
[20] Cho Junghoo. Efficient Crawling Through URL Ordering [J]. Computer Networks and ISDN System, 1998,30(1～7): 161～172
[21]Search Engine Tips, http://submitit.linkexchange.com/subopt.htm, 1999
[22]http://www, w3c.org
[23]M. Koster. Guide lines for robot swriters, http://info.webcrawler.com/mak/project/robots/guidelines.htm
[24]J. Liu. Understanding WWW Search Tools, http://www. indiana.edu/-librcsd/search/
[25]Byron, Dom. Automatically Finding the Best Pages on the Web, http://www.infonortics.com/searchengines/boston1999/dom/index.htm
[26]Gary Culliss, User Popularity Ranked Search Engine, http://www.infonortics.com/searchengines/boston1999/culliss/index.htm
[27]蒋晓冬、金宇晖、谈征，网上高质量智能信息检索系统的实现，计算机工程与科学，1999，4
[28]陈定权，Web信息检索技术最新进展，现代图书情报技术，2002，2
[29]刘向辉，专题性智能搜索引擎的研究与实现，硕士学位论文，2001，3
[30]张池，Web信息获取技术研究与实现，硕士学位论文，2001，5
[31]王振、崔桦，ASP动态网站建设，国防工业出版社，2002．6
[32]佳文工作室，Visual Basic 6.0编程实例教程，电子工业出版社，20001．1
[33]李代平等，中文SQL Server 2000数据库应用开发，冶金工业出版社，2002．6
[34]清汉计算机工作室，ASP开发实例，机械工业出版社，2000．11
[35]杜云贵，Dreamweaver UltraDev4培训教程，清华大学出版社，2001．3
[36]梁嘉超等，ASP后台数据库网站制作实例经典，冶金工业出版社，2001．6
[37][美]KRIS JAMSA Ph．D．等著，王玉琳、凌涛、沈美娥译，Web程序设计教程，电子工业出版社，1997．4
[2] Lawrence S, Giles C L. Searching the World Wide Web. Science, 1998, 280:98～100
[3]卢卫平、吴维宁、林成，中文水产搜索引擎的研究与探索，上海水产大学学报，2000，9
[4]张俭恭、陈定权、吴振新，关于搜索引擎与元搜索引擎的讨论，现代图书情报技术，2002，2
[5]李广健、黄崑，元搜索引擎及其主要技术，情报科学，2002，2
[6]搜索引擎技术评述，http://tpi.cnki.net/tech_02.htm
[7]李广健、张蕾，网上搜索引擎的几个理论问题，情报科学，1999，7月
[8]张开丹，张惠惠，万维网信息检索系统开发技术，情报学报，2002，2
[9]洪光宗、王皓，搜索引擎Robot技术实现的原理分析，现代图书情报技术，2002，1
[10]严威，赵政，开发中文搜索引擎汉语处理的关键技术，计算机工程，1999，6
[11]殷建平，汉语自动分词方法，计算机工程与科学，1998，8
[12]李岩、陈新中、杨炳儒，基于Web挖掘的智能门户搜索引擎的研究，计算机工程与应用，2002，4
[13]强自力，网络分类目录及其分类方法，大学图书馆学报，1999，4
[14]张晓辉、邵华、常桂然，WWW上的信息发现与搜索引擎技术，小型微型计算机系统，1998，6
[15]何念慈，Internet上的教学资源搜索系统的研究与实现，硕士学位论文，2000．5
[16]丁国良、王嘉祯，专题式Web信息检索系统的设计与实现，军械工程学院学报，2000，3
[17] Gudivada V N. Information Retrieval on the World Wide Web [J]. IEEE Internet Computing, 1997, 1 (5): 58～68
[18] Lawrences S, Giles C L. Context and Page Analysis for Improved Web Search [J]. IEEE Internet Computing, 1998, 2(4): 38～46
[19] Massimo Marchiori. The Quest for Correct Information on the Web: Hyper Search Engines [J]. Computer Networks and ISDN System, 1997,29(8～13): 1225～1235
[20] Cho Junghoo. Efficient Crawling Through URL Ordering [J]. Computer Networks and ISDN System, 1998,30(1～7): 161～172
[21]Search Engine Tips, http://submitit.linkexchange.com/subopt.htm, 1999
[22]http://www, w3c.org
[23]M. Koster. Guide lines for robot swriters, http://info.webcrawler.com/mak/project/robots/guidelines.htm
[24]J. Liu. Understanding WWW Search Tools, http://www. indiana.edu/-librcsd/search/
[25]Byron, Dom. Automatically Finding the Best Pages on the Web, http://www.infonortics.com/searchengines/boston1999/dom/index.htm
[26]Gary Culliss, User Popularity Ranked Search Engine, http://www.infonortics.com/searchengines/boston1999/culliss/index.htm
[27]蒋晓冬、金宇晖、谈征，网上高质量智能信息检索系统的实现，计算机工程与科学，1999，4
[28]陈定权，Web信息检索技术最新进展，现代图书情报技术，2002，2
[29]刘向辉，专题性智能搜索引擎的研究与实现，硕士学位论文，2001，3
[30]张池，Web信息获取技术研究与实现，硕士学位论文，2001，5
[31]王振、崔桦，ASP动态网站建设，国防工业出版社，2002．6
[32]佳文工作室，Visual Basic 6.0编程实例教程，电子工业出版社，20001．1
[33]李代平等，中文SQL Server 2000数据库应用开发，冶金工业出版社，2002．6
[34]清汉计算机工作室，ASP开发实例，机械工业出版社，2000．11
[35]杜云贵，Dreamweaver UltraDev4培训教程，清华大学出版社，2001．3
[36]梁嘉超等，ASP后台数据库网站制作实例经典，冶金工业出版社，2001．6
[37][美]KRIS JAMSA Ph．D．等著，王玉琳、凌涛、沈美娥译，Web程序设计教程，电子工业出版社，1997．4