网络动态专业搜索引擎构建方法的研究
|
摘要
随着因特网的发展，网上资源日益丰富。其结果，不仅使其实用性不断增强，而且越来越多的人们从网上获取信息，即使有像Yahoo这样的搜索引擎，人们还会经常感到难以找到自己想要的信息。对于寻找某个特定专业或领域的内容时尤感如此。为了更准确、更有效地查找到自己所需的特定的网络信息，建立专门针对网上某一专业或某一领域信息的检索工具——专业搜索引擎，已经成为网络信息检索的迫切需要。
由于学科的综合性增强，一方面导致了专业资源的剧增，使网络中存在各种各样不同格式的资源，为了能同时搜集到这些动态和静态的信息，专业搜索引擎的动态发展则是其必然发展的方向；另一方面产生了很多新增的专业词汇。然而，各种专业资源的网络化还存在一定的滞后性，因此很难利用现有的专业搜索引擎及时查找到所需的新增专业词汇。可见普通专业搜索引擎已经不适合当前人们查找专业信息的需要。为了解决以上问题，建立一种适合人们需要的网络动态专业搜索引擎是十分必要的。
目前在国外，有关专业搜索引擎的研究正在成为一个热点，已有一些成功的专业搜索引擎及其项目，而国内有关专业搜索引擎的研究还较少，处于起步阶段。本文在对当前专业搜索引擎面临的问题研究分析基础上，提出了一种网络动态专业搜索引擎的构建方法。网络动态专业搜索引擎是在普通专业搜索引擎的基础上，对其Robot进行了优化设计；在其专业领域库中新增加了专业知识获取模块；采取了向量空间检索模型与PageRank算法相结合的方式进行结果排序；“分类——主题”方式的用户界面以及基于聚类的可视化结果表现技术。
With the fast development of Internet, the resources of it grow very rapidly. As result, not only strengthen the use of Internet, but also more and more people take the information from the web. Although we have many search engine such as Yahoo, people also feel searching information difficult. Especially search one specialty or for one area. For the founding of the specifically information needed more acutely and more effectively, the construction of tools for one type or for one area professional search engine has become the urgent need for the web.
As a result of discipline enhancing comprehensive quality, On one hand has caused the specialized resources increased sharply, and have various resources in the web. In order to collecting these dynamic and static information, it is a inevitable direction for the specialized search engine development. On the other hand has many new professional words. However, all kinds of specialized network resources have not kept pace with the discipline development. Therefore, it is difficult to search new professional words with the existing specialized search engine. Obviously, the ordinary specialized search engine already did not suit people to search the specialized information. For the purpose of solving the problem, it is essential to establish a kind of network dynamic specialized search engine.
At present in overseas, more and more people have studied the subject search engine research, and have had some successful specialized search engines project. But in our country it is at the start stage and had less research about specialized search engine. Base on the question which the current specialized search engine face to, this article proposed a method constructing network dynamic specialized search engine. The network dynamic specialized search engine has carried the optimized on its Robot by researching ordinary specialized search engine. It increased a gaining knowledge module in its specialized storehouse. The search engine arranged its result with the vector space model combining with PageRank algorithm. It also has "The classified——subjectuser" surface and based on gathers of visible result performance technology.
由于学科的综合性增强，一方面导致了专业资源的剧增，使网络中存在各种各样不同格式的资源，为了能同时搜集到这些动态和静态的信息，专业搜索引擎的动态发展则是其必然发展的方向；另一方面产生了很多新增的专业词汇。然而，各种专业资源的网络化还存在一定的滞后性，因此很难利用现有的专业搜索引擎及时查找到所需的新增专业词汇。可见普通专业搜索引擎已经不适合当前人们查找专业信息的需要。为了解决以上问题，建立一种适合人们需要的网络动态专业搜索引擎是十分必要的。
目前在国外，有关专业搜索引擎的研究正在成为一个热点，已有一些成功的专业搜索引擎及其项目，而国内有关专业搜索引擎的研究还较少，处于起步阶段。本文在对当前专业搜索引擎面临的问题研究分析基础上，提出了一种网络动态专业搜索引擎的构建方法。网络动态专业搜索引擎是在普通专业搜索引擎的基础上，对其Robot进行了优化设计；在其专业领域库中新增加了专业知识获取模块；采取了向量空间检索模型与PageRank算法相结合的方式进行结果排序；“分类——主题”方式的用户界面以及基于聚类的可视化结果表现技术。
With the fast development of Internet, the resources of it grow very rapidly. As result, not only strengthen the use of Internet, but also more and more people take the information from the web. Although we have many search engine such as Yahoo, people also feel searching information difficult. Especially search one specialty or for one area. For the founding of the specifically information needed more acutely and more effectively, the construction of tools for one type or for one area professional search engine has become the urgent need for the web.
As a result of discipline enhancing comprehensive quality, On one hand has caused the specialized resources increased sharply, and have various resources in the web. In order to collecting these dynamic and static information, it is a inevitable direction for the specialized search engine development. On the other hand has many new professional words. However, all kinds of specialized network resources have not kept pace with the discipline development. Therefore, it is difficult to search new professional words with the existing specialized search engine. Obviously, the ordinary specialized search engine already did not suit people to search the specialized information. For the purpose of solving the problem, it is essential to establish a kind of network dynamic specialized search engine.
At present in overseas, more and more people have studied the subject search engine research, and have had some successful specialized search engines project. But in our country it is at the start stage and had less research about specialized search engine. Base on the question which the current specialized search engine face to, this article proposed a method constructing network dynamic specialized search engine. The network dynamic specialized search engine has carried the optimized on its Robot by researching ordinary specialized search engine. It increased a gaining knowledge module in its specialized storehouse. The search engine arranged its result with the vector space model combining with PageRank algorithm. It also has "The classified——subjectuser" surface and based on gathers of visible result performance technology.
引文
[1]梁斌.走进搜索引擎[M].北京：电子工业出版社，2007.5-14.
[2]刘超.Internet网络上专题信息系统及其在过程工程领域的应用研究[D]：[博士学位论文].北京： 中科院过程工程研究所，2002年.
[3]洪颖.面向化工领域的智能元搜索引擎系统的研究与设计[D]：[硕士学位论文].北京：北京化工大学计算机学院，2004.
[4]Steve Lawrence，C.Lee Giles. Accessibility of Information on the web[J].Nature，1999， 400(8)：107-109.
[5]寿周翔.专业搜索引擎的研究与设计[D]：[硕士学位论文].杭州：浙江大学计算机学院，2005.6.
[6]王林.搜索引擎的原理和发展[J].图书馆理论与实践，2004(4)：37-38.
[7]徐庆征，张鑫.搜索引擎及其发展方向[J].电信交换，2006(3)：46-49.
[8]刘畅.综合搜索引擎与垂直搜索引擎的比较研究[J].情报科学，2007，25(1)：97-102.
[9]罗丽姗.垂直搜索引擎发展概述[J].图书馆学研究，2006(12)：68-70.
[10]李志.搜索引擎的缺陷及其完善[J].现代情报，2007(1)：154-156.
[11]佘正平.搜索引擎原理及存在问题[J].图书情报论坛，2006(4)：20-23.
[12]Menczer F.Complementing Search Engines with Online Web Mining Agents[J]．Decision Support Systems，2003，35(2)：l95-2l2.
[13]欧阳柳波，李学勇，李国徽，等.专业搜索引擎搜索策略综述[J].计算机工程，2004，30(l3)： 32-33.
[14]Cho J，Garcia-Molina H，Page L.Efficient Crawling Through URL Ordering[J]．Computer Networks，1998，30(17)：161-172.
[15] http://www.scirus.com/.
[16]邹小筑.专业搜索引擎—Scirus科学搜索引擎研究[J].图书馆建设，2002(6)：82-83.
[17]http://www.biologybrowser.com/.
[18]http://www.agriscape.com/.
[19]http://www.medicalmatrix.com/.
[20]陈阅增主编.普通生物学[M].北京：高等教育出版社，1997.7-8.
[21] 郑修虹.Internet专业导航库的建立[J].现代图书情报技术，2000(2)：67-68.
[22][23]赵国屏等.生物信息学[M].北京：科学出版社，2002.20-21、23-24.
[24]朱海燕.试析异构生物信息数据库的整合[J].现代情报，2006(3)：35-38.
[25]姜杰.专业搜索引擎分布式Robot设计研究[D]：[硕士学位论文].南京：南京师范大学教育科学学院，2005.
[26]左羽.搜索引擎的原理及技术分析研究[J].福建电脑，2005(8)：65-66.
[27]黄知义,周宁.几类搜索引擎的原理剖析、比较研究及发展趋势探讨[J].图书馆学研究,2005(3):61-64.
[28]姚树宇.搜索引擎技术及其发展趋势[J].现代计算机,2005(11):88-90.
[29][32]梁斌.走进搜索引擎[M].北京:电子工业出版社,2007.46、222-223.
[30]杜恺琳,马亮.搜索引擎中数据重复搜集问题的探讨[J].计算机与网络,2006(19):44-45.
[31]周宁,张玉峰,张李义.信息可视化与知识检索[M].北京:科学出版社,2005.197-199.
[33]杨思洛.搜索引擎的排序技术研究[J].现代图书情报技术,2005(1):43-44.
[34]常璐,夏祖奇.搜索引擎的几种常用排序算法[J].图书情报工作,2003(6):70-73,80.
[35] Alexa 世界网站排名研究[EB/OL]. http://hi.baidu.com/doumao/blog/item/999f2c730fd0711f8701b01f.html,2008-02-16.
[36] 徐宝文,张卫丰.搜索引擎与信息获取技术[M].北京:清华大学出版社,2003.112-115.
[37] Google PageRank(网页级别)技术解密. http://study.iader.com/SEO/h001/h05/1152236325d105779.html,2008-01-13.
[38]吴丽华,罗云锋,张宏斌.信息检索模型及相关性算法的研究[J].情报杂志,2006(12):25-27.
[39]刘斌,陈桦.向量空间模型信息检索技术讨论[J].情报杂志,2006(7):92-93.
[40]张兴华.搜索引擎技术及研究[J].现代情报,2004(4):142-145.
[41]李更良,赵新莉,马洪波.图书馆组织管理因特网信息资源之策略初探[J].图书情报通讯,2001(3):12-15.
[42]胡志华,邓江华,牛冀平.基于 JAVA&XML 的重点学科动态导航系统的研究[J].情报杂志,2005(5):53-54.
[43]秦艳友.高校教学资源专业搜索引擎的实现探讨[J].现代情报,2005(5):147-149.
[44]靖培栋,田亮.聚类在搜索引擎中的应用[J].情报理论与实践,2006,29(4):493-496.
[45]周宁,张玉峰,张李义.信息可视化与知识检索[M].北京:科学出版社,2005.97-98.
[2]刘超.Internet网络上专题信息系统及其在过程工程领域的应用研究[D]：[博士学位论文].北京： 中科院过程工程研究所，2002年.
[3]洪颖.面向化工领域的智能元搜索引擎系统的研究与设计[D]：[硕士学位论文].北京：北京化工大学计算机学院，2004.
[4]Steve Lawrence，C.Lee Giles. Accessibility of Information on the web[J].Nature，1999， 400(8)：107-109.
[5]寿周翔.专业搜索引擎的研究与设计[D]：[硕士学位论文].杭州：浙江大学计算机学院，2005.6.
[6]王林.搜索引擎的原理和发展[J].图书馆理论与实践，2004(4)：37-38.
[7]徐庆征，张鑫.搜索引擎及其发展方向[J].电信交换，2006(3)：46-49.
[8]刘畅.综合搜索引擎与垂直搜索引擎的比较研究[J].情报科学，2007，25(1)：97-102.
[9]罗丽姗.垂直搜索引擎发展概述[J].图书馆学研究，2006(12)：68-70.
[10]李志.搜索引擎的缺陷及其完善[J].现代情报，2007(1)：154-156.
[11]佘正平.搜索引擎原理及存在问题[J].图书情报论坛，2006(4)：20-23.
[12]Menczer F.Complementing Search Engines with Online Web Mining Agents[J]．Decision Support Systems，2003，35(2)：l95-2l2.
[13]欧阳柳波，李学勇，李国徽，等.专业搜索引擎搜索策略综述[J].计算机工程，2004，30(l3)： 32-33.
[14]Cho J，Garcia-Molina H，Page L.Efficient Crawling Through URL Ordering[J]．Computer Networks，1998，30(17)：161-172.
[15] http://www.scirus.com/.
[16]邹小筑.专业搜索引擎—Scirus科学搜索引擎研究[J].图书馆建设，2002(6)：82-83.
[17]http://www.biologybrowser.com/.
[18]http://www.agriscape.com/.
[19]http://www.medicalmatrix.com/.
[20]陈阅增主编.普通生物学[M].北京：高等教育出版社，1997.7-8.
[21] 郑修虹.Internet专业导航库的建立[J].现代图书情报技术，2000(2)：67-68.
[22][23]赵国屏等.生物信息学[M].北京：科学出版社，2002.20-21、23-24.
[24]朱海燕.试析异构生物信息数据库的整合[J].现代情报，2006(3)：35-38.
[25]姜杰.专业搜索引擎分布式Robot设计研究[D]：[硕士学位论文].南京：南京师范大学教育科学学院，2005.
[26]左羽.搜索引擎的原理及技术分析研究[J].福建电脑，2005(8)：65-66.
[27]黄知义,周宁.几类搜索引擎的原理剖析、比较研究及发展趋势探讨[J].图书馆学研究,2005(3):61-64.
[28]姚树宇.搜索引擎技术及其发展趋势[J].现代计算机,2005(11):88-90.
[29][32]梁斌.走进搜索引擎[M].北京:电子工业出版社,2007.46、222-223.
[30]杜恺琳,马亮.搜索引擎中数据重复搜集问题的探讨[J].计算机与网络,2006(19):44-45.
[31]周宁,张玉峰,张李义.信息可视化与知识检索[M].北京:科学出版社,2005.197-199.
[33]杨思洛.搜索引擎的排序技术研究[J].现代图书情报技术,2005(1):43-44.
[34]常璐,夏祖奇.搜索引擎的几种常用排序算法[J].图书情报工作,2003(6):70-73,80.
[35] Alexa 世界网站排名研究[EB/OL]. http://hi.baidu.com/doumao/blog/item/999f2c730fd0711f8701b01f.html,2008-02-16.
[36] 徐宝文,张卫丰.搜索引擎与信息获取技术[M].北京:清华大学出版社,2003.112-115.
[37] Google PageRank(网页级别)技术解密. http://study.iader.com/SEO/h001/h05/1152236325d105779.html,2008-01-13.
[38]吴丽华,罗云锋,张宏斌.信息检索模型及相关性算法的研究[J].情报杂志,2006(12):25-27.
[39]刘斌,陈桦.向量空间模型信息检索技术讨论[J].情报杂志,2006(7):92-93.
[40]张兴华.搜索引擎技术及研究[J].现代情报,2004(4):142-145.
[41]李更良,赵新莉,马洪波.图书馆组织管理因特网信息资源之策略初探[J].图书情报通讯,2001(3):12-15.
[42]胡志华,邓江华,牛冀平.基于 JAVA&XML 的重点学科动态导航系统的研究[J].情报杂志,2005(5):53-54.
[43]秦艳友.高校教学资源专业搜索引擎的实现探讨[J].现代情报,2005(5):147-149.
[44]靖培栋,田亮.聚类在搜索引擎中的应用[J].情报理论与实践,2006,29(4):493-496.
[45]周宁,张玉峰,张李义.信息可视化与知识检索[M].北京:科学出版社,2005.97-98.