基于日志分析的数据库同步的设计与实现
|
摘要
随着社会保险信息化建设的快速发展，网上办理社会保险业务已经成为一种方便参保单位和参保人员的新手段。由于政务网对安全级别要求较高，所以要在社保的申报网络和审批网络之间增加了安全隔离设备来保证网络的相对分离。安全隔离设备属于协议落地、数据包重组的设备，导致所有基于TCP／IP协议的数据库高级复制、数据库快照、实体化视图、触发器同步等方法均无法满足将申报网络的数据传输到审批网络。
基于日志分析的数据库同步的方法为解决数据同步提出了新的思路。它利用ORACLE数据库的高级还原技术，使用审计数据库的方法，通过分析ORACLE数据库的归档日志，将所有在数据库上做的DML操作还原，进行相应的转换，得出申报网络所有的数据操作序列，然后将操作集合通过安全隔离设备复制到审批网络，重新执行数据集合，使得申报网络数据库和审批网络数据库最终一致。
本文在使用日志分析宋审计数据库以及将审计结果进行相应转换等方面做了深入研究。本文在介绍ORACLE数据库如何处理DML操作后，分析日志文件的形成，结合ORACLE高级恢复的日志分析的原理，通过的对数据库的日志分析，得出分析的结果，即操作DML的数据集。然后通过深入的分析，描述出如何将得到的数据集进行转换，使得最终成为数据库及管理员能够读懂的SQL语句。展示了经过日志分析的后通过数据转换得到的结果。在将最终的结果传输到审批网络进行执行后，最终完成申报数据库和审批数据库的同步。
With the rapid development of the information construction of social insurance, the transaction of social insurance on the network has become a new and convenient method. Owing to the fact that governmental net has a quite higher standard for safety, SGAP (Secure Gap), therefore, should be installed between application network and examination network to separate them, but SGAP(Secure Gap) is a peel of protocol and data recompose device, therefore TCP/IP the database replication、the database snapshot、the materialized views、the trigger synchronization of TCP/IP protocol fail to transfer application information to examination network.
Log analysis for database synchronization put forward to a new idea, this method, with the help of the retrieval techniques of the Oracle database, and database examination, tries to analyze the archived redo log files, and retrieve DML operations existed on the database, and get all the application operations, then send them to the examination network through SGAP, and then operate to the data again to make application database and examination database the same.
The present paper tries to research the transformation of examination database and its results by applying the method of log analysis; it first introduces how Oracle database operates on DML operations, and analyses the formation of log files according to the theories of ORACLE advanced retrieval, and get the DML data set. After through analysis of them, tries to describe how to transform the data set to make sure it becomes SQL language which can be understood by DBA and database. And then transfer the results to examination network for final approval after displaying the results, in this way, the synchronization of application database and examination database has been finished.
基于日志分析的数据库同步的方法为解决数据同步提出了新的思路。它利用ORACLE数据库的高级还原技术，使用审计数据库的方法，通过分析ORACLE数据库的归档日志，将所有在数据库上做的DML操作还原，进行相应的转换，得出申报网络所有的数据操作序列，然后将操作集合通过安全隔离设备复制到审批网络，重新执行数据集合，使得申报网络数据库和审批网络数据库最终一致。
本文在使用日志分析宋审计数据库以及将审计结果进行相应转换等方面做了深入研究。本文在介绍ORACLE数据库如何处理DML操作后，分析日志文件的形成，结合ORACLE高级恢复的日志分析的原理，通过的对数据库的日志分析，得出分析的结果，即操作DML的数据集。然后通过深入的分析，描述出如何将得到的数据集进行转换，使得最终成为数据库及管理员能够读懂的SQL语句。展示了经过日志分析的后通过数据转换得到的结果。在将最终的结果传输到审批网络进行执行后，最终完成申报数据库和审批数据库的同步。
With the rapid development of the information construction of social insurance, the transaction of social insurance on the network has become a new and convenient method. Owing to the fact that governmental net has a quite higher standard for safety, SGAP (Secure Gap), therefore, should be installed between application network and examination network to separate them, but SGAP(Secure Gap) is a peel of protocol and data recompose device, therefore TCP/IP the database replication、the database snapshot、the materialized views、the trigger synchronization of TCP/IP protocol fail to transfer application information to examination network.
Log analysis for database synchronization put forward to a new idea, this method, with the help of the retrieval techniques of the Oracle database, and database examination, tries to analyze the archived redo log files, and retrieve DML operations existed on the database, and get all the application operations, then send them to the examination network through SGAP, and then operate to the data again to make application database and examination database the same.
The present paper tries to research the transformation of examination database and its results by applying the method of log analysis; it first introduces how Oracle database operates on DML operations, and analyses the formation of log files according to the theories of ORACLE advanced retrieval, and get the DML data set. After through analysis of them, tries to describe how to transform the data set to make sure it becomes SQL language which can be understood by DBA and database. And then transfer the results to examination network for final approval after displaying the results, in this way, the synchronization of application database and examination database has been finished.
引文
[1] 河南省社保中心网上申报查询系统项目组 省直统筹单位养老保险网上申报、查询信息系统设计书
[2] 宁士勇，孙亚男 基于ORACLE的信息系统安全方案设计探析[J]。哈尔滨商业大学学报(自然科学版)，2004，(04)：P466-471
[3] 蒋敏 基于网络隔离的异构数据库同步技术的研究与实现[D]。浙江大学，2005
[4] 李超 多平台异构数据库复制技术研究[D]。合肥工业大学，2006
[5] 徐秀华，文必龙，毕硕本 Oracle 9i高级复制技术及其应用[J]。计算机应用研究，2003，(11)：P107-109
[6] 杜经纬 某企业ERP系统中数据同步软件的设计与实现[D]。太原理工大学，2006
[7] 禹龙，刘胜全，田生伟 触发器在一种中介型电子商务系统开发中的应用[J]。计算机应用与软件，2005，(04)：P60-62
[8] 苏燕强Oracle分布式数据库及其应用研究[J]。计算机应用与软件，2004，(08)：P36-37、P121
[9] 傅昕Oracle数据库复制技术及应用实例[J]。北京石油化工学院学报，2004，(01)：P47-50
[10] 潘明，潘久辉 基于复制技术的商务模型的实现[J]。计算机应用研究，2000，(10)：P93-94
[11] 钱文海，贺元启 基于数据复制技术的移动数据库系统[J]。计算机应用研究，2002，(07)：P50-53
[12] 黄奕华，林晓敏 Oracle数据库的备份及恢复技术的研究与应用[J]。办公自动化，2007，(04)：P34-37
[13] 蒋春曦 MS SQL Server复制技术及实现[J]。电脑知识与技术，2004，(20)：P85-87
[14] 葛卫民，张钢，舒炎泰 基于Oracle高级复制的分布式数据库系统应用研究[J]。计算机工程与应用，2003，(21)：P186-191
[15] 王霓虹，王冲 一种维护分布式数据库数据一致性的方法[J]。应用科技，2005，(02)：P56-58
[16] 陈雪 浅谈Oracle9i如何管理控制文件和日志文件[J]。科技经济市场，2006，(05)：P57-58
[17] 黄敏 建立Oracle数据库的有效备份与恢复机制[J]。中国金融电脑，2002，(12)：P61-62
[18] 周国卿 解析Oracle数据库结构[丁]。计算机周刊，2001，(10)：P25
[19] 朱春 Oracle数据库系统的安全策略[J]。电脑知识与技术，2005，(14)：P7-9
[20] 吕捷，罗成林一个数据库双向复制的解决方案[J]。南京师大学报(自然科学版)2000，(03)：P33-36
[21] 董晖 ORACLE数据库的日志文件分析[J]。计算机系统应用，2007，(02)：P114-117、P121
[22] 杨辛宝，刘玉Oracle数据库重做日志文件的分析及其应用[J]。信息技术，2005，(04)：P21-23、P32
[23] 倪现君，李国，吴懿慧 基于通用数据库访问引擎的数据变化捕获方式[J]。软件导刊，2006，(19)：P50-51
[24] 丁鲲，严浩，刁兴春 分布式数据库数据同步技术研究[J]。海军工程大学学报，2004，(05)：P100-104
[25] 胡君，许群岚Oracle重做日志机制分析[J]。电脑与信息技术，2005，(05)：P15-19
[26] 秦占伟，王在波Oracle重做日志的管理及相关项优化[J]。总装备部医学学报，2003，(03)：P25-27
[27] Using LogMiner to Analyze Redo Log Files http://download-west.oracle.com/docs/cd/A91202_01/901_doc/server.901/a90117/logminer.htm http://download-west.oracle.com/docs/cd/B10501_01/server. 920/a96521/1ogminer.htm http://download-east.oracle.com/docs/cd/B19306 01/server.102/b14215/1 ogminer.htm
[28] 蔡飞，袁晓月 利用LogMiner分析Oracle日志文件[J]。江西科学，2005，(03)：P284-288
[29] 王海亮，王海风等著 精通Oracle10g备份与恢复[M]中国水利水电出版社P82-90、P295-307．
[30] LogMiner Introduction http://www.oracle-base.com/articles/8i/LogMiner.php
[31] LogMiner Enhancements In Oracle9i http://www.oracle-base.com/articles/9i/LogMinerEnhancements9i.php
[32] 杨泽平，龚正良，万锋，徐吉Oracle8i数据库日志文件的分析与恢复[J]．计算机应用研究，2005，(06)：P112-114
[33] Http://www.yesadmin.net/164_info/113149/
[34] Lanes L．Morris-Murphy著 Oracle9i数据库管理员Ⅱ：备份／恢复与网络管理[M] 清华大学出版社 P100-123
[35] 贾代平，范洪达，吴丽娟 基于日志的数据恢复及其在Oracle中的实现[J]。计算机工程与设计，2004，(12)：P2215-2217
[36] 日志分析logmnr使用方法 http://www.chinaunix.net/jh/19/903297.html
[37] Auditing Past Transactions With Oracle LogMiner http://www.dbazine.com/oracle/or-articles/hordila9
[38] 梁为，凌怀新，张晓刚，潘久辉基于Oracle的日志分析器[J]。计算机应用，2003，(07)：P123-125、P128
[39] 赵慧勤，李秀兰 ORACLE数据库应用系统的优化策略[J]。计算机工程与应用，2003，(27)：P214-215
[40] 陈争航 分布式数据库系统研究与应用[D]。西南交通大学，2002
[41] 关琳 Oracle数据库备份与恢复技术[J]。警察技术，2003，(04)：P10-11
[42] 联想网御电子政务网络安全解决方案http://www.leadsec.com.cn/00001/000010003/0000100030002/00001000300020002/
[43] utl_file包的应用http://www.wenxinjiayuan.cn/Article/Data/sql/200705/7913.html
[44] 利用UTL FILE包实现文件I／O操作http://1.aspnethosting.cn/ORACLE/2007-1-15/LiYong-UTL-A-FILE-BaoShiXianWenJian-IO-CaoZuo-c6c60173_2.htm
[45] 张晓刚，潘久辉 MS SQL Server 2000日志分析方法的研究与实现[J]。计算机工程与设计，2006，(19)：P53-56
[46] 高天仕，朱美正，李欣，盛铁强 通用数据库访问引擎的设计与实现[J]。计算机工程与应用，2004，(05)：P194-195、P226-226
[2] 宁士勇，孙亚男 基于ORACLE的信息系统安全方案设计探析[J]。哈尔滨商业大学学报(自然科学版)，2004，(04)：P466-471
[3] 蒋敏 基于网络隔离的异构数据库同步技术的研究与实现[D]。浙江大学，2005
[4] 李超 多平台异构数据库复制技术研究[D]。合肥工业大学，2006
[5] 徐秀华，文必龙，毕硕本 Oracle 9i高级复制技术及其应用[J]。计算机应用研究，2003，(11)：P107-109
[6] 杜经纬 某企业ERP系统中数据同步软件的设计与实现[D]。太原理工大学，2006
[7] 禹龙，刘胜全，田生伟 触发器在一种中介型电子商务系统开发中的应用[J]。计算机应用与软件，2005，(04)：P60-62
[8] 苏燕强Oracle分布式数据库及其应用研究[J]。计算机应用与软件，2004，(08)：P36-37、P121
[9] 傅昕Oracle数据库复制技术及应用实例[J]。北京石油化工学院学报，2004，(01)：P47-50
[10] 潘明，潘久辉 基于复制技术的商务模型的实现[J]。计算机应用研究，2000，(10)：P93-94
[11] 钱文海，贺元启 基于数据复制技术的移动数据库系统[J]。计算机应用研究，2002，(07)：P50-53
[12] 黄奕华，林晓敏 Oracle数据库的备份及恢复技术的研究与应用[J]。办公自动化，2007，(04)：P34-37
[13] 蒋春曦 MS SQL Server复制技术及实现[J]。电脑知识与技术，2004，(20)：P85-87
[14] 葛卫民，张钢，舒炎泰 基于Oracle高级复制的分布式数据库系统应用研究[J]。计算机工程与应用，2003，(21)：P186-191
[15] 王霓虹，王冲 一种维护分布式数据库数据一致性的方法[J]。应用科技，2005，(02)：P56-58
[16] 陈雪 浅谈Oracle9i如何管理控制文件和日志文件[J]。科技经济市场，2006，(05)：P57-58
[17] 黄敏 建立Oracle数据库的有效备份与恢复机制[J]。中国金融电脑，2002，(12)：P61-62
[18] 周国卿 解析Oracle数据库结构[丁]。计算机周刊，2001，(10)：P25
[19] 朱春 Oracle数据库系统的安全策略[J]。电脑知识与技术，2005，(14)：P7-9
[20] 吕捷，罗成林一个数据库双向复制的解决方案[J]。南京师大学报(自然科学版)2000，(03)：P33-36
[21] 董晖 ORACLE数据库的日志文件分析[J]。计算机系统应用，2007，(02)：P114-117、P121
[22] 杨辛宝，刘玉Oracle数据库重做日志文件的分析及其应用[J]。信息技术，2005，(04)：P21-23、P32
[23] 倪现君，李国，吴懿慧 基于通用数据库访问引擎的数据变化捕获方式[J]。软件导刊，2006，(19)：P50-51
[24] 丁鲲，严浩，刁兴春 分布式数据库数据同步技术研究[J]。海军工程大学学报，2004，(05)：P100-104
[25] 胡君，许群岚Oracle重做日志机制分析[J]。电脑与信息技术，2005，(05)：P15-19
[26] 秦占伟，王在波Oracle重做日志的管理及相关项优化[J]。总装备部医学学报，2003，(03)：P25-27
[27] Using LogMiner to Analyze Redo Log Files http://download-west.oracle.com/docs/cd/A91202_01/901_doc/server.901/a90117/logminer.htm http://download-west.oracle.com/docs/cd/B10501_01/server. 920/a96521/1ogminer.htm http://download-east.oracle.com/docs/cd/B19306 01/server.102/b14215/1 ogminer.htm
[28] 蔡飞，袁晓月 利用LogMiner分析Oracle日志文件[J]。江西科学，2005，(03)：P284-288
[29] 王海亮，王海风等著 精通Oracle10g备份与恢复[M]中国水利水电出版社P82-90、P295-307．
[30] LogMiner Introduction http://www.oracle-base.com/articles/8i/LogMiner.php
[31] LogMiner Enhancements In Oracle9i http://www.oracle-base.com/articles/9i/LogMinerEnhancements9i.php
[32] 杨泽平，龚正良，万锋，徐吉Oracle8i数据库日志文件的分析与恢复[J]．计算机应用研究，2005，(06)：P112-114
[33] Http://www.yesadmin.net/164_info/113149/
[34] Lanes L．Morris-Murphy著 Oracle9i数据库管理员Ⅱ：备份／恢复与网络管理[M] 清华大学出版社 P100-123
[35] 贾代平，范洪达，吴丽娟 基于日志的数据恢复及其在Oracle中的实现[J]。计算机工程与设计，2004，(12)：P2215-2217
[36] 日志分析logmnr使用方法 http://www.chinaunix.net/jh/19/903297.html
[37] Auditing Past Transactions With Oracle LogMiner http://www.dbazine.com/oracle/or-articles/hordila9
[38] 梁为，凌怀新，张晓刚，潘久辉基于Oracle的日志分析器[J]。计算机应用，2003，(07)：P123-125、P128
[39] 赵慧勤，李秀兰 ORACLE数据库应用系统的优化策略[J]。计算机工程与应用，2003，(27)：P214-215
[40] 陈争航 分布式数据库系统研究与应用[D]。西南交通大学，2002
[41] 关琳 Oracle数据库备份与恢复技术[J]。警察技术，2003，(04)：P10-11
[42] 联想网御电子政务网络安全解决方案http://www.leadsec.com.cn/00001/000010003/0000100030002/00001000300020002/
[43] utl_file包的应用http://www.wenxinjiayuan.cn/Article/Data/sql/200705/7913.html
[44] 利用UTL FILE包实现文件I／O操作http://1.aspnethosting.cn/ORACLE/2007-1-15/LiYong-UTL-A-FILE-BaoShiXianWenJian-IO-CaoZuo-c6c60173_2.htm
[45] 张晓刚，潘久辉 MS SQL Server 2000日志分析方法的研究与实现[J]。计算机工程与设计，2006，(19)：P53-56
[46] 高天仕，朱美正，李欣，盛铁强 通用数据库访问引擎的设计与实现[J]。计算机工程与应用，2004，(05)：P194-195、P226-226