分布式并行数据库系统DPSQL中分布式查询和分布式事务的设计与实现
|
摘要
随着分布式计算环境的广泛应用，分布式并行数据库系统已成为信息处理中
的重要一环，它消除了传统集中式数据库的许多缺点，适合于多种体系结构。分
布式并行数据库是逻辑上属于同一个系统的数据集合，但在物理上分布在各个节
点上。它具有高可靠性、易于升级、高并发度、高效率、高性价比等优势。
在分布式并行数据库系统中，数据冗余是一种提高查询速度和提高可用性的
必要手段，这样在查询和事务处理中，就需考虑数据在物理上的冗余性和分散性。
分布式查询需要向用户屏蔽数据冗余分散的底层细节，分布式事务处理要保证全
局数据完整，这都是传统集中式数据库不曾面临的问题。
本文首先介绍了分布式数据库的概念性问题；接着讨论了分布式事务涉及的
定义及算法；然后描述了DPSQL的原型MySQL的特性、结构和执行机制；继而给
出了DPSQL的梗概模型，阐述了实现分布式查询和分布式事务处理的策略及算
法；最后分析了进行分布式处理给系统增加的额外开销和客户端的额外响应延
迟。
本文重点描述了分布式查询和分布式事务处理的实现机制，分布式查询采
用”读一个写全部”的本地优先策略，在读操作频繁的系统中，只要库的分布合
理，单机效率极高，几乎无任何附加开销和延迟，而以整个系统的角度看来，吞
吐量就更是优于单机系统；分布式事务处理采用两阶段提交协议，通信次数较少
并能确实保证副本一致。
As the application of distributed computing is used much more widely，
distributed database becomes a significant part of information management．
It avoids a lot of disadvantages of conventional centralized database，
and is applicable to many situations．Distributed database iS a set of
data which iS the unity logic，but in fact these data iS located on
different sites．It iS of high availability，easy expansibility，high
concurrency，high efficiency and etc．
In distributed system，data redundancy iS a method to improve the
speed of query and the availability of system．Distributed query should
shield the lower level details of data redundancy from end users，
distributed transaction should ensure data from disaccord．
ThiS paper introduces basic conceptions of distributed database
firstly，discusses distributed transaction and concurrent control，
describes the development prototype MySQL’S characters，architecture
and executive mechanism，then shows the skeleton model of DPSQL and
exposes the strategy and algorithm of distributed query and distributed
transaction，at last analyzes the extra expenses and response delay of
distributed processes．
ThiS paper exposes the implementation mechanism of distributed query
and distributed transaction emphatically．Distributed query uses the
strategy of“read one，write a11”．S0 in such a system if user’S
requests are read--only for the most part and the distribution of data
redundancy iS plausible， efficiency iS very high．Distributed
transaction uses two-。phase commit protocol to ensure the consistency of
global data，which has less communication overhead．
的重要一环，它消除了传统集中式数据库的许多缺点，适合于多种体系结构。分
布式并行数据库是逻辑上属于同一个系统的数据集合，但在物理上分布在各个节
点上。它具有高可靠性、易于升级、高并发度、高效率、高性价比等优势。
在分布式并行数据库系统中，数据冗余是一种提高查询速度和提高可用性的
必要手段，这样在查询和事务处理中，就需考虑数据在物理上的冗余性和分散性。
分布式查询需要向用户屏蔽数据冗余分散的底层细节，分布式事务处理要保证全
局数据完整，这都是传统集中式数据库不曾面临的问题。
本文首先介绍了分布式数据库的概念性问题；接着讨论了分布式事务涉及的
定义及算法；然后描述了DPSQL的原型MySQL的特性、结构和执行机制；继而给
出了DPSQL的梗概模型，阐述了实现分布式查询和分布式事务处理的策略及算
法；最后分析了进行分布式处理给系统增加的额外开销和客户端的额外响应延
迟。
本文重点描述了分布式查询和分布式事务处理的实现机制，分布式查询采
用”读一个写全部”的本地优先策略，在读操作频繁的系统中，只要库的分布合
理，单机效率极高，几乎无任何附加开销和延迟，而以整个系统的角度看来，吞
吐量就更是优于单机系统；分布式事务处理采用两阶段提交协议，通信次数较少
并能确实保证副本一致。
As the application of distributed computing is used much more widely，
distributed database becomes a significant part of information management．
It avoids a lot of disadvantages of conventional centralized database，
and is applicable to many situations．Distributed database iS a set of
data which iS the unity logic，but in fact these data iS located on
different sites．It iS of high availability，easy expansibility，high
concurrency，high efficiency and etc．
In distributed system，data redundancy iS a method to improve the
speed of query and the availability of system．Distributed query should
shield the lower level details of data redundancy from end users，
distributed transaction should ensure data from disaccord．
ThiS paper introduces basic conceptions of distributed database
firstly，discusses distributed transaction and concurrent control，
describes the development prototype MySQL’S characters，architecture
and executive mechanism，then shows the skeleton model of DPSQL and
exposes the strategy and algorithm of distributed query and distributed
transaction，at last analyzes the extra expenses and response delay of
distributed processes．
ThiS paper exposes the implementation mechanism of distributed query
and distributed transaction emphatically．Distributed query uses the
strategy of“read one，write a11”．S0 in such a system if user’S
requests are read--only for the most part and the distribution of data
redundancy iS plausible， efficiency iS very high．Distributed
transaction uses two-。phase commit protocol to ensure the consistency of
global data，which has less communication overhead．
引文
1. C．J．Date著，孟小峰等译。2000。数据库系统导论。北京：机械工业出版社
2. 王珊，陈红等。pbase体系结构与并行性。计算机学报1996年03期。
3. 许向阳，冯玉才。并行数据库pdbms的设计与实现。计算机工程与应用1999年11期。
4. 王于同。并行数据库性能研究。计算机工程与应用1997年01期。
5. 沈娟，赵雄芳。对分布式数据库发展方向的分析。计算机工程与科学1994年01期。
6. 昌月楼，杨利。分布式数据库技术的现状和发展方向。计算机工程与科学1995年03期。
7. 阳国贵，金辉，王怀民。分布式数据库技术回顾。计算机工程与科学1995年03期。
8. 毛法尧。分布式数据库系统。小型微型计算机系统1995年08期。
9. 郭江。分布式数据库系统中的一些问题。计算机系统应用1994年02期。
10. 李霖，周兴铭。分布式数据库研究新趋势。计算机工程与科学1997年03期。
11. 杨利，昌月楼等编著。2000。并行数据库技术。长沙：国防科技大学出版社。
12. 阳富民，冯玉才，吴永英，吴恒山。一种分布式数据库管理系统体系结构。计算机工程与应用1995年02期。
13. Abraham Silberschatz等著，杨冬青等译。2000。数据库系统概念。北京：机械工业出版社
14. 邵佩英。2000。分布式数据库系统及其应用。北京：科学出版社
15. Hector Garicia-Molina等著，杨冬青等译。2001。数据库系统实现。北京：机械工业出版社
16. 郑振楣，于戈，郭敏。1998。分布式数据库。北京：科学出版社
17. 周龙骧。1998。分布式数据库系统实现技术。北京：科学出版社
18. 萨师煊，王珊。1992。数据库系统概论。北京：科学出版社
19. 施伯乐等。1994。数据库系统导论。北京：高等教育出版社。
20. Butler Lampson,David Lomet:"A New Presumed Commit Optimization for Two Phase Commit".Proceedings of the 19th VLDB Confrence,Dublin, Ireland, 1993.
21. Lomet , D.:"Using Timestamps to Optimize Two Phase Commit".Proceedings of the PDIS Conference, San Diego, CA(Jan 1993),48-55
22. Lomet, D. and Salzberg,B.:"Access Methods for Multiversion Data". Proc . ACM SIGMOD Conference, Portland , OR(June 1989) ,315-324.
23. Mohan, C. and Lindsay, B.:"Efficient Commit Protocols for the Tree of Processes Model of Distributed Transactions".Proc. 2nd Symposium on Principles of Distributed Computing, Montreal, CA(Aug. 1983).
24. Mohan,C.,Lindsay,B. and Obermark,R.:"Transaction Management in the R* Distributed Database Management System". ACM Trans.Database System 11,4(Dec.86)378-396.
25. Samaras,G.Britton,K.,Citron,A.,and Mohan,C.:"Two-Phase Commit Optimizations and Tradeoffs in the Commercial Environment".Proc. Data Engineering Conference, Vienna ,Austria(Feb. 1993).
26. Shirota Y., Iizawa A., Mano H., Yano T., The ECHO method: concurrency control method for a large-scale distributed database, Data Engineering, 1999. Proceedings., 15th International Conference on , 1999 Page(s): 174-183
27. Martin Rennhackkamp: "Mobile Database Replication,"DBMS 10,No.11(October 1997).
28. Mikyong Han, Yongik Yoon, An implementation and performance analysis of backup system using concurrent log processing in real-time DBMS, Real-Time Computing Systems and Applications, 1997. Proceedings., Fourth International Workshop on , 1997, Page(s): 118-125
Qing Tian, Cox D.C., Optimal replication algorithms for hierarchical mobility management in PCS networks, Wireless Communications and
29. Networking Conference, 2002. WCNC2002. 2002 IEEE, Volume: 2 Mar 2002 Page(s): 556-562
30. Date,C.J and H.Darwen, A Guid to the SQL Standard,Fourth Edition,Addison-Wesley,Reading MA ,1997.
31. David Bell and Jane Grimson：Distributed Database Systems.Reading,Mass.:Addison-Wesley(1992)
32. C.J.Date:"What is a Distributed Database System?",in Relational Database Writings 1985-1989,Reading,Mass.:Addison-Wesley(1990)
33. C.J.Date: "Distributed Database: A Closer Look." in C.J.Date and Hugh Darwen,Relational Database Writings 1989-1991,Reading,Mass.:Addison-Wesley(1986)
2. 王珊，陈红等。pbase体系结构与并行性。计算机学报1996年03期。
3. 许向阳，冯玉才。并行数据库pdbms的设计与实现。计算机工程与应用1999年11期。
4. 王于同。并行数据库性能研究。计算机工程与应用1997年01期。
5. 沈娟，赵雄芳。对分布式数据库发展方向的分析。计算机工程与科学1994年01期。
6. 昌月楼，杨利。分布式数据库技术的现状和发展方向。计算机工程与科学1995年03期。
7. 阳国贵，金辉，王怀民。分布式数据库技术回顾。计算机工程与科学1995年03期。
8. 毛法尧。分布式数据库系统。小型微型计算机系统1995年08期。
9. 郭江。分布式数据库系统中的一些问题。计算机系统应用1994年02期。
10. 李霖，周兴铭。分布式数据库研究新趋势。计算机工程与科学1997年03期。
11. 杨利，昌月楼等编著。2000。并行数据库技术。长沙：国防科技大学出版社。
12. 阳富民，冯玉才，吴永英，吴恒山。一种分布式数据库管理系统体系结构。计算机工程与应用1995年02期。
13. Abraham Silberschatz等著，杨冬青等译。2000。数据库系统概念。北京：机械工业出版社
14. 邵佩英。2000。分布式数据库系统及其应用。北京：科学出版社
15. Hector Garicia-Molina等著，杨冬青等译。2001。数据库系统实现。北京：机械工业出版社
16. 郑振楣，于戈，郭敏。1998。分布式数据库。北京：科学出版社
17. 周龙骧。1998。分布式数据库系统实现技术。北京：科学出版社
18. 萨师煊，王珊。1992。数据库系统概论。北京：科学出版社
19. 施伯乐等。1994。数据库系统导论。北京：高等教育出版社。
20. Butler Lampson,David Lomet:"A New Presumed Commit Optimization for Two Phase Commit".Proceedings of the 19th VLDB Confrence,Dublin, Ireland, 1993.
21. Lomet , D.:"Using Timestamps to Optimize Two Phase Commit".Proceedings of the PDIS Conference, San Diego, CA(Jan 1993),48-55
22. Lomet, D. and Salzberg,B.:"Access Methods for Multiversion Data". Proc . ACM SIGMOD Conference, Portland , OR(June 1989) ,315-324.
23. Mohan, C. and Lindsay, B.:"Efficient Commit Protocols for the Tree of Processes Model of Distributed Transactions".Proc. 2nd Symposium on Principles of Distributed Computing, Montreal, CA(Aug. 1983).
24. Mohan,C.,Lindsay,B. and Obermark,R.:"Transaction Management in the R* Distributed Database Management System". ACM Trans.Database System 11,4(Dec.86)378-396.
25. Samaras,G.Britton,K.,Citron,A.,and Mohan,C.:"Two-Phase Commit Optimizations and Tradeoffs in the Commercial Environment".Proc. Data Engineering Conference, Vienna ,Austria(Feb. 1993).
26. Shirota Y., Iizawa A., Mano H., Yano T., The ECHO method: concurrency control method for a large-scale distributed database, Data Engineering, 1999. Proceedings., 15th International Conference on , 1999 Page(s): 174-183
27. Martin Rennhackkamp: "Mobile Database Replication,"DBMS 10,No.11(October 1997).
28. Mikyong Han, Yongik Yoon, An implementation and performance analysis of backup system using concurrent log processing in real-time DBMS, Real-Time Computing Systems and Applications, 1997. Proceedings., Fourth International Workshop on , 1997, Page(s): 118-125
Qing Tian, Cox D.C., Optimal replication algorithms for hierarchical mobility management in PCS networks, Wireless Communications and
29. Networking Conference, 2002. WCNC2002. 2002 IEEE, Volume: 2 Mar 2002 Page(s): 556-562
30. Date,C.J and H.Darwen, A Guid to the SQL Standard,Fourth Edition,Addison-Wesley,Reading MA ,1997.
31. David Bell and Jane Grimson：Distributed Database Systems.Reading,Mass.:Addison-Wesley(1992)
32. C.J.Date:"What is a Distributed Database System?",in Relational Database Writings 1985-1989,Reading,Mass.:Addison-Wesley(1990)
33. C.J.Date: "Distributed Database: A Closer Look." in C.J.Date and Hugh Darwen,Relational Database Writings 1989-1991,Reading,Mass.:Addison-Wesley(1986)