多媒体数据库中媒体同步问题的研究
|
摘要
多媒体（mulitmedia）技术是随着计算机的硬件和软件技术的发展，
在人们对更友善的人机界面、多种媒体信息处理能力的需求下发展起来的。
由于它所具有的数字化、交互性、整合性等特点，使其在计算机辅助教学、
出版印刷、计算机仿真等领域中得到了广泛和深入的应用。随着多媒体应用
的日益广泛，应用先进的数据库技术对多媒体数据进行存储、管理和综合的
要求促进了多媒体数据库管理系统（multimedia database management
system）的产生和发展。与传统的关系型数据库管理系统相比，多媒体数据
库管理系统有数据量大、等时性和同步、非结构化、特殊的用户操作播放、
倒退、快进和基于内容的检索等许多技术特点和难点。目前多媒体数据库中
的主要研究内容有多媒体数据的建模、多媒体表现（presentation）与同步
的建模、多媒体数据库管理系统的体系结构、基于内容的查询处理和检索机
制、新一代用户接口技术等。其中多媒体表现与同步的建模是本文研究的重
点。
本文首先对目前流行的多媒体同步建模方法如时间线模型、参考点模
型、层次模型等进行了分析与比较，给出了不同的同步模型的优缺点和适用
范围。接着对多媒体数据库中的同步集成模型进行了需求分析，由于面向对
象理论中的继承性、封装性、多态性和可扩充性非常适合多媒体数据的特
点，结合目前多媒体数据库研究和应用的情况，我们选择面向对象的模型作
为多媒体数据建模的概念模型，但是面向对象模型中的集成和引用等特性还
不足以描述多媒体对象间的同步展示关系，因此在面向对象的概念模型之
外，我们在时间流Petri网的基础上提出了一个新的同步集成表达模型
HETSPN，用以对多媒体对象间的同步展示关系模型化。HETSPN同步模型基本
达到了计算机辅助教学软件同步需求分析中提出的多媒体数据库同步集成模
型所应满足的要求——能够全面的对逻辑同步、媒体间同步、媒体内同步进
行一致完善的建模，具有易于操作，建模方便等特点，并为同步的实现打下
良好的基础。由于HETSPN同步模型是在TSPN同步模型的基础上构建，并且
在链接同步层、复合同步层和原子同步层的同步描述中都采用了TSPN的描述
方法，所以能够对多媒体作品的同步需求进行一致的建模；库所的类型化使
得HETSPN不但支持超媒体结构，而且具有层次建模的能力，这使得复杂多媒
体作品的同步模型的规模易于控制；场景级用户交互建模能力弥补了TSPN对
用户交互支持的不足，使用户能够在场景级方便的控制多媒体作品的展示；
通过场景表达式的定义和修改变迁语义弥补了很多同步模型不支持空间同步
的缺憾。在文章的最后我们还给出了应用层次扩展TSPN建模的实例并进行了
计算机模拟，实例分析和计算机模拟的结果都显示该模型较好的完成了对多
媒体作品的超媒体结构、时空同步、场景级用户交互和层次化的建模。
【zdsgn叫 拍十堂付N方
丫“——／v（丁ER S 工H日引S
~tASTER S THESIS
IAbstractl
With the development of the hardware and software technology of the
computer, multimedia, the new generation technology, has come forth in the need
of more friendly user-interface and multiple information processing ability. For the
characters of digital, interactivity and integration , multimedia has got wide and
deep use in CAL, publishing and printing, computer emulation ect. With more and
more applications of multimedia, the demand of using advanced database
technology to store, manage and synthesize multimedia data fasten the emergence
and development of multimedia database management system. In the contrast to
traditional relational database, multimedia database has many new technological
characters such as large data amount, isochronism and synchronization , non-
structural, special user operation and retrieval based on content ect . Nowadays the
main research areas of multimedia database are multimedia data modeling,
multimedia presentation and synchronization modeling , the architecture of
multimedia database, retrieval and query based on content and new user interface
ect.
First , in this paper some popular multimedia synchronization modeling
methods such as timeline model, reference point model and hierarchy model are
analyzed and compared .The merit and shortcoming of theirs are discovered. Then
the request analysis of multimedia synchronization model of multimedia database
are discussed . Because inheritance, capsulation and polymorphism of object-
oriented theory are fit for the character of multimedia, the object-oriented model
are used as conceptual model to modeling multimedia data . But the character of
昳ntegration and reference is not enough to describe the synchronization relationship
of multimedia objects . So except the 00-conceptual model , based on TSPN, we
put forward a new multimedia synchronization model . In multimedia
synchronization request analysis of CAL software , we can find that a good
synchronization model should sustain unifonn logical , inter-stream and intra-
stream synchronization modeling. The LIETSPN has reached the demand. Because
HETSPN is based on TSPN and apply TSPN describe the synchronization
relationship in logical , composite and atomic layer , it can model the multimedia
application in a uniform way ; typed place sustain not only hyper-media structure
but also hierarchy modeling ,which makes the scale of synchronization easy
controlled ; user participation on scenario level remedy the shortcoming of TSPN;
scenario expression and semantic changing in transaction offset the weakness of
many synchronization models . Finally we give the application example of
HETSPN and its computer simulation ,which indicates that this model provide the
good ability of modeling hypermedia architecture , temporal and spatial
synchronization and user participation on scenario level.
在人们对更友善的人机界面、多种媒体信息处理能力的需求下发展起来的。
由于它所具有的数字化、交互性、整合性等特点，使其在计算机辅助教学、
出版印刷、计算机仿真等领域中得到了广泛和深入的应用。随着多媒体应用
的日益广泛，应用先进的数据库技术对多媒体数据进行存储、管理和综合的
要求促进了多媒体数据库管理系统（multimedia database management
system）的产生和发展。与传统的关系型数据库管理系统相比，多媒体数据
库管理系统有数据量大、等时性和同步、非结构化、特殊的用户操作播放、
倒退、快进和基于内容的检索等许多技术特点和难点。目前多媒体数据库中
的主要研究内容有多媒体数据的建模、多媒体表现（presentation）与同步
的建模、多媒体数据库管理系统的体系结构、基于内容的查询处理和检索机
制、新一代用户接口技术等。其中多媒体表现与同步的建模是本文研究的重
点。
本文首先对目前流行的多媒体同步建模方法如时间线模型、参考点模
型、层次模型等进行了分析与比较，给出了不同的同步模型的优缺点和适用
范围。接着对多媒体数据库中的同步集成模型进行了需求分析，由于面向对
象理论中的继承性、封装性、多态性和可扩充性非常适合多媒体数据的特
点，结合目前多媒体数据库研究和应用的情况，我们选择面向对象的模型作
为多媒体数据建模的概念模型，但是面向对象模型中的集成和引用等特性还
不足以描述多媒体对象间的同步展示关系，因此在面向对象的概念模型之
外，我们在时间流Petri网的基础上提出了一个新的同步集成表达模型
HETSPN，用以对多媒体对象间的同步展示关系模型化。HETSPN同步模型基本
达到了计算机辅助教学软件同步需求分析中提出的多媒体数据库同步集成模
型所应满足的要求——能够全面的对逻辑同步、媒体间同步、媒体内同步进
行一致完善的建模，具有易于操作，建模方便等特点，并为同步的实现打下
良好的基础。由于HETSPN同步模型是在TSPN同步模型的基础上构建，并且
在链接同步层、复合同步层和原子同步层的同步描述中都采用了TSPN的描述
方法，所以能够对多媒体作品的同步需求进行一致的建模；库所的类型化使
得HETSPN不但支持超媒体结构，而且具有层次建模的能力，这使得复杂多媒
体作品的同步模型的规模易于控制；场景级用户交互建模能力弥补了TSPN对
用户交互支持的不足，使用户能够在场景级方便的控制多媒体作品的展示；
通过场景表达式的定义和修改变迁语义弥补了很多同步模型不支持空间同步
的缺憾。在文章的最后我们还给出了应用层次扩展TSPN建模的实例并进行了
计算机模拟，实例分析和计算机模拟的结果都显示该模型较好的完成了对多
媒体作品的超媒体结构、时空同步、场景级用户交互和层次化的建模。
【zdsgn叫 拍十堂付N方
丫“——／v（丁ER S 工H日引S
~tASTER S THESIS
IAbstractl
With the development of the hardware and software technology of the
computer, multimedia, the new generation technology, has come forth in the need
of more friendly user-interface and multiple information processing ability. For the
characters of digital, interactivity and integration , multimedia has got wide and
deep use in CAL, publishing and printing, computer emulation ect. With more and
more applications of multimedia, the demand of using advanced database
technology to store, manage and synthesize multimedia data fasten the emergence
and development of multimedia database management system. In the contrast to
traditional relational database, multimedia database has many new technological
characters such as large data amount, isochronism and synchronization , non-
structural, special user operation and retrieval based on content ect . Nowadays the
main research areas of multimedia database are multimedia data modeling,
multimedia presentation and synchronization modeling , the architecture of
multimedia database, retrieval and query based on content and new user interface
ect.
First , in this paper some popular multimedia synchronization modeling
methods such as timeline model, reference point model and hierarchy model are
analyzed and compared .The merit and shortcoming of theirs are discovered. Then
the request analysis of multimedia synchronization model of multimedia database
are discussed . Because inheritance, capsulation and polymorphism of object-
oriented theory are fit for the character of multimedia, the object-oriented model
are used as conceptual model to modeling multimedia data . But the character of
昳ntegration and reference is not enough to describe the synchronization relationship
of multimedia objects . So except the 00-conceptual model , based on TSPN, we
put forward a new multimedia synchronization model . In multimedia
synchronization request analysis of CAL software , we can find that a good
synchronization model should sustain unifonn logical , inter-stream and intra-
stream synchronization modeling. The LIETSPN has reached the demand. Because
HETSPN is based on TSPN and apply TSPN describe the synchronization
relationship in logical , composite and atomic layer , it can model the multimedia
application in a uniform way ; typed place sustain not only hyper-media structure
but also hierarchy modeling ,which makes the scale of synchronization easy
controlled ; user participation on scenario level remedy the shortcoming of TSPN;
scenario expression and semantic changing in transaction offset the weakness of
many synchronization models . Finally we give the application example of
HETSPN and its computer simulation ,which indicates that this model provide the
good ability of modeling hypermedia architecture , temporal and spatial
synchronization and user participation on scenario level.
引文
[1]傅德荣 计算机与教育 华中师范大学出版社 1990
[2]傅德荣 CAI课件设计的原理与方法 高等教育出版社1994
[3]钟玉琢等 多媒体计算机技术基础及应用 高等教育出版社1999
[4]袁崇义 Petri网原理 电子工业出版社 1998
[5]Prabhat K．等 多媒体系统设计 电子工业出版社 1998
[6]马华东等 多媒体计算机技术原理 清华大学出版社 1998
[7]王能斌 数据库系统原理 电子工业出版社 2000
[8]刘红梅等 媒体同步关系的描述 计算机研究与发展 1996、7
[9]宋军等 多媒体同步 中国图象图形学报 1997、6
[10]袁京声等 多媒体系统中的媒体时态关系表示 计算机工程 1999、6
[11]唐志强等 基于HyperTime的超媒体文档系统的一种实现方法 计算机研究与发展2000、2
[12]马华东等 基于时续逻辑的超文本描述 计算机辅助设计与图形学学报 1999、6
[13]胡志飞等 面向对象的多媒体数据库研究 上海铁道大学学报 1999、4
[14]白成林 面向对象多媒体数据库管理系统的研究与实现 小型微型 计算机系统2000、5
[15]李华等与时间相关系统的Petri网模型内蒙古大学学报2000、1
[16]徐明等 应用多媒体数据库技术的CAI教学课件的设计电化教育研究 1999、4
[17]朱虹等 一种多媒体数据库管理系统的体系结构计算机研究与发展 1998、1
[18]张霞等 一种面向对象的多媒体概念模型 软件学报1996、7
[19]费晓强等 多媒体系统同步的受控资源时间网模型通信学报 1999、5
[20]宋强等 基于面向对象技术的多媒体CAI素材库系统武汉大学学报 1999、10
[21]吴产乐等 一种改进的参考点同步模型多媒体同步控制方法武汉大学学报 1999、10
[22]黄波等 一个多媒体数据同步模型的建立和实现 软件学报 1998、7
[23]张苓等 基于Petri网超媒体模型研究 小型微型计算机系统 2000、5
[24]巩志国等 多媒体对象的Agent集成展示模型 软件学报 1999、1
[25]巩志国等 分布式多媒体数据库系统 软件学报 2000、11
[26]车敦仁等 多媒体DBMS的需求 计算机研究与发展 1996、1
[27]赵琛 多媒体节目时序描述的完全性与协调性 计算机学报 2000、7
[28]曾庆凯等 一个基于对象的分布式多媒体系统模型 软件学报 1999、1
[29]陈俊华等 多媒体两级同步模型 计算机研究与发展 1996、5
[30]李明禄等 多媒体同步模型研究 中国图象图形学报 1997、6
[31]李光亚等 超媒体模型中时态行为的研究 计算机研究与发展 1998、4
[32]T.D.C. Little等 Synchronization and storage models for multimedia objects IEEE Journal on Selected Areas in Communications 1990,18(3)
[33]M.Diaz等 Time Stream Petri Nets, a model for multimedia stream synchronization Proc of Multimedia modeling 1993
[34]Miae Woo等 A Synchronization Framework for Communication of Pre-orchestrated Multimedia Information IEEE Network 1994,8(1)
[35]B. Prabhakaran等 Synchronization Models for Multimedia Presentation With User Participation ACM Multimedia 1993
[36]J.F. AllenMaintaining Knowledge about Temporal Inervals Communication of the ACM, 1983, 26(11)
[37]M.J Perez-Luquej等 A Temporal Reference Framework for Multimedia Synchronization IEEE Journal on Selected Area in Communication 1995, 11
[38]Yahya Y.等Temporal Relations and Synchronization Agents IEEE Multimedia 1996, 25(4)
[39]TANKU等 Supporting Weak Synchronization over World Wide Web Journal of Software 2000,11(7)
[40]T.D.C Little等 Interval-Based Conceptual Models for Time-Dependent Multimedia Data IEEE Trans on Knowledge and Data Engineering Vol. 5, No. 4 August 1993
[41] Philippe Owezarski 等New architecture for enforcing multimedia synchronization in videoconferencing applications Telecommunication Systems 1999, 11
[42] M. Diaz 等 Time Stream Petri Nets, A Model for Timed Multimedia Information IEEE Multimedia 1994,11
[2]傅德荣 CAI课件设计的原理与方法 高等教育出版社1994
[3]钟玉琢等 多媒体计算机技术基础及应用 高等教育出版社1999
[4]袁崇义 Petri网原理 电子工业出版社 1998
[5]Prabhat K．等 多媒体系统设计 电子工业出版社 1998
[6]马华东等 多媒体计算机技术原理 清华大学出版社 1998
[7]王能斌 数据库系统原理 电子工业出版社 2000
[8]刘红梅等 媒体同步关系的描述 计算机研究与发展 1996、7
[9]宋军等 多媒体同步 中国图象图形学报 1997、6
[10]袁京声等 多媒体系统中的媒体时态关系表示 计算机工程 1999、6
[11]唐志强等 基于HyperTime的超媒体文档系统的一种实现方法 计算机研究与发展2000、2
[12]马华东等 基于时续逻辑的超文本描述 计算机辅助设计与图形学学报 1999、6
[13]胡志飞等 面向对象的多媒体数据库研究 上海铁道大学学报 1999、4
[14]白成林 面向对象多媒体数据库管理系统的研究与实现 小型微型 计算机系统2000、5
[15]李华等与时间相关系统的Petri网模型内蒙古大学学报2000、1
[16]徐明等 应用多媒体数据库技术的CAI教学课件的设计电化教育研究 1999、4
[17]朱虹等 一种多媒体数据库管理系统的体系结构计算机研究与发展 1998、1
[18]张霞等 一种面向对象的多媒体概念模型 软件学报1996、7
[19]费晓强等 多媒体系统同步的受控资源时间网模型通信学报 1999、5
[20]宋强等 基于面向对象技术的多媒体CAI素材库系统武汉大学学报 1999、10
[21]吴产乐等 一种改进的参考点同步模型多媒体同步控制方法武汉大学学报 1999、10
[22]黄波等 一个多媒体数据同步模型的建立和实现 软件学报 1998、7
[23]张苓等 基于Petri网超媒体模型研究 小型微型计算机系统 2000、5
[24]巩志国等 多媒体对象的Agent集成展示模型 软件学报 1999、1
[25]巩志国等 分布式多媒体数据库系统 软件学报 2000、11
[26]车敦仁等 多媒体DBMS的需求 计算机研究与发展 1996、1
[27]赵琛 多媒体节目时序描述的完全性与协调性 计算机学报 2000、7
[28]曾庆凯等 一个基于对象的分布式多媒体系统模型 软件学报 1999、1
[29]陈俊华等 多媒体两级同步模型 计算机研究与发展 1996、5
[30]李明禄等 多媒体同步模型研究 中国图象图形学报 1997、6
[31]李光亚等 超媒体模型中时态行为的研究 计算机研究与发展 1998、4
[32]T.D.C. Little等 Synchronization and storage models for multimedia objects IEEE Journal on Selected Areas in Communications 1990,18(3)
[33]M.Diaz等 Time Stream Petri Nets, a model for multimedia stream synchronization Proc of Multimedia modeling 1993
[34]Miae Woo等 A Synchronization Framework for Communication of Pre-orchestrated Multimedia Information IEEE Network 1994,8(1)
[35]B. Prabhakaran等 Synchronization Models for Multimedia Presentation With User Participation ACM Multimedia 1993
[36]J.F. AllenMaintaining Knowledge about Temporal Inervals Communication of the ACM, 1983, 26(11)
[37]M.J Perez-Luquej等 A Temporal Reference Framework for Multimedia Synchronization IEEE Journal on Selected Area in Communication 1995, 11
[38]Yahya Y.等Temporal Relations and Synchronization Agents IEEE Multimedia 1996, 25(4)
[39]TANKU等 Supporting Weak Synchronization over World Wide Web Journal of Software 2000,11(7)
[40]T.D.C Little等 Interval-Based Conceptual Models for Time-Dependent Multimedia Data IEEE Trans on Knowledge and Data Engineering Vol. 5, No. 4 August 1993
[41] Philippe Owezarski 等New architecture for enforcing multimedia synchronization in videoconferencing applications Telecommunication Systems 1999, 11
[42] M. Diaz 等 Time Stream Petri Nets, A Model for Timed Multimedia Information IEEE Multimedia 1994,11