多通道人机交互技术的研究
|
摘要
本文对多通道人机交互技术中的几个重要问题进行了研究，其中包括多通道人机系统的模型描述、整合算法、系统构架等。同时也对系统实现中所产生的一些特定于多通道系统的问题进行了研究和解决。通过一个原型系统——多通道军事态势标绘系统的实现深入研究了这项技术及其实现方法，提出了一个面向任务的多通道界面模型描述方法，实现了一个多通道整合算法，并针对该算法的不足进行了改进；同时，本文也提出了一个可移植通用整合功能模板的思想。通过对多通道系统语义的通用描述模型的研究，面向开发人员提供可重用多通道整合模板的支持，这本身就是应用软件系统所追求的目标之一，在多通道技术中实现这个思想有着更大的意义，本文给出了一个具体的实现方法。最后，本文对多通道人机技术的研究方向和前景进行了展望。
This paper focuses on the Multi-Modal Human-Computer Interaction technique, discusses some main topics in this field, including the modal description, system framework, integrate algorithm and so on; also, we have developed a practical MM-HCI system MM-TSBH(Multi-Modal TSBH), which will be introduced later, and, this paper also refers to some problems may be encounterd during developing and the resolvents of these problems. Through the MM-TSBH system, we have made a lot of researchs about the key problems in Multi-Modal HCI, a multi-modal integrate algorithm and its improvement are gave out. Further more, we put forward a thought of Common Integration Template (CIT). By the research of the representation method in MM-HCI, we developed a kind of model of CIT, it is provided to the MM-HCI system developers for reusing, help them to make focus mainly on the application itself, not the multi-modal support. At last, we give a prospect of the MM-HCI technique.
This paper focuses on the Multi-Modal Human-Computer Interaction technique, discusses some main topics in this field, including the modal description, system framework, integrate algorithm and so on; also, we have developed a practical MM-HCI system MM-TSBH(Multi-Modal TSBH), which will be introduced later, and, this paper also refers to some problems may be encounterd during developing and the resolvents of these problems. Through the MM-TSBH system, we have made a lot of researchs about the key problems in Multi-Modal HCI, a multi-modal integrate algorithm and its improvement are gave out. Further more, we put forward a thought of Common Integration Template (CIT). By the research of the representation method in MM-HCI, we developed a kind of model of CIT, it is provided to the MM-HCI system developers for reusing, help them to make focus mainly on the application itself, not the multi-modal support. At last, we give a prospect of the MM-HCI technique.
引文
1 马卫娟，方志刚．人机交互风格及其发展趋势．航空计算技术．1999，29(3)
2 李茂贞，戴国忠，董士海．多通道界面软件结构及整合算法．计算机学报．1998，21(2)
3 普建涛，陈文广，王衡，董士海．多通道用户界面关键技术和未来发展趋势研究．计算机研究和发展．2001，38(6)
4 李茂贞，戴国忠，董士海．多通道界面模型与关键技术．计算机科学．1997，24(1)
5 朱军，张高，华庆一，戴国忠．交互式用户界面的形式化描述和性质验证．软件学报．1999，10(11)
6 董士海，陈敏，罗军，林应明，蒋宇全．多通道用户界面的模型、方法及实例．北京大学学报(自然科学版)．1998，34(2)-(3)
7 黄曾阳．HNC理论与自然语言语句的理解．
8 多功能感知技术．
9 方志刚．基于模糊模式识别的多通道目标选择算法．航空计算技术．第29卷第1期
10 董士海，王坚，戴国忠等．人机交互和多通道用户界面．第1版．北京：科学出版社，1999
11 王延江，袁保宗．多模态人机交互中基于笔输入的手势识别．北方交通大学学报．第25卷第2期
12 尹海荣，屠大维．基于红外电视法的眼睛盯视人机交互技术．系统与设计．2002，24(4)
13 (美)C.F.戈德法布(Charles F.Goldfarb)，(美)P.普雷斯科德(Paul Prescod)著．XML实用技术．第1版．北京：清华大学出版社，1999
14 柳金甫，李学伟．应用随机过程．第1版．北京：中国铁道出版社，2000
15 沈清，汤霖，模式识别导论，第1版．长沙：国防科技大学出版社，1991
16 普建涛，秦镜，王霄楠，汪国平．多通道用户界面研究．计算机应用．2001，21(5)
17 蒋宇全，罗军，林应明，董士海，基于任务的多通道整合设计与实例．计算机学报．1998(9)：860-864
18 龚杰民，王献青．人机交互技术的进展与发展趋向．西安电子科技大学学报．1998(6)：782-786
19 普建涛，董士海．任务制导的多通道分层整合模型及其算法．计算机研究与发展．2001(8)：966-971
20 H.Rex Hartson, Antoio C.Siochi, Deborah Hix. The UAN:A User-Oriented Representation for Direct Manipulation Interface Designs.
21 User Interface Technologies Projects.
22 HI-SPACE DEVELOPMENT.
23 Winyu Chinthammit, Eric J.Seibel, Thomas A.Fumess. Unique Shared-Aperture Display with Head or Target Tracking. HIT-Lab
24 Gerasimos Potamianios, Chalapathy Neti, Giridharan Iyengar, Eric Helmuth. Large-Vocabulary Audio-Visual Speech Recognition by Machines and Humans. Proc. EUROSPEECH, Aalborg, Denmark, September3-7, 2001
25 A Report of the Esprit Project 8579 MIAMI WP1, WP2, WP3
26 Welcome to AMODEUS-2.
27 The Design Process.
28 Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides.设计模式，可复用面向对象软件的基础．第1版．北京：机械工业出版社：2000
29 Joelle. Coutz, Laurence.Nigay, Daniel. Salber; Agent-Based Architecture Modelling for Interactive Systemas. Published in Critical Issues in User Interface Engineering. London Publ., ISBN3-540-19964-0. 1995, 191-209
2 李茂贞，戴国忠，董士海．多通道界面软件结构及整合算法．计算机学报．1998，21(2)
3 普建涛，陈文广，王衡，董士海．多通道用户界面关键技术和未来发展趋势研究．计算机研究和发展．2001，38(6)
4 李茂贞，戴国忠，董士海．多通道界面模型与关键技术．计算机科学．1997，24(1)
5 朱军，张高，华庆一，戴国忠．交互式用户界面的形式化描述和性质验证．软件学报．1999，10(11)
6 董士海，陈敏，罗军，林应明，蒋宇全．多通道用户界面的模型、方法及实例．北京大学学报(自然科学版)．1998，34(2)-(3)
7 黄曾阳．HNC理论与自然语言语句的理解．
8 多功能感知技术．
9 方志刚．基于模糊模式识别的多通道目标选择算法．航空计算技术．第29卷第1期
10 董士海，王坚，戴国忠等．人机交互和多通道用户界面．第1版．北京：科学出版社，1999
11 王延江，袁保宗．多模态人机交互中基于笔输入的手势识别．北方交通大学学报．第25卷第2期
12 尹海荣，屠大维．基于红外电视法的眼睛盯视人机交互技术．系统与设计．2002，24(4)
13 (美)C.F.戈德法布(Charles F.Goldfarb)，(美)P.普雷斯科德(Paul Prescod)著．XML实用技术．第1版．北京：清华大学出版社，1999
14 柳金甫，李学伟．应用随机过程．第1版．北京：中国铁道出版社，2000
15 沈清，汤霖，模式识别导论，第1版．长沙：国防科技大学出版社，1991
16 普建涛，秦镜，王霄楠，汪国平．多通道用户界面研究．计算机应用．2001，21(5)
17 蒋宇全，罗军，林应明，董士海，基于任务的多通道整合设计与实例．计算机学报．1998(9)：860-864
18 龚杰民，王献青．人机交互技术的进展与发展趋向．西安电子科技大学学报．1998(6)：782-786
19 普建涛，董士海．任务制导的多通道分层整合模型及其算法．计算机研究与发展．2001(8)：966-971
20 H.Rex Hartson, Antoio C.Siochi, Deborah Hix. The UAN:A User-Oriented Representation for Direct Manipulation Interface Designs.
21 User Interface Technologies Projects.
22 HI-SPACE DEVELOPMENT.
23 Winyu Chinthammit, Eric J.Seibel, Thomas A.Fumess. Unique Shared-Aperture Display with Head or Target Tracking. HIT-Lab
24 Gerasimos Potamianios, Chalapathy Neti, Giridharan Iyengar, Eric Helmuth. Large-Vocabulary Audio-Visual Speech Recognition by Machines and Humans. Proc. EUROSPEECH, Aalborg, Denmark, September3-7, 2001
25 A Report of the Esprit Project 8579 MIAMI WP1, WP2, WP3
26 Welcome to AMODEUS-2.
27 The Design Process.
28 Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides.设计模式，可复用面向对象软件的基础．第1版．北京：机械工业出版社：2000
29 Joelle. Coutz, Laurence.Nigay, Daniel. Salber; Agent-Based Architecture Modelling for Interactive Systemas. Published in Critical Issues in User Interface Engineering. London Publ., ISBN3-540-19964-0. 1995, 191-209