基于DSP的机器人语言识别及控制系统设计
摘要
一个完整的迎宾机器人系统需要综合运用多种人工智能技术,其目标是建立起一个“人”的模型,让机器人听懂人的语言就是其中之一。机器人语音识别系统是迎宾机器人头部的重要组成部分,机器人语音识别系统主要是对人的声音进行语音识别并做出判断,然后输出相应的动作指令控制机器人的动作。
机器人要能够对非特定人的语音进行识别,当机器人接到语音信号后,对语音进行预处理,端点检测,特征向量提取,再通过对语音库里的特征向量进行模式匹配,输出识别结果。机器人识别的范围由其训练过的语音库决定,特定的语音对应特定的动作。
传统的机器人听觉系统一般是以PC机为系统运行平台对机器人进行控制,其特点是用一台计算机作为机器人的信息处理核心通过接口电路对机器人进行控制,处理能力比较强大,语音库比较完备,系统更新以及功能拓展比较容易。缺点是比较笨重,不利于机器人的小型化和复杂条件下进行工作,此外功耗大,成本高。近几年来微型处理器性能的提高促进了机器人的迅速发展,特别是大存储量及高速运算DSP处理芯片的出现使机器人在脱机状态下,独立完成复杂的语音信号处理和动作指令成为可能。
论文在硬件上使DSP芯片TMS320VC5509与音频芯片TLV320AIC23相结合作为机器人的语音采集系统,采用DSP作为语音识别处理器,具有较快的处理速度,并采用DSP集成开发环境CCS 3.1完成对DSP芯片的外部接口配置;在软件开发上,论文分析了语音信号的特点,对语音信号进行预处理和端点检测,语音特征向量采用美尔频率倒谱系数(MFCC),模式匹配和训练采用DTW动态规整算法,实现了机器人语音指令的识别。在动作控制上,采用FPGA芯片EP1CT100C8作为机器人头部动作逻辑控制器,使机器人能够根据非特定人的语音命令做出规定的头部动作。
DSP的使用使机器人在脱机状态下能够独立快速完成复杂的语音信号处理和动作指令控制,FPGA系统的开发降低了时序控制电路和逻辑电路在PCB板所占的面积,使机器人的“大脑”的语音处理部分微型化,低功耗。一个体积小,低功耗,高速度能完成特定范围语音识别和动作指令的机器人系统的研制具有很大的实际意义。
An integrated guiding robot system need use many kinds of artificial intelligence technologies together, whose goal is to build up a man model.It is one of them that we should make the robot understand the languages. The speech recognition system of the robot, which is the important part of theguiding robot head, mainly recognizes the voice and makes the decision, then gives out the action instruction to control the robot. The robot should recognize the voice of nonspecial persons. When receiving speech signals, it preprocesses the speech, detects the end point and extracts characteristic vector. Then it gives out the recognition results through the pattern matching of the characteristic vector in the speech bank. The recognition ranges of the robot are decided by the trained speech bank, in which the special speech matches the special action.
The traditional robot hearing system usually controls the robot using PC as the running platform of the system. Its traits are as following: it uses a computer as the information processing core of the robot to control it through the interface circuit.Its processing ability is quite powerful, and speech bank is complete.At last it is quite easy to renew the system and develop the function.But it also has some disadvantages, firstly it is a little heavy, which makes the robot unavailable in the conditions of miniaturization and complexity. Then its power consumption is high and costs much.
In the recent years, the improvement of the microprocessor performance promotes the robot to develop fast, especially the appearance of DSP which has mass memory and high-speed operation makes it possible that a robot can complete the complex speech signal processing and action instruction off line.
In this paper TMS320VC5509 and TLV320AIC23 are made together to be the speech acquisition system of a robot in the hardware. DSP is used to be the speech recognition processor, whose processing speed is quite fast. CCS 3.1 is used to finish configuring the peripheral interface of DSP. In development of the software the characteristics of speech signals are analyzed, speech signals are preprocessed and detected by end points. Speech eigenvector adopts MFCC, and pattern matching and
机器人要能够对非特定人的语音进行识别,当机器人接到语音信号后,对语音进行预处理,端点检测,特征向量提取,再通过对语音库里的特征向量进行模式匹配,输出识别结果。机器人识别的范围由其训练过的语音库决定,特定的语音对应特定的动作。
传统的机器人听觉系统一般是以PC机为系统运行平台对机器人进行控制,其特点是用一台计算机作为机器人的信息处理核心通过接口电路对机器人进行控制,处理能力比较强大,语音库比较完备,系统更新以及功能拓展比较容易。缺点是比较笨重,不利于机器人的小型化和复杂条件下进行工作,此外功耗大,成本高。近几年来微型处理器性能的提高促进了机器人的迅速发展,特别是大存储量及高速运算DSP处理芯片的出现使机器人在脱机状态下,独立完成复杂的语音信号处理和动作指令成为可能。
论文在硬件上使DSP芯片TMS320VC5509与音频芯片TLV320AIC23相结合作为机器人的语音采集系统,采用DSP作为语音识别处理器,具有较快的处理速度,并采用DSP集成开发环境CCS 3.1完成对DSP芯片的外部接口配置;在软件开发上,论文分析了语音信号的特点,对语音信号进行预处理和端点检测,语音特征向量采用美尔频率倒谱系数(MFCC),模式匹配和训练采用DTW动态规整算法,实现了机器人语音指令的识别。在动作控制上,采用FPGA芯片EP1CT100C8作为机器人头部动作逻辑控制器,使机器人能够根据非特定人的语音命令做出规定的头部动作。
DSP的使用使机器人在脱机状态下能够独立快速完成复杂的语音信号处理和动作指令控制,FPGA系统的开发降低了时序控制电路和逻辑电路在PCB板所占的面积,使机器人的“大脑”的语音处理部分微型化,低功耗。一个体积小,低功耗,高速度能完成特定范围语音识别和动作指令的机器人系统的研制具有很大的实际意义。
An integrated guiding robot system need use many kinds of artificial intelligence technologies together, whose goal is to build up a man model.It is one of them that we should make the robot understand the languages. The speech recognition system of the robot, which is the important part of theguiding robot head, mainly recognizes the voice and makes the decision, then gives out the action instruction to control the robot. The robot should recognize the voice of nonspecial persons. When receiving speech signals, it preprocesses the speech, detects the end point and extracts characteristic vector. Then it gives out the recognition results through the pattern matching of the characteristic vector in the speech bank. The recognition ranges of the robot are decided by the trained speech bank, in which the special speech matches the special action.
The traditional robot hearing system usually controls the robot using PC as the running platform of the system. Its traits are as following: it uses a computer as the information processing core of the robot to control it through the interface circuit.Its processing ability is quite powerful, and speech bank is complete.At last it is quite easy to renew the system and develop the function.But it also has some disadvantages, firstly it is a little heavy, which makes the robot unavailable in the conditions of miniaturization and complexity. Then its power consumption is high and costs much.
In the recent years, the improvement of the microprocessor performance promotes the robot to develop fast, especially the appearance of DSP which has mass memory and high-speed operation makes it possible that a robot can complete the complex speech signal processing and action instruction off line.
In this paper TMS320VC5509 and TLV320AIC23 are made together to be the speech acquisition system of a robot in the hardware. DSP is used to be the speech recognition processor, whose processing speed is quite fast. CCS 3.1 is used to finish configuring the peripheral interface of DSP. In development of the software the characteristics of speech signals are analyzed, speech signals are preprocessed and detected by end points. Speech eigenvector adopts MFCC, and pattern matching and
引文
[1] 王天然. 机器人. 化学工业出版社, 2002: 1-5
[2] 戴汝为. 人工智能. 化学工业出版社,2002:89-90
[3] 张福学. 机器人技术及其应用. 电子工业出版社. 2000,2-11
[4] Lawrence Rabiner,Biing-Hwang Juang. Fundamentals of Speech Recognition. 清华大学出版社,1999
[5] 刘韬,楼兴华. FPGA 数字电子系统设计与开发实例导航. 人民邮电出版社 2005 ,1-11
[6] 胡航.语音信号处理.哈尔滨工业大学出版社.1999:4-6
[7] G.Fant.Acoustic Theory of Speech Production.Mouton,The Hague,1970
[8] L.Rabiner and R.W.Schafer.Digital Processing of Speech Signals.Prentice Hall Inc.1978
[9] Rabineer L R, Juang B H. Fundamentals of Speech Processing and Recognition[M]. Prentice-Hall, 1993.
[10] 胡光锐.语音处理和识别.上海科学技术文献出版社.1994:7-10
[11] 姚天任.数字语音处理.华中科技大学出版社.2003:14-15
[12] 陈尚勤等.近代语音识别.电子科技大学出版社,1991
[13] L.R.Rabiner,语音信号处理.科学出版社,1997
[14] 王宏强,田 青,唐福华. 语音信号的头尾识别技术 高性能计算技术. 116 期 2004.2 48-50
[15] 易克初,田斌,付强,语音信号处理,国防工业出版社,2000
[16] 蔡莲红,黄德智等.现代语音技术基础与应用,2003:26-28
[17] 李云霞,李治柱,吴亚栋. 基于 HMM 的关键词识别系统.人工智能及识别技术. 第 30 卷第 7 期 2004:130-133
[18] L.Rabiner,B.H.Juang.Fundamentals of Speech of Recognition.Tsinghua University Press.Prentice-Hall International,Inc.1999
[19] 杨行峻,郑君里,人工神经网络.高教出版社,1992
[20] 彭启淙,李玉柏.DSP 技术.电子科技大学出版社,2000
[21] 孙洪波,任治刚.TMS320C5000 系列 DSP 系统设计与开发实例.电子工业出版社.2004:12-28
[22] TMS320VC5509A Fixed-Point Digital Signal Processor data manual
[23] 江四敏,刘畅. TMS320C6000 DSP 应用开发教程.2005
[24] 彭启淙 管庆.DSP 集成开发环境-CCS 及 DSP/BIOS 的原理与应用.电子工业出版社.2004
[25] 刘益成.TMS320C54x DSP 应用程序设计与开发.北京航天航空大学出版社
[26] 王安民.TMS320C54XX DSP 实用技术. 清华大学出版社. 2002
[27] SA25F005 Data Sheet
[28] TLV320AIC23 Data Sheet
[29] 李双勋,欧建平 TLC320AIC23 在音频处理中的应用国外电子元器件. 2004-12
[30] 张永,陈天麟.C/C++语言硬件程序设计-基于TMS320C5000系列DSP.西安电子科技大学出版社
[31] 李晶皎, 嵌入式语音技术及凌阳 16 位单片机应用. 北京航空航天大学出版社. 2003:213-214
[32] 于迎霞,史家茂. 一种改进的基于倒谱特征的带噪端点检测方法 网络与通信 2004 年 10 月(30) 85-97
[33] 张仁志$ 崔慧娟.基于短时能量的语音端点检测算法研究电声技术 2005-07:52-54
[34] 朱淑琴,裘雪红.一种精确检测语音端点的方法.计算机仿真.2004.5
[35] 邵央 刘丙哲 基于 MFCC 和加权矢量量化的说话人识别系统. 计算机工程与应用 2002.5:126-129
[36] 王让定,柴佩琪 语音倒谱特征的研究 计算机工程 2003 年 8 月
[37] 甄斌,吴玺宏,刘志敏.语音识别和说话人识别中各倒谱分量的相对重要性.北京大学学报(自然科学版) ,第 37 卷,第 3 期,2001 年 5 月
[38] Gupta V , Lenning M, Mermelstein P. A language model for very large - vocabulary speech recognition[J ] . Computer Speech and Language , 1992 ,56(6) : 331 - 344.
[39] 李鹏怀,徐佩霞.基于 DSP 的嵌入式语音识别系统的实现.计算机工程.2005 年 8月:160-165
[40] 陈理壁,步进电机及其应用,上海科技出版社,1985:2-13
[41] 李中杰, 步进电机应用技术,北京,机械工业出版社 1988:4-24
[42] 李冬梅.PLD 器件与 EDA 技术.北京广播学院出版社.2000
[43] 陈赜,CPLD/FPGA 与 ASIC 设计实践教程.科学出版社.2005
[44] 黄智伟.FPGA 系统设计与实践.电子工业出版社.2005:12-44
[45] 刘韬,楼兴华. FPGA 数字电子系统设计与开发实例导航. 人民邮电出版社. 2005 :1-11
[46] Cyclone FPGA Family Data Sheet Cyclone Device Handbook,Volume 1
[47] ByteBlaster MV Download Cable User Guide
[48] 赵鑫,蒋亮 VHDL 与数字电路设计 机械工业出版社,2005:4-24
[49] 张昌凡.龙永红.可编程逻辑器件及 VHDL 设计技术.华南理工大学出版社.2001
[50] 陈耀和,VHDL 语言设计技术,电子工业出版社,2004:5-44
[51] 侯伯亨,顾新.VHDL 硬件描述语言与数字逻辑设计. 西安电子科技大学出社.1997:12-15
[52] QuartusⅡhandbook
[53] 周志敏,周纪海.单片开关电源-应用电路.电磁兼容.PCB 布线.电子工业出版社.2004
[54] 清源计算机工作室.Protel 99 SE 电路设计与仿真.第一版.机械工业出版社。2003. 59-78
[2] 戴汝为. 人工智能. 化学工业出版社,2002:89-90
[3] 张福学. 机器人技术及其应用. 电子工业出版社. 2000,2-11
[4] Lawrence Rabiner,Biing-Hwang Juang. Fundamentals of Speech Recognition. 清华大学出版社,1999
[5] 刘韬,楼兴华. FPGA 数字电子系统设计与开发实例导航. 人民邮电出版社 2005 ,1-11
[6] 胡航.语音信号处理.哈尔滨工业大学出版社.1999:4-6
[7] G.Fant.Acoustic Theory of Speech Production.Mouton,The Hague,1970
[8] L.Rabiner and R.W.Schafer.Digital Processing of Speech Signals.Prentice Hall Inc.1978
[9] Rabineer L R, Juang B H. Fundamentals of Speech Processing and Recognition[M]. Prentice-Hall, 1993.
[10] 胡光锐.语音处理和识别.上海科学技术文献出版社.1994:7-10
[11] 姚天任.数字语音处理.华中科技大学出版社.2003:14-15
[12] 陈尚勤等.近代语音识别.电子科技大学出版社,1991
[13] L.R.Rabiner,语音信号处理.科学出版社,1997
[14] 王宏强,田 青,唐福华. 语音信号的头尾识别技术 高性能计算技术. 116 期 2004.2 48-50
[15] 易克初,田斌,付强,语音信号处理,国防工业出版社,2000
[16] 蔡莲红,黄德智等.现代语音技术基础与应用,2003:26-28
[17] 李云霞,李治柱,吴亚栋. 基于 HMM 的关键词识别系统.人工智能及识别技术. 第 30 卷第 7 期 2004:130-133
[18] L.Rabiner,B.H.Juang.Fundamentals of Speech of Recognition.Tsinghua University Press.Prentice-Hall International,Inc.1999
[19] 杨行峻,郑君里,人工神经网络.高教出版社,1992
[20] 彭启淙,李玉柏.DSP 技术.电子科技大学出版社,2000
[21] 孙洪波,任治刚.TMS320C5000 系列 DSP 系统设计与开发实例.电子工业出版社.2004:12-28
[22] TMS320VC5509A Fixed-Point Digital Signal Processor data manual
[23] 江四敏,刘畅. TMS320C6000 DSP 应用开发教程.2005
[24] 彭启淙 管庆.DSP 集成开发环境-CCS 及 DSP/BIOS 的原理与应用.电子工业出版社.2004
[25] 刘益成.TMS320C54x DSP 应用程序设计与开发.北京航天航空大学出版社
[26] 王安民.TMS320C54XX DSP 实用技术. 清华大学出版社. 2002
[27] SA25F005 Data Sheet
[28] TLV320AIC23 Data Sheet
[29] 李双勋,欧建平 TLC320AIC23 在音频处理中的应用国外电子元器件. 2004-12
[30] 张永,陈天麟.C/C++语言硬件程序设计-基于TMS320C5000系列DSP.西安电子科技大学出版社
[31] 李晶皎, 嵌入式语音技术及凌阳 16 位单片机应用. 北京航空航天大学出版社. 2003:213-214
[32] 于迎霞,史家茂. 一种改进的基于倒谱特征的带噪端点检测方法 网络与通信 2004 年 10 月(30) 85-97
[33] 张仁志$ 崔慧娟.基于短时能量的语音端点检测算法研究电声技术 2005-07:52-54
[34] 朱淑琴,裘雪红.一种精确检测语音端点的方法.计算机仿真.2004.5
[35] 邵央 刘丙哲 基于 MFCC 和加权矢量量化的说话人识别系统. 计算机工程与应用 2002.5:126-129
[36] 王让定,柴佩琪 语音倒谱特征的研究 计算机工程 2003 年 8 月
[37] 甄斌,吴玺宏,刘志敏.语音识别和说话人识别中各倒谱分量的相对重要性.北京大学学报(自然科学版) ,第 37 卷,第 3 期,2001 年 5 月
[38] Gupta V , Lenning M, Mermelstein P. A language model for very large - vocabulary speech recognition[J ] . Computer Speech and Language , 1992 ,56(6) : 331 - 344.
[39] 李鹏怀,徐佩霞.基于 DSP 的嵌入式语音识别系统的实现.计算机工程.2005 年 8月:160-165
[40] 陈理壁,步进电机及其应用,上海科技出版社,1985:2-13
[41] 李中杰, 步进电机应用技术,北京,机械工业出版社 1988:4-24
[42] 李冬梅.PLD 器件与 EDA 技术.北京广播学院出版社.2000
[43] 陈赜,CPLD/FPGA 与 ASIC 设计实践教程.科学出版社.2005
[44] 黄智伟.FPGA 系统设计与实践.电子工业出版社.2005:12-44
[45] 刘韬,楼兴华. FPGA 数字电子系统设计与开发实例导航. 人民邮电出版社. 2005 :1-11
[46] Cyclone FPGA Family Data Sheet Cyclone Device Handbook,Volume 1
[47] ByteBlaster MV Download Cable User Guide
[48] 赵鑫,蒋亮 VHDL 与数字电路设计 机械工业出版社,2005:4-24
[49] 张昌凡.龙永红.可编程逻辑器件及 VHDL 设计技术.华南理工大学出版社.2001
[50] 陈耀和,VHDL 语言设计技术,电子工业出版社,2004:5-44
[51] 侯伯亨,顾新.VHDL 硬件描述语言与数字逻辑设计. 西安电子科技大学出社.1997:12-15
[52] QuartusⅡhandbook
[53] 周志敏,周纪海.单片开关电源-应用电路.电磁兼容.PCB 布线.电子工业出版社.2004
[54] 清源计算机工作室.Protel 99 SE 电路设计与仿真.第一版.机械工业出版社。2003. 59-78