嵌入式音乐识别系统研究及实现
摘要
音乐是一门艺术,音乐识别是语音识别的一个分支,是科学和艺术的交叉。由于音乐的专业性强、乐理知识复杂、音乐变化多样等因素,专业的基于嵌入式的音乐识别产品至今很少而且不完善,在音乐识别这个新领域,由于其环境和行业的特殊性,需要专门进行开发,以适应社会需要。
本文设计并实现了一种基于TMS320VC5402DSP的嵌入式音乐识别系统。详细阐述了嵌入式音乐识别算法的详细设计与实现,研究了音乐语言的特点和音乐识别的侧重点,并阐述了基于音乐信号特色的语音处理及识别方法;针对音乐信号中的毛刺干扰,提出了曲线整形的思想,消除了音乐信号中的毛刺;针对音乐信号端点检测困难的特点,利用多频段能量曲线分割结合过零率来实现端点准确检测;针对音高提取运算量大且容易受共振峰影响的特点,利用线性预测残差的方法对传统的AMDF算法进行了改进并提取出了音高,在实际实现时,优化了AMDF算法,减少了计算量;为了得到较好的特征参数,通过求取梅尔频标倒谱系数的方法,分别提取了模板信号特征参数和待测信号特征参数;为了提高识别率,针对传统DTW算法的缺陷,采用了放宽端点和声刺激法改进了传统的DTW算法的性能并进行了仿真试验,使音乐识别率得到明显提高;在音高、节奏评分时,针对对位评分的缺点,采取了动态调整的方法提高了评分的准确度。
在硬件实现上,详细阐述了基于TMS320VC5402DSP的嵌入式音乐识别系统的各部分硬件设计,在软件开发上,给出了嵌入式音乐识别系统软件设计的各部分流程,并对各部分进行了仿真试验,给出了仿真结果,并分别对声乐和器乐这两种音乐信号进行了模板特征参数提取及其与待测信号进行匹配识别,试验结果表明:对音乐信号的识别精度在96%以上,成功实现了对音乐的音高、唱名、节奏的识别,满足了实际应用的需求。
Music is an art. Music recognition is an embranchment of the speech recognition, it is a crossing of the science and the art. Because the music signal is very special,it is a ramdon signal, and the music theory is very complex, the products based on the embedded music recognition is a fat lot and with faultiness. In this new field,because of it’s particularity,often need specially developing,in order to meet the needs of the society.
In this paper, we designed a music recognition system based on TMS320VC5402 DSP, and make it come true. Firstly, we particularly explained the algorithmic of the music recognition. Then, we made a study of the music characteristic and the music recognition methods. As for the burrs of the music signal, we put forward a curve plastic method to eliminate the burrs. Considering the difficulties of detecting the point of the music speech, we made use of the multi-frequency energy curve to detect the end-point of the music signal with the crossing zeros rate. As for the disadvantages of the large operation and influence of the formant, we improved the AMDF theory with the linear prediction algorithmic to detect the error. In order to obtain the characteristic parameter of the music signal,wo calculate the MFCC parameter to obtain the template and the pending signal characteristic parameter. In order to improve the rate of the recognition, considering the disadvantages of the DTW algorithmic, we find a new method to improved the DTW algorithmic by broadening the point of the music signal and made simulation experimentation; As for the disadvantages of the contraposition grade to the pitch, cadent and sing name, we find a method to dynaic adjust the results of the recognition to improve the accuracy of the grade.
As for the realization of hardware, the thesis depicts the realization of every part of music recognition system based on the TMS320VC5402 in detail; as for the development of software, the thesis gives the software design flow chart of the music recognition system, simulates the basic theory with MATLAB language and gives the simulation results. Well, with the characteristic parameters of the vocality and the instrumental music, we can recognize the input digit music speech successfully and put forward it’s pitch, cadent, and sing name. The result is comform that the music recognition based on the TMS320VC5402 is run well and the accuracy reaches 96 percent.and it can meet the needs of the practicality application.
本文设计并实现了一种基于TMS320VC5402DSP的嵌入式音乐识别系统。详细阐述了嵌入式音乐识别算法的详细设计与实现,研究了音乐语言的特点和音乐识别的侧重点,并阐述了基于音乐信号特色的语音处理及识别方法;针对音乐信号中的毛刺干扰,提出了曲线整形的思想,消除了音乐信号中的毛刺;针对音乐信号端点检测困难的特点,利用多频段能量曲线分割结合过零率来实现端点准确检测;针对音高提取运算量大且容易受共振峰影响的特点,利用线性预测残差的方法对传统的AMDF算法进行了改进并提取出了音高,在实际实现时,优化了AMDF算法,减少了计算量;为了得到较好的特征参数,通过求取梅尔频标倒谱系数的方法,分别提取了模板信号特征参数和待测信号特征参数;为了提高识别率,针对传统DTW算法的缺陷,采用了放宽端点和声刺激法改进了传统的DTW算法的性能并进行了仿真试验,使音乐识别率得到明显提高;在音高、节奏评分时,针对对位评分的缺点,采取了动态调整的方法提高了评分的准确度。
在硬件实现上,详细阐述了基于TMS320VC5402DSP的嵌入式音乐识别系统的各部分硬件设计,在软件开发上,给出了嵌入式音乐识别系统软件设计的各部分流程,并对各部分进行了仿真试验,给出了仿真结果,并分别对声乐和器乐这两种音乐信号进行了模板特征参数提取及其与待测信号进行匹配识别,试验结果表明:对音乐信号的识别精度在96%以上,成功实现了对音乐的音高、唱名、节奏的识别,满足了实际应用的需求。
Music is an art. Music recognition is an embranchment of the speech recognition, it is a crossing of the science and the art. Because the music signal is very special,it is a ramdon signal, and the music theory is very complex, the products based on the embedded music recognition is a fat lot and with faultiness. In this new field,because of it’s particularity,often need specially developing,in order to meet the needs of the society.
In this paper, we designed a music recognition system based on TMS320VC5402 DSP, and make it come true. Firstly, we particularly explained the algorithmic of the music recognition. Then, we made a study of the music characteristic and the music recognition methods. As for the burrs of the music signal, we put forward a curve plastic method to eliminate the burrs. Considering the difficulties of detecting the point of the music speech, we made use of the multi-frequency energy curve to detect the end-point of the music signal with the crossing zeros rate. As for the disadvantages of the large operation and influence of the formant, we improved the AMDF theory with the linear prediction algorithmic to detect the error. In order to obtain the characteristic parameter of the music signal,wo calculate the MFCC parameter to obtain the template and the pending signal characteristic parameter. In order to improve the rate of the recognition, considering the disadvantages of the DTW algorithmic, we find a new method to improved the DTW algorithmic by broadening the point of the music signal and made simulation experimentation; As for the disadvantages of the contraposition grade to the pitch, cadent and sing name, we find a method to dynaic adjust the results of the recognition to improve the accuracy of the grade.
As for the realization of hardware, the thesis depicts the realization of every part of music recognition system based on the TMS320VC5402 in detail; as for the development of software, the thesis gives the software design flow chart of the music recognition system, simulates the basic theory with MATLAB language and gives the simulation results. Well, with the characteristic parameters of the vocality and the instrumental music, we can recognize the input digit music speech successfully and put forward it’s pitch, cadent, and sing name. The result is comform that the music recognition based on the TMS320VC5402 is run well and the accuracy reaches 96 percent.and it can meet the needs of the practicality application.
引文
[1] 马西平.音乐基础与欣赏[M].西安交通大学出版社.1999:1-49
[2] 何湘智.语音识别的研究与发展[J].计算机与现代化,2002:12-55;
[3] 胡航.语音信号处理[M].哈尔滨工业大学出版社,2000:20-88;
[4] 赵力.语音信号处理[M].机械工业出版社,2003:35-76;
[5] 徐静波,冉崇森.语音线性预测技术新探[J].计算机工程与科学.2004(5):50-52;
[6] 胡光锐.语音处理与识别[M].上海:上海科技文献出版社,1994:44-96;
[7] 蔡莲红 ,黄德智 ,蔡锐.现代语音技术基础与应用 [M].北京 :清华大学出版社,2003:35-78;
[8] 秦静,周明全,王醒策等.基于动态分割和加权综合匹配的音乐检索算法[J].计算机工程.2007,7(13):194-199;
[9] 刘 丹 , 张 乃 尧 , 朱 汉 城 , 音 乐 特 征 识 别 综 述 [J]. 计 算 机 工 程 与 应用.2002,7(3):74-77;
[10] 卢坚,陈毅松,孙正兴等.语音/音乐自动分类中的特征分析[J].计算机辅助设计与图像学学报.2002,3(3):233-236;
[11] 金毅,黄敏.给予旋律的音乐检索[J].情报学报.2003,6(3):297-299
[12] 李 扬, 吴亚栋, 刘宝龙. 一种新的近似旋律匹配方法及其在哼唱检索系统中的应用[J].计算机研究与发展,2003,40(11):1554-1560
[13] 冯雅中,庄越挺,潘云鹤.一种启发式的用哼唱检索音乐的层次化方法[J].计算机研究与发展,2004,41(2):333-339;
[14] H.Katayose, T Fukuoka,K Takami et al. Expression extraction in virtuoso music performances. Pattern Recongnition,1990;9(1):780-784;
[15] Margaret L Jognson. Toward an expert system for expressive musical performance. computer,1991;24(7):30-34;
[16] 万春.基于DTW的语音识别应用系统研究与实现[J].集美大学学报(自然科学版).2002,7(2):104-108;
[17] 王炳锡,屈丹,彭煊.实用语音识别基础[M].国防工业出版社,2005:26-144;
[18] 陈斐利. 汉语连续语音识别中的动态特性建模方法研究[J].上海交通大学学报.2002,7(3):35-39;
[19] 梁文彬.嵌入式音乐识别系统研究及实现[J].微计算机信息,2008,01(05):4-6;
[20] Speech at 8kbit/s Using Conjugate-structure Algebraic-code-excited Linear Prediction(CS-ACELP)1996,Anex A : reduced complex 8kbit/s CS-ACELP Speech codec,1996,67-70;
[21] 江 官 星 , 王 建 英 . 一 种 改 进 的 检 测 语 音 端 点 的 方 法 [J]. 微 计 算 机 信息.2006,6(3):138-139;
[22] 何方,朱杰,郁桦.一种语音信号端点检测方法及其在DSP上的实现[J].微型电脑应用,2002(5):49-52;
[23] 戴 明 桢 周 建 江 . TMS320VC54XP DSP 设计 [M]. 北 京 航 空 航 天 大 学 出 版社.2001:8-96;
[24] 胡广书 .数字信号处理理论、算法与实现[M].北京 :清华大学出版社 .2003: 303-307;
[25] 谭浩强.C语言程序设计[M].北京:清华大学出版社.1997:101-136;
[26] 孙 恺 , 容 太 平 . 基 于 TMS320VC5402 的 语 音 识 别 模 块 [M]. 电 子 产 品 世界.2002,3:29-31;
[27] 刘益成.TMS320C54xDSP应用程序设计与开发[M].北京:北京航空航天大学出版社,2002:75-98;
[28] Ahmed, N Natarajian ,T.Discrete Consine Transforms.:IEEE,1974,23:90-93
[29] Bieniek,A,Moga,A. An Efficient Watershed Algorithm Based on Connected Compoents .:Pattern Recongnition,2000,33(6):907-916
[30] 郑红,吴冠.TMS320C54xDSP应用系统设计[M].北京:北京航空航天大学出版社,2002:73-84;
[31] 李 虎 生 , 刘 加 等 . 高 性 能 汉 语 数 码 语 音 识 别 算 法 [J]. 清 华 大 学 学 报 ,2000,40(39):32-34;
[32] 易克初,田斌,付强.语音信号处理[M].国防工业出版社,2004:65-98;
[33] 蔡 莲 红 , 黄 德 智 , 蔡 锐 一 . 现 代 语 音 技 术 基 础 与 应 用 [M]. 清 华 大 学 出 版社,2003:12-14;
[34] 李虎生.汉语数码串语音识别及说话人自适应:〔硕士学位论文〕.北京:清华大学1998:34-45;
[35] 李须真,李虎生,刘润生,汉语数码语音识别算法在定点DSP上的实现[M].清华大学出版社.2003:55-57;
[36] 张 仁 志 , 崔 慧 娟 . 基 于 短 时 能 量 的 语 音 端 点 检 测 算 法 研 究 [J]. 电 声 技 术2005,7(3):52-54;
[37] 杨大利,徐明星,吴文虎.语音识别中一种新的特征参数选择方法[J].清华大学学报,2003,43(1):79-82;
[38] 何强,何英.MATLAB扩展编程[M].北京: 清华大学出版社,2002: 290-372;
[39] 飞思科技产品研发中心,MATLAB6.5辅助优化计算与设计[M].电子工业出版社,2003.1-45;
[40] 田泽,嵌入式系统开发与应用教程[M].北京航空航天大学出版社,2005:89-92
[41] 孙恒,李春.嵌入式语音识别系统的研究[J].计算机与现代化,2003,1(6):23-25
[42] 李晶皎.嵌入式语音技术及凌阳16位单片机应用[M].北京航空航天大学出版社.2003:1-10;
[43] 李玉贤.基于SPCE061A单片机的语音识别系统的研究:〔硕士学位论文].东北:东北农业大学.2004.6:12-24;
[44] 方敏,浦剑涛,李成荣,台宪青.嵌入式语音识别系统的研究和实现[J].中文信息学报.2004:24-26;
[45] L.R.Rabiner et, An algorithm for determing the endoints of isolated uterance, Bell Syst,Tech 1975:54-55;
[46] 孙恒,李春.嵌入式语音识别系统的研究[J].计算机与现代.2003(5):12-13;
[47] 张永,陈天麟.C/C++语言硬件程序设计-基于TMS320C5000系列DSP[M].西安电子科技大学出版社:33-35;
[48] 李晶皎, 嵌入式语音技术及凌阳16 位单片机应用[M].北京航空航天大学出版社.2003:213-214;
[49] 清 源 计 算 机 工 作 室 .Protel99SE 电 路 设 计 与 仿 真 [M]. 机 械 工 业 出 版社.2003:59-78;
[50] L.R.Rabiner,A .Bergh, J.G.Wilpon. An Embedded Word Training Procedure for Connected Digit Recognition.IEEE,1982:1621-1624;
[51] KhlerJ, Multilingual phone models for vocabulary-independent speech recognition tasks[J], Speech Communication.2001,35(1-2):21-30;
[52] Lawrence Rabiner.Biing-Hwang Juang,Fundamentals of speech recognition,Be ijing,Tsing hua University Press. 1999:59-61;
[53] Centeno,J.A.s,Haertel,V. An Adaptive Image Enhancement Algorithm.: Pattern recog.:1997,30(7):1183-1189
[54] Chang,T. Texture Analysis and Classfication with Tree-Strctures Wavelet Transforma.:IEEE,1993,3(4):429-441
[2] 何湘智.语音识别的研究与发展[J].计算机与现代化,2002:12-55;
[3] 胡航.语音信号处理[M].哈尔滨工业大学出版社,2000:20-88;
[4] 赵力.语音信号处理[M].机械工业出版社,2003:35-76;
[5] 徐静波,冉崇森.语音线性预测技术新探[J].计算机工程与科学.2004(5):50-52;
[6] 胡光锐.语音处理与识别[M].上海:上海科技文献出版社,1994:44-96;
[7] 蔡莲红 ,黄德智 ,蔡锐.现代语音技术基础与应用 [M].北京 :清华大学出版社,2003:35-78;
[8] 秦静,周明全,王醒策等.基于动态分割和加权综合匹配的音乐检索算法[J].计算机工程.2007,7(13):194-199;
[9] 刘 丹 , 张 乃 尧 , 朱 汉 城 , 音 乐 特 征 识 别 综 述 [J]. 计 算 机 工 程 与 应用.2002,7(3):74-77;
[10] 卢坚,陈毅松,孙正兴等.语音/音乐自动分类中的特征分析[J].计算机辅助设计与图像学学报.2002,3(3):233-236;
[11] 金毅,黄敏.给予旋律的音乐检索[J].情报学报.2003,6(3):297-299
[12] 李 扬, 吴亚栋, 刘宝龙. 一种新的近似旋律匹配方法及其在哼唱检索系统中的应用[J].计算机研究与发展,2003,40(11):1554-1560
[13] 冯雅中,庄越挺,潘云鹤.一种启发式的用哼唱检索音乐的层次化方法[J].计算机研究与发展,2004,41(2):333-339;
[14] H.Katayose, T Fukuoka,K Takami et al. Expression extraction in virtuoso music performances. Pattern Recongnition,1990;9(1):780-784;
[15] Margaret L Jognson. Toward an expert system for expressive musical performance. computer,1991;24(7):30-34;
[16] 万春.基于DTW的语音识别应用系统研究与实现[J].集美大学学报(自然科学版).2002,7(2):104-108;
[17] 王炳锡,屈丹,彭煊.实用语音识别基础[M].国防工业出版社,2005:26-144;
[18] 陈斐利. 汉语连续语音识别中的动态特性建模方法研究[J].上海交通大学学报.2002,7(3):35-39;
[19] 梁文彬.嵌入式音乐识别系统研究及实现[J].微计算机信息,2008,01(05):4-6;
[20] Speech at 8kbit/s Using Conjugate-structure Algebraic-code-excited Linear Prediction(CS-ACELP)1996,Anex A : reduced complex 8kbit/s CS-ACELP Speech codec,1996,67-70;
[21] 江 官 星 , 王 建 英 . 一 种 改 进 的 检 测 语 音 端 点 的 方 法 [J]. 微 计 算 机 信息.2006,6(3):138-139;
[22] 何方,朱杰,郁桦.一种语音信号端点检测方法及其在DSP上的实现[J].微型电脑应用,2002(5):49-52;
[23] 戴 明 桢 周 建 江 . TMS320VC54XP DSP 设计 [M]. 北 京 航 空 航 天 大 学 出 版社.2001:8-96;
[24] 胡广书 .数字信号处理理论、算法与实现[M].北京 :清华大学出版社 .2003: 303-307;
[25] 谭浩强.C语言程序设计[M].北京:清华大学出版社.1997:101-136;
[26] 孙 恺 , 容 太 平 . 基 于 TMS320VC5402 的 语 音 识 别 模 块 [M]. 电 子 产 品 世界.2002,3:29-31;
[27] 刘益成.TMS320C54xDSP应用程序设计与开发[M].北京:北京航空航天大学出版社,2002:75-98;
[28] Ahmed, N Natarajian ,T.Discrete Consine Transforms.:IEEE,1974,23:90-93
[29] Bieniek,A,Moga,A. An Efficient Watershed Algorithm Based on Connected Compoents .:Pattern Recongnition,2000,33(6):907-916
[30] 郑红,吴冠.TMS320C54xDSP应用系统设计[M].北京:北京航空航天大学出版社,2002:73-84;
[31] 李 虎 生 , 刘 加 等 . 高 性 能 汉 语 数 码 语 音 识 别 算 法 [J]. 清 华 大 学 学 报 ,2000,40(39):32-34;
[32] 易克初,田斌,付强.语音信号处理[M].国防工业出版社,2004:65-98;
[33] 蔡 莲 红 , 黄 德 智 , 蔡 锐 一 . 现 代 语 音 技 术 基 础 与 应 用 [M]. 清 华 大 学 出 版社,2003:12-14;
[34] 李虎生.汉语数码串语音识别及说话人自适应:〔硕士学位论文〕.北京:清华大学1998:34-45;
[35] 李须真,李虎生,刘润生,汉语数码语音识别算法在定点DSP上的实现[M].清华大学出版社.2003:55-57;
[36] 张 仁 志 , 崔 慧 娟 . 基 于 短 时 能 量 的 语 音 端 点 检 测 算 法 研 究 [J]. 电 声 技 术2005,7(3):52-54;
[37] 杨大利,徐明星,吴文虎.语音识别中一种新的特征参数选择方法[J].清华大学学报,2003,43(1):79-82;
[38] 何强,何英.MATLAB扩展编程[M].北京: 清华大学出版社,2002: 290-372;
[39] 飞思科技产品研发中心,MATLAB6.5辅助优化计算与设计[M].电子工业出版社,2003.1-45;
[40] 田泽,嵌入式系统开发与应用教程[M].北京航空航天大学出版社,2005:89-92
[41] 孙恒,李春.嵌入式语音识别系统的研究[J].计算机与现代化,2003,1(6):23-25
[42] 李晶皎.嵌入式语音技术及凌阳16位单片机应用[M].北京航空航天大学出版社.2003:1-10;
[43] 李玉贤.基于SPCE061A单片机的语音识别系统的研究:〔硕士学位论文].东北:东北农业大学.2004.6:12-24;
[44] 方敏,浦剑涛,李成荣,台宪青.嵌入式语音识别系统的研究和实现[J].中文信息学报.2004:24-26;
[45] L.R.Rabiner et, An algorithm for determing the endoints of isolated uterance, Bell Syst,Tech 1975:54-55;
[46] 孙恒,李春.嵌入式语音识别系统的研究[J].计算机与现代.2003(5):12-13;
[47] 张永,陈天麟.C/C++语言硬件程序设计-基于TMS320C5000系列DSP[M].西安电子科技大学出版社:33-35;
[48] 李晶皎, 嵌入式语音技术及凌阳16 位单片机应用[M].北京航空航天大学出版社.2003:213-214;
[49] 清 源 计 算 机 工 作 室 .Protel99SE 电 路 设 计 与 仿 真 [M]. 机 械 工 业 出 版社.2003:59-78;
[50] L.R.Rabiner,A .Bergh, J.G.Wilpon. An Embedded Word Training Procedure for Connected Digit Recognition.IEEE,1982:1621-1624;
[51] KhlerJ, Multilingual phone models for vocabulary-independent speech recognition tasks[J], Speech Communication.2001,35(1-2):21-30;
[52] Lawrence Rabiner.Biing-Hwang Juang,Fundamentals of speech recognition,Be ijing,Tsing hua University Press. 1999:59-61;
[53] Centeno,J.A.s,Haertel,V. An Adaptive Image Enhancement Algorithm.: Pattern recog.:1997,30(7):1183-1189
[54] Chang,T. Texture Analysis and Classfication with Tree-Strctures Wavelet Transforma.:IEEE,1993,3(4):429-441