基于肤色和模板匹配的人脸检测
|
摘要
基于生物特征的身份认证技术近年来发展迅速，这其中，利用人脸特征进
行身份验证又是最自然直接的手段，因此计算机人脸识别技术是生物特征最为活
跃最有挑战性的领域之一。而人脸检测又是人脸识别过程中的必要前期工作。我
们不仅要考虑人脸在各种复杂的背景中，不同的方向、角度、尺度等情况下所展
现出来的不同表象，而且还要考虑到采集条件特别是光照条件包括光源的方向、
明暗、色彩等对人脸的检测的影响。为了较好的解决这些问题，我们研究并改进
了借助于人脸的肤色特征并采用模板匹配的方法，对不同光照环境下复杂背景的
多角度多人脸图形的检测算法。首先，我们对图片进行彩色补偿和亮度补偿，从
而校正光照环境不同对结果的影响；其次，我们对人脸肤色在不同色彩空间的分
布特征进行了分析比较，选取了性价比较高的 r-g 空间，用高斯模型构建了不同
角度的人脸相似度模板及图形中的肤色点选取，并对选取出来的肤色点采用 4-
连通算法求得连通区域；再次，我们根据人面部的几何特征，对人脸不同区域设
定不同的权重，从而构造人脸的权值矩阵；最后，利用模糊数学的方法构建隶属
函数，用模板和权值矩阵对连通区域进行多尺度下的检索，求其隶属度，并根据
隶属度最终判定其是否是人脸区域。
The technology of identity authentication that bases on biological characters is
developing quickly. Because using face character is a direct way to authenticate an
identity, the technology of face recognition is the most active and challenging among
these biological characters. And face detection is a necessary fore work of it. We need
consider the infections not only on complex backgrounds, different size and different
points of view but also on the conditions of collections, especially the direction, the
luminance and the hue of a lamp-house. In order to solve these problems, we have
developed the method based on complexion and template matching. Firstly we can
waken the infections of the lamp-house through color and brightness compensation on
an image; Secondly we select r-g color space to build the likeness models of faces in
different directions using Gauss Model and mark complexional points out, then
connect these points by 4-connection method; Thirdly we build the weight matrixes of
likeness models on the geometric characters of faces; Lastly using fuzzy algorithm,
we can get a membership function and calculate the membership by the models and
weight matrixes in different size. Then we can make a decision that the area including
face or not by the membership we have calculated.
行身份验证又是最自然直接的手段，因此计算机人脸识别技术是生物特征最为活
跃最有挑战性的领域之一。而人脸检测又是人脸识别过程中的必要前期工作。我
们不仅要考虑人脸在各种复杂的背景中，不同的方向、角度、尺度等情况下所展
现出来的不同表象，而且还要考虑到采集条件特别是光照条件包括光源的方向、
明暗、色彩等对人脸的检测的影响。为了较好的解决这些问题，我们研究并改进
了借助于人脸的肤色特征并采用模板匹配的方法，对不同光照环境下复杂背景的
多角度多人脸图形的检测算法。首先，我们对图片进行彩色补偿和亮度补偿，从
而校正光照环境不同对结果的影响；其次，我们对人脸肤色在不同色彩空间的分
布特征进行了分析比较，选取了性价比较高的 r-g 空间，用高斯模型构建了不同
角度的人脸相似度模板及图形中的肤色点选取，并对选取出来的肤色点采用 4-
连通算法求得连通区域；再次，我们根据人面部的几何特征，对人脸不同区域设
定不同的权重，从而构造人脸的权值矩阵；最后，利用模糊数学的方法构建隶属
函数，用模板和权值矩阵对连通区域进行多尺度下的检索，求其隶属度，并根据
隶属度最终判定其是否是人脸区域。
The technology of identity authentication that bases on biological characters is
developing quickly. Because using face character is a direct way to authenticate an
identity, the technology of face recognition is the most active and challenging among
these biological characters. And face detection is a necessary fore work of it. We need
consider the infections not only on complex backgrounds, different size and different
points of view but also on the conditions of collections, especially the direction, the
luminance and the hue of a lamp-house. In order to solve these problems, we have
developed the method based on complexion and template matching. Firstly we can
waken the infections of the lamp-house through color and brightness compensation on
an image; Secondly we select r-g color space to build the likeness models of faces in
different directions using Gauss Model and mark complexional points out, then
connect these points by 4-connection method; Thirdly we build the weight matrixes of
likeness models on the geometric characters of faces; Lastly using fuzzy algorithm,
we can get a membership function and calculate the membership by the models and
weight matrixes in different size. Then we can make a decision that the area including
face or not by the membership we have calculated.
引文
1. Hanson B.A. and Applehaum T.H., Robust Speaker-independent Word
Recognition Using Static, Dynamic and Acceleration Features:
Experiments with Lombard and Noisy Speech, International Conference
on Acoustics, Speech, and Signal Processing(ICASSP)， PP:857-869，
1990
2. Juang B. et al, Maximum-Likelihood Estimation for Mixture
Multivariate Stochastic Observations of Markov Chains, AT&T Technical
Journal, 64(6), July-August, 1985
3. Chellappa R, Wilson C. L. and Sirohey S. Human and machine recognition
of faces: A survey. Proceedings of the IEEE, 1995, 83(5): 705-740
4. 周杰，卢春雨，张长水，李衍达，人脸自动识别方法综述，电子学报，2000，
28（4）：102-106
5. Sung K. and Poggio T. Example-based learning for view based human face
detection. IEEE Trans. on Pattern Analysis and Machine Intelligence,
1998, 20(1): 39-51
6. Lv X.G, Zhou J, Zhang C.S. A novel algorithm for rotated human face
detection. In: Proc. IEEE Conf. on Computer Vision and Pattern
Recognition, Hilton Head Island, South Carolina, USA, 2000, 760-764
7. 卢春雨，人脸自动识别若干问题研究与系统实现，清华大学博士论文，1998
8. 卢春雨，张长水，闻方，阎平凡，基于区域特征的快速人脸检测法，清华大
学学报（自然科学版），1999，939（1）：101-105
9. 梁路宏，艾海舟，何克忠，基于多模板匹配的单人脸检测，中国图像图形学
报，1999，4A(10)： 823-830
10.Ai H. Z., Liang L. H., Xu G. Y. A general framework for face detection.
In: Tieniu Tan, Yuanchun Shi and Wen Gao, 3rd Conf. on Multimodal
Interfaces, Lecture Notes in Computer Science, Vol.1948,
Springer-Verlag, 2000, 119-126
11.Miao J., Yin B. C., Wang K. Q., et al. A hierachical multiscale and
41
参考文献
multiangle system for human face detection in a complex background
using gravity-center template. Pattern Recognition, 1999, 32(10):
1237-1248
12.刑昕，汪孔桥，沈兰荪. 基于器官跟踪的人脸实时跟踪方法. 电子学报，
2000，28(6)：29-31
13.梁路宏，艾海舟，徐光祐，张钹，基于多关联模板匹配与人工神经网确认的
人脸检测，电子学报，29（6）：744-747，2001
14.V. Vapnik and A. Lerner. Pattern recognition using generalized
portrait method. Automation and Remote Control, 24, 1963
15.M. Pontil and A. Verri. Properties of support vector machines. Neural
Computation, 10:955 -- 974, 1997
16.Hany Farid Siwei Lyu. Detecting hidden messages using higher-order
statistics and support vector machines, 2002
17.Natravali，A.N.and Haskell，B.G.. Digital Pictures-Representation and
Compression. Plenum Press，New York and London，1988
18.ISO/IEC JTC 1. DIS 10918-1 ， Digital Compression and Coding of
Continuous-Tone still imgc5 Part 1，Requirements and Guidelines. July
1992
19.Wallace ， G. ， The JPEG still Picture Compression Standard.
Communications of the ACM，Vol.34，No.4，Apr.1991
20.林福宗, 陆 达 编著. 多媒体与 CD-ROM. 北京：清华大学出版社，1995.3，
338-346
21.Ragael C. Gonzalez, Richard E. Woods,Digital Image Processing,1987
22.Augustine H. Gray, John D.Markel, Distance Measures for speech
processing, IEEE Trans. Acoust,Speech,Signal Processing, Vol.Assp-24,
p.p.380-391,October 1976
23.李元泰，WINDOWS 字型图形档案格式深入解析，儒林书局，1996，32-40
24.胡成发 著，印刷色彩与色度学，印刷工业出版社，1993，72-77
25.汤顺青 主编，色度学，北京理工大学出版社，1990，23-30
26.汪兆良 编，印刷色彩学，上海交通大学出版社，1991，43-50
27.张家广 编，计算机图形学（第三版），清华大学出版社，1998，510-520
42
参考文献
28.R.-L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, Face detection in color
images, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.
24, no. 5, pp. 696-706, May 2002
29.陶霖密，彭振云，徐光祐，人体的肤色特征，软件学报，12（1）：1032-1041，
2001
30.康学雷等，一种基于肤色和模板的人脸检测方法，红外与毫米波学报，
Vol.19， No.3, June 2000
31.张洪明，赵德斌，高文，基于肤色模型、神经网络和人脸结构模型的平面旋
转人脸检测，计算机学报，25（11）：1250-1256，2002
32.J.C. Terrillon, M. N. Shirazi, H. Fukamachi, and S. Akamatsu,
Comparative performance of different skin chrominance models and
chrominance spaces for the automatic detection of human faces in color
images, Proc. IEEE Int'l Conf. on Face and Gesture Recognition, pp.
54-61, 2000
33.雷鸣、张军英、董济扬，一种可变光照条件下的肤色检验算法，计算机工程
与应用，2002.24，123-125
34.张宏林，Visual C++数字图像模式识别技术及工程实践，人民邮电出版社，
365-366，2003
35.M. J Jones and J. M. Rehg, Statistical color models with application
to skin detection, Technical report, Cambridge Res. Lab., Compaq
Comput. Corp., 1998
36.张兆礼等 著，现代图像处理技术及 Matlab 实现，人民邮电出版社，240-245，
2001
37.章毓晋 著，图像分割，科学出版社，49-53，2001
38.张兆礼等 著，现代图像处理技术及 Matlab 实现，人民邮电出版社，128-141，
2001
39.章毓晋 著，图像分割，科学出版社，63-64，2001
40.苏剑波、徐波 编，应用模式识别技术导论——人脸识别与语音识别，上海
交通大学出版社，2001，31-39
41.荩垆 著，实用模糊数学，科学技术文献出版社，12-23，1989
42.葛苏林 编，模糊子集 模糊关系 模糊映射，北京师范大学出版社，8-20，
43
参考文献
1985
43.李洪兴等 编 ，工程模糊数学方法及应用，天津科学技术出版社，63-81，
1991
44.孙继祥等 编，现代模式识别，国防科技大学出版社，243-275，2001
Recognition Using Static, Dynamic and Acceleration Features:
Experiments with Lombard and Noisy Speech, International Conference
on Acoustics, Speech, and Signal Processing(ICASSP)， PP:857-869，
1990
2. Juang B. et al, Maximum-Likelihood Estimation for Mixture
Multivariate Stochastic Observations of Markov Chains, AT&T Technical
Journal, 64(6), July-August, 1985
3. Chellappa R, Wilson C. L. and Sirohey S. Human and machine recognition
of faces: A survey. Proceedings of the IEEE, 1995, 83(5): 705-740
4. 周杰，卢春雨，张长水，李衍达，人脸自动识别方法综述，电子学报，2000，
28（4）：102-106
5. Sung K. and Poggio T. Example-based learning for view based human face
detection. IEEE Trans. on Pattern Analysis and Machine Intelligence,
1998, 20(1): 39-51
6. Lv X.G, Zhou J, Zhang C.S. A novel algorithm for rotated human face
detection. In: Proc. IEEE Conf. on Computer Vision and Pattern
Recognition, Hilton Head Island, South Carolina, USA, 2000, 760-764
7. 卢春雨，人脸自动识别若干问题研究与系统实现，清华大学博士论文，1998
8. 卢春雨，张长水，闻方，阎平凡，基于区域特征的快速人脸检测法，清华大
学学报（自然科学版），1999，939（1）：101-105
9. 梁路宏，艾海舟，何克忠，基于多模板匹配的单人脸检测，中国图像图形学
报，1999，4A(10)： 823-830
10.Ai H. Z., Liang L. H., Xu G. Y. A general framework for face detection.
In: Tieniu Tan, Yuanchun Shi and Wen Gao, 3rd Conf. on Multimodal
Interfaces, Lecture Notes in Computer Science, Vol.1948,
Springer-Verlag, 2000, 119-126
11.Miao J., Yin B. C., Wang K. Q., et al. A hierachical multiscale and
41
参考文献
multiangle system for human face detection in a complex background
using gravity-center template. Pattern Recognition, 1999, 32(10):
1237-1248
12.刑昕，汪孔桥，沈兰荪. 基于器官跟踪的人脸实时跟踪方法. 电子学报，
2000，28(6)：29-31
13.梁路宏，艾海舟，徐光祐，张钹，基于多关联模板匹配与人工神经网确认的
人脸检测，电子学报，29（6）：744-747，2001
14.V. Vapnik and A. Lerner. Pattern recognition using generalized
portrait method. Automation and Remote Control, 24, 1963
15.M. Pontil and A. Verri. Properties of support vector machines. Neural
Computation, 10:955 -- 974, 1997
16.Hany Farid Siwei Lyu. Detecting hidden messages using higher-order
statistics and support vector machines, 2002
17.Natravali，A.N.and Haskell，B.G.. Digital Pictures-Representation and
Compression. Plenum Press，New York and London，1988
18.ISO/IEC JTC 1. DIS 10918-1 ， Digital Compression and Coding of
Continuous-Tone still imgc5 Part 1，Requirements and Guidelines. July
1992
19.Wallace ， G. ， The JPEG still Picture Compression Standard.
Communications of the ACM，Vol.34，No.4，Apr.1991
20.林福宗, 陆 达 编著. 多媒体与 CD-ROM. 北京：清华大学出版社，1995.3，
338-346
21.Ragael C. Gonzalez, Richard E. Woods,Digital Image Processing,1987
22.Augustine H. Gray, John D.Markel, Distance Measures for speech
processing, IEEE Trans. Acoust,Speech,Signal Processing, Vol.Assp-24,
p.p.380-391,October 1976
23.李元泰，WINDOWS 字型图形档案格式深入解析，儒林书局，1996，32-40
24.胡成发 著，印刷色彩与色度学，印刷工业出版社，1993，72-77
25.汤顺青 主编，色度学，北京理工大学出版社，1990，23-30
26.汪兆良 编，印刷色彩学，上海交通大学出版社，1991，43-50
27.张家广 编，计算机图形学（第三版），清华大学出版社，1998，510-520
42
参考文献
28.R.-L. Hsu, M. Abdel-Mottaleb, and A. K. Jain, Face detection in color
images, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.
24, no. 5, pp. 696-706, May 2002
29.陶霖密，彭振云，徐光祐，人体的肤色特征，软件学报，12（1）：1032-1041，
2001
30.康学雷等，一种基于肤色和模板的人脸检测方法，红外与毫米波学报，
Vol.19， No.3, June 2000
31.张洪明，赵德斌，高文，基于肤色模型、神经网络和人脸结构模型的平面旋
转人脸检测，计算机学报，25（11）：1250-1256，2002
32.J.C. Terrillon, M. N. Shirazi, H. Fukamachi, and S. Akamatsu,
Comparative performance of different skin chrominance models and
chrominance spaces for the automatic detection of human faces in color
images, Proc. IEEE Int'l Conf. on Face and Gesture Recognition, pp.
54-61, 2000
33.雷鸣、张军英、董济扬，一种可变光照条件下的肤色检验算法，计算机工程
与应用，2002.24，123-125
34.张宏林，Visual C++数字图像模式识别技术及工程实践，人民邮电出版社，
365-366，2003
35.M. J Jones and J. M. Rehg, Statistical color models with application
to skin detection, Technical report, Cambridge Res. Lab., Compaq
Comput. Corp., 1998
36.张兆礼等 著，现代图像处理技术及 Matlab 实现，人民邮电出版社，240-245，
2001
37.章毓晋 著，图像分割，科学出版社，49-53，2001
38.张兆礼等 著，现代图像处理技术及 Matlab 实现，人民邮电出版社，128-141，
2001
39.章毓晋 著，图像分割，科学出版社，63-64，2001
40.苏剑波、徐波 编，应用模式识别技术导论——人脸识别与语音识别，上海
交通大学出版社，2001，31-39
41.荩垆 著，实用模糊数学，科学技术文献出版社，12-23，1989
42.葛苏林 编，模糊子集 模糊关系 模糊映射，北京师范大学出版社，8-20，
43
参考文献
1985
43.李洪兴等 编 ，工程模糊数学方法及应用，天津科学技术出版社，63-81，
1991
44.孙继祥等 编，现代模式识别，国防科技大学出版社，243-275，2001