基于多运动目标识别的自动乘客计数技术研究
|
摘要
发展智能公共交通系统是解决城市交通问题的有效途径。自动乘客计数技术是智能公交系统中的关键技术,是自动收集乘客上下车时间和地点的最有效方法之一,对实现公交实时调度,优化公交线路和进行交通预测等有重要意义。由于我国公交上下车客流密度较大,目前国外广泛使用的自动乘客检测技术应用于我国公交客流量统计精度不高,无法满足客流信息采集的需求。
本文在介绍客流信息采集技术,深入分析现有自动乘客计数技术的应用现状基础上,提出将数字信号处理技术与数字图像处理技术应用于自动乘客计数技术中,由此建立基于多目标识别的自动乘客计数系统的系统框架,阐述系统功能模块以及系统实现的支撑技术。其中,数字信号处理技术与数字图像处理技术是实现基于多目标识别的自动乘客计数技术的前提与基础,多目标检测与跟踪计数算法是技术实现与应用的核心。
针对乘客上下车图像序列的特点,在研究和比较传统的多目标检测与跟踪算法的基础上,提出和实现了适用于上下车乘客检测与跟踪计数的算法。在运动目标检测方面,给出了两步运动目标检测算法:首先提出了一种基于块平均灰度差值的自适应运动目标存在检测算法进行运动目标存在检测;其次利用有效的图像滤波、图像分割、形态学处理方法进行运动目标提取,并提出了一种简单实用的运动目标分割方法——基于头顶图像灰度值统计的半阈值分割结合自适应阈值分割的阈值分割算法,与其它经典的图像分割算法比较,具有计算简单、分割速度快的特点。在运动目标跟踪方面,设计的基于目标特征匹配的跟踪算法对质心欧氏距离代价函数进行了改进;并利用目标的运动特性,预测目标的运动位置,以缩小目标搜索匹配的范围;建立每个被跟踪目标的“目标链”,进而建立目标的关联关系,保证跟踪的稳定性和准确性。
本文对现场采集的乘客上下车图像序列进行了大量实验,实验结果表明:基于多目标识别的自动乘客计数技术成功地实现了上下车乘客人数的自动统计,对上下车乘客人数的统计在90%以上的试验中,检测精度可达到90%以上。给出的多目标识别算法与其它算法相比,对多乘客目标进行检测与跟踪计数,在减少计算量、提高系统处理速度的同时,具有较高的精度。
Developing intelligent public traffic system (IPTS) is an effective way to resolve traffic problems. In IPTS automatic passenger counting (APC) is a crucial technology, which can be used to automatically record the number of passengers boarding and alighting at individual bus stops. This paper introduces a new passenger counting technology, which is different from existing APC and is video based capable of addressing the need for automatically counting passengers on congested transit routes with high density passenger boarding and alighting activities. Accurate ridership information obtained from APC will help monitoring transit performance and improving the planning, scheduling and operations of the service.
Based on the discussion of ridership information collection and the deeply analysis of existing APC technologies, the architecture of APC system based on multi-objects recognition is brought forward and analyzed in detail, including the module function and key technologies of system realization. Technologies of digital signal processing and digital image processing are the basis of APC, and multi-objects detecting and tracking algorithm is the essential factor to implement it.
Comparing with traditional multi-objects detecting and tracking algorithm, a simple algorithm adapted to detect and track boardings and alightings is proposed. In term of moving objects detection, two-step moving objects detection algorithm is introduced. Firstly, a new algorithm of moving objects existing detection based on difference between blocks’average value of gray scale is presented to detect whether moving objects exist. Secondly, some effective approaches are adopted to extract moving objects such as image filtering, image segmentation, morphology processing etc. Besides, a kind of effective and simple thresholding methods for image segmentation is proposed, which adopts fixed threshold associated with adaptive threshold. In term of moving objects tracking, the feature-based tracking approach is adopted and a kind of cost function is improved in the tracking and counting algorithm. Besides, moving characteristics of targets are used to predict the search areas of matching objects. And then, moving state and feature value of objects in current frame are recorded to ensure the continuity of the dynamic tracking depended on object-chain.
The APC technology based on multi-objects recognition was tested by capturing field image sequences of passengers getting on and off buses in Route 462, Chongqing,
本文在介绍客流信息采集技术,深入分析现有自动乘客计数技术的应用现状基础上,提出将数字信号处理技术与数字图像处理技术应用于自动乘客计数技术中,由此建立基于多目标识别的自动乘客计数系统的系统框架,阐述系统功能模块以及系统实现的支撑技术。其中,数字信号处理技术与数字图像处理技术是实现基于多目标识别的自动乘客计数技术的前提与基础,多目标检测与跟踪计数算法是技术实现与应用的核心。
针对乘客上下车图像序列的特点,在研究和比较传统的多目标检测与跟踪算法的基础上,提出和实现了适用于上下车乘客检测与跟踪计数的算法。在运动目标检测方面,给出了两步运动目标检测算法:首先提出了一种基于块平均灰度差值的自适应运动目标存在检测算法进行运动目标存在检测;其次利用有效的图像滤波、图像分割、形态学处理方法进行运动目标提取,并提出了一种简单实用的运动目标分割方法——基于头顶图像灰度值统计的半阈值分割结合自适应阈值分割的阈值分割算法,与其它经典的图像分割算法比较,具有计算简单、分割速度快的特点。在运动目标跟踪方面,设计的基于目标特征匹配的跟踪算法对质心欧氏距离代价函数进行了改进;并利用目标的运动特性,预测目标的运动位置,以缩小目标搜索匹配的范围;建立每个被跟踪目标的“目标链”,进而建立目标的关联关系,保证跟踪的稳定性和准确性。
本文对现场采集的乘客上下车图像序列进行了大量实验,实验结果表明:基于多目标识别的自动乘客计数技术成功地实现了上下车乘客人数的自动统计,对上下车乘客人数的统计在90%以上的试验中,检测精度可达到90%以上。给出的多目标识别算法与其它算法相比,对多乘客目标进行检测与跟踪计数,在减少计算量、提高系统处理速度的同时,具有较高的精度。
Developing intelligent public traffic system (IPTS) is an effective way to resolve traffic problems. In IPTS automatic passenger counting (APC) is a crucial technology, which can be used to automatically record the number of passengers boarding and alighting at individual bus stops. This paper introduces a new passenger counting technology, which is different from existing APC and is video based capable of addressing the need for automatically counting passengers on congested transit routes with high density passenger boarding and alighting activities. Accurate ridership information obtained from APC will help monitoring transit performance and improving the planning, scheduling and operations of the service.
Based on the discussion of ridership information collection and the deeply analysis of existing APC technologies, the architecture of APC system based on multi-objects recognition is brought forward and analyzed in detail, including the module function and key technologies of system realization. Technologies of digital signal processing and digital image processing are the basis of APC, and multi-objects detecting and tracking algorithm is the essential factor to implement it.
Comparing with traditional multi-objects detecting and tracking algorithm, a simple algorithm adapted to detect and track boardings and alightings is proposed. In term of moving objects detection, two-step moving objects detection algorithm is introduced. Firstly, a new algorithm of moving objects existing detection based on difference between blocks’average value of gray scale is presented to detect whether moving objects exist. Secondly, some effective approaches are adopted to extract moving objects such as image filtering, image segmentation, morphology processing etc. Besides, a kind of effective and simple thresholding methods for image segmentation is proposed, which adopts fixed threshold associated with adaptive threshold. In term of moving objects tracking, the feature-based tracking approach is adopted and a kind of cost function is improved in the tracking and counting algorithm. Besides, moving characteristics of targets are used to predict the search areas of matching objects. And then, moving state and feature value of objects in current frame are recorded to ensure the continuity of the dynamic tracking depended on object-chain.
The APC technology based on multi-objects recognition was tested by capturing field image sequences of passengers getting on and off buses in Route 462, Chongqing,
引文
[1] Danielk Boyle. A Synthesis of Transit Practice: Passenger Counting Technologies and Procedures. Transit Cooperative Research Program, 1998
[2] Lawrence. G, Reuter. A Worldwide Survey of Transportation Agency Practices: Passenger Counting and Service Monitoring. New York City Transit, 2003
[3] Antonio Alboi. Real-time High Density People Counter Using Morphological Tools. IEEE Transactions on Intelligent Transportation Systems, Vol. 2, No.4, pp204-218, Dec. 2001
[4] 杨赛霓. 城市公共交通的问题与对策及 AVL 的运用前景. 城市研究. 2000(2).
[5] 张雪梅. 试论我国公共交通的现状及发展策略. 山西高等学校社会科学学报. 2001, 13(12).
[6] 高潮,张春详. 浅论公共交通在城市发展中的地位和作用. 城市研究. 1998(2)
[7] Thou-ho Chen, Che–Wei Hsu. An Automatic Bi-directional Passing-People Counting Method Based on Color Image Processing. Proceedings, IEEE 37th Annual International Carnahan Conference on Security Technology, pp200-207, 2003
[8] L. Khoudour, J. P. Depairs, L. Duvieubourg. Linear Image Sequence Analysis for Passenger Counting in Public Transport. IEE International Conference on Public Transport Electronics Systems, pp100-104, May, 1996
[9] K. Terada, D. Yoshida, S. Oe, J. Yamaguchi. A Counting Method of the Number of Passing People Using a Stereo Camera. IEEE International Conference on Image Processing, Vol. 2, pp338-342, Oct. 1996
[10] Jung Soh, Byung Tae Chun, Min Wang. Analysis of Road Image Sequences for Vehicle Counting. IEEE International Conference on Intelligent Systems for the 21st Century, Vol. 1, pp679-683, Oct. 1995
[11] Anurag Mittal, Larry Davis. Unified Multi-camera Detection and Tracking Using Region Matching. Proceedings, IEEE Workshop on Multi-object Tracking. pp3-10, JULY, 2001
[12] 章毓晋.图像分割. 北京: 科学出版社, 2001,2.
[13] 杨枝灵, 王开等. Visual C++ 数字图像获取、处理及实践应用. 北京: 人民邮电出版社,2003 年 1 月
[14] 高玉龙.公交计数系统设计与实现.应用科技.2004.3, 第 31 卷第 3 期
[15] 屈建中,张军,鲁墨武. 长途客车流量监测装置,测控技术.1994, 第 13 卷第 3 期
[16] 金凌,黄敬东. HDGJ-100A 型智能乘客计数仪.城市公用事业. 1999, 第 13 卷第 5 期
[17] 汪亚明. 基于动态图像序列的自动扶梯客流量的测量. 华北工学院测试技术学报.2002,16(1)
[18] 王栓,艾海舟,何克忠. 基于差分图像的多运动目标的检测与跟踪. 中国图像图形学报,1999 年 6 月,第 4 卷(A 版)
[19] 伏思华,张小虎. 基于序列图像的运动目标实时检测方法. 光学技术. 2004 年 3 月, 第 30卷第 2 期
[20] A. Branca, M. Leo, G. Attolico, A. Distance. People Detection in Dynamic Images. IEEE, 2002
[21] N. Otsu. A threshold selection method from gray-level histograms. IEEE Trans System, Man and Cybernetics, 1979, 9(1): pp62-66
[22] 朱明,鲁剑锋,赵建,秦于华. 基于 TMS320C6202 DSP 的实时数字图像处理系统的设计. 光学精密工程, 2003 年 10 月, 第 11 卷第 5 期
[23] 谢树煜,陈倩,朱虹. 实时视频对象识别与计数系统的模型和算法设计. 清华大学学报(自然科学版), 2001 年第 41 卷第 7 期
[24] 林洪文,涂丹,李国辉等. 基于减背景技术的运动目标检测方法研究. 国防科技大学学报,2003 年,第 25 卷第 3 期
[25] Shoichi Araki, Takashi Matsuoaka, Naokazu Yokoya. Real-time tracking of multiple moving objects contours in a moving camera image sequence. IECIE Trans Inf & Syst,2000,E83-D(7)
[26] T Olson, F Brill.Moving Objects Detection and Event Recognition Algorithms for Smart Cameras. Proc DARPA Image Understanding Workshop, May 1997
[27] Barron J, Fleet D, Beachemin S. Performance of optical flow techniques. International Journal of Computer Vision, 1994, 12(1): pp42-77
[28] Zoran Nikolic C6000 Application Team.How to Begin Develop With the TMS320C6205 DSP. TEXAS INSTRUMENTS. 2001.8
[29] J. P. Deparis, L. Khoudour, B. Meunier, L. Duvieubourg. A device for counting passengers making use of two active linear cameras: Comparison of algorithms. IEEE,1996
[30] 张文杰,戚飞虎,江卓军. 实时视频监控系统中运动目标检测和跟踪的一种实用方法. 上海交通大学学报. 2002 年 12 月,第 36 卷第 12 期
[31] 胡俊,苏祥芳,刘立海,沈芸,管鲍,王延平. 图像序列运动检测算法的研究及其应用. 武汉大学学报(自然科学版),2000 年 10 月,第 46 卷第 5 期
[32] 刘亚,艾海舟,徐光佑. 一种基于背景模型的运动目标检测与跟踪算法. 信息与控制. 2002年 8 月,第 31 卷第 4 期
[33] 李曦,曹广益,付晓薇,朱新坚. 基于实时图像序列的行人跟踪计数方法. 计算机仿真. 2005年 2 月,第 22 卷第 2 期
[34] 张嫣,姚耀文,唐华松. 运动图像序列中多目标跟踪的研究与实现. 计算机应用研究. 2002年第 1 期
[35] 高成英,刘宁,罗笑南. 基于序列图像的实时人流检测与识别算法研究. 计算机研究与发展. 2005,42(3)
[36] 朱晓宏,丁卫东,孙泰屹. 公交客流信息采集技术研究. 城市车辆. 2005 年第 1 期.
[37] 陈冬岚,刘南京,余玲玲. 几种图像分割阈值选取方法的比较与研究. 电气技术与自动化. 2003 年 2 月第 1 期, pp77-80
[38] 景晓军,蔡安妮,孙景鳌. 一种基于二维最大类间方差的图像分割算法. 通信学报. 2001 年4 月第 22 卷第 4 期
[39] 芦蓉,沈毅. 一种改进的二维直方图的图像阈值分割方法. 系统工程与电子技术. 2004 年10 月第 26 卷第 10 期
[40] 夏正良等. 一种新的二维最大熵图像阈值分割方法. 南京航空航天大学学报. 1994 年 11月第 26 卷增刊
[41] 周德龙,潘泉,张洪才,戴冠中. 最大熵阈值处理算法. 软件学报. 2001 年 12 月第 12 卷第 9期
[42] 韩思奇,王蕾. 图像分割的阈值法综述. 系统工程与电子技术. 2002 年第 24 卷第 6 期
[43] I Haritaoglu, D Harwood, L S Davis. W4: Real-time Surveillance of People and their Activities. IEEE Trans PAM I, 2000, 22 (8): pp809-830
[44] 陈珲,张会汀,周杰华. 利用 VFW 实现实时视频捕获及其应用. 计算机应用. 2003 年 8 月第23 卷第 8 期
[45] 任观就, 张永林. 实时视频捕获的实现方法. 计算机工程. 2002 年 8 月第 28 卷第 8 期
[46] 施建良,潘建,余松熤. 区域运动相关性的运动估计方法. 上海交通大学学报. 1998 年 9 月第 32 卷第 9 期
[2] Lawrence. G, Reuter. A Worldwide Survey of Transportation Agency Practices: Passenger Counting and Service Monitoring. New York City Transit, 2003
[3] Antonio Alboi. Real-time High Density People Counter Using Morphological Tools. IEEE Transactions on Intelligent Transportation Systems, Vol. 2, No.4, pp204-218, Dec. 2001
[4] 杨赛霓. 城市公共交通的问题与对策及 AVL 的运用前景. 城市研究. 2000(2).
[5] 张雪梅. 试论我国公共交通的现状及发展策略. 山西高等学校社会科学学报. 2001, 13(12).
[6] 高潮,张春详. 浅论公共交通在城市发展中的地位和作用. 城市研究. 1998(2)
[7] Thou-ho Chen, Che–Wei Hsu. An Automatic Bi-directional Passing-People Counting Method Based on Color Image Processing. Proceedings, IEEE 37th Annual International Carnahan Conference on Security Technology, pp200-207, 2003
[8] L. Khoudour, J. P. Depairs, L. Duvieubourg. Linear Image Sequence Analysis for Passenger Counting in Public Transport. IEE International Conference on Public Transport Electronics Systems, pp100-104, May, 1996
[9] K. Terada, D. Yoshida, S. Oe, J. Yamaguchi. A Counting Method of the Number of Passing People Using a Stereo Camera. IEEE International Conference on Image Processing, Vol. 2, pp338-342, Oct. 1996
[10] Jung Soh, Byung Tae Chun, Min Wang. Analysis of Road Image Sequences for Vehicle Counting. IEEE International Conference on Intelligent Systems for the 21st Century, Vol. 1, pp679-683, Oct. 1995
[11] Anurag Mittal, Larry Davis. Unified Multi-camera Detection and Tracking Using Region Matching. Proceedings, IEEE Workshop on Multi-object Tracking. pp3-10, JULY, 2001
[12] 章毓晋.图像分割. 北京: 科学出版社, 2001,2.
[13] 杨枝灵, 王开等. Visual C++ 数字图像获取、处理及实践应用. 北京: 人民邮电出版社,2003 年 1 月
[14] 高玉龙.公交计数系统设计与实现.应用科技.2004.3, 第 31 卷第 3 期
[15] 屈建中,张军,鲁墨武. 长途客车流量监测装置,测控技术.1994, 第 13 卷第 3 期
[16] 金凌,黄敬东. HDGJ-100A 型智能乘客计数仪.城市公用事业. 1999, 第 13 卷第 5 期
[17] 汪亚明. 基于动态图像序列的自动扶梯客流量的测量. 华北工学院测试技术学报.2002,16(1)
[18] 王栓,艾海舟,何克忠. 基于差分图像的多运动目标的检测与跟踪. 中国图像图形学报,1999 年 6 月,第 4 卷(A 版)
[19] 伏思华,张小虎. 基于序列图像的运动目标实时检测方法. 光学技术. 2004 年 3 月, 第 30卷第 2 期
[20] A. Branca, M. Leo, G. Attolico, A. Distance. People Detection in Dynamic Images. IEEE, 2002
[21] N. Otsu. A threshold selection method from gray-level histograms. IEEE Trans System, Man and Cybernetics, 1979, 9(1): pp62-66
[22] 朱明,鲁剑锋,赵建,秦于华. 基于 TMS320C6202 DSP 的实时数字图像处理系统的设计. 光学精密工程, 2003 年 10 月, 第 11 卷第 5 期
[23] 谢树煜,陈倩,朱虹. 实时视频对象识别与计数系统的模型和算法设计. 清华大学学报(自然科学版), 2001 年第 41 卷第 7 期
[24] 林洪文,涂丹,李国辉等. 基于减背景技术的运动目标检测方法研究. 国防科技大学学报,2003 年,第 25 卷第 3 期
[25] Shoichi Araki, Takashi Matsuoaka, Naokazu Yokoya. Real-time tracking of multiple moving objects contours in a moving camera image sequence. IECIE Trans Inf & Syst,2000,E83-D(7)
[26] T Olson, F Brill.Moving Objects Detection and Event Recognition Algorithms for Smart Cameras. Proc DARPA Image Understanding Workshop, May 1997
[27] Barron J, Fleet D, Beachemin S. Performance of optical flow techniques. International Journal of Computer Vision, 1994, 12(1): pp42-77
[28] Zoran Nikolic C6000 Application Team.How to Begin Develop With the TMS320C6205 DSP. TEXAS INSTRUMENTS. 2001.8
[29] J. P. Deparis, L. Khoudour, B. Meunier, L. Duvieubourg. A device for counting passengers making use of two active linear cameras: Comparison of algorithms. IEEE,1996
[30] 张文杰,戚飞虎,江卓军. 实时视频监控系统中运动目标检测和跟踪的一种实用方法. 上海交通大学学报. 2002 年 12 月,第 36 卷第 12 期
[31] 胡俊,苏祥芳,刘立海,沈芸,管鲍,王延平. 图像序列运动检测算法的研究及其应用. 武汉大学学报(自然科学版),2000 年 10 月,第 46 卷第 5 期
[32] 刘亚,艾海舟,徐光佑. 一种基于背景模型的运动目标检测与跟踪算法. 信息与控制. 2002年 8 月,第 31 卷第 4 期
[33] 李曦,曹广益,付晓薇,朱新坚. 基于实时图像序列的行人跟踪计数方法. 计算机仿真. 2005年 2 月,第 22 卷第 2 期
[34] 张嫣,姚耀文,唐华松. 运动图像序列中多目标跟踪的研究与实现. 计算机应用研究. 2002年第 1 期
[35] 高成英,刘宁,罗笑南. 基于序列图像的实时人流检测与识别算法研究. 计算机研究与发展. 2005,42(3)
[36] 朱晓宏,丁卫东,孙泰屹. 公交客流信息采集技术研究. 城市车辆. 2005 年第 1 期.
[37] 陈冬岚,刘南京,余玲玲. 几种图像分割阈值选取方法的比较与研究. 电气技术与自动化. 2003 年 2 月第 1 期, pp77-80
[38] 景晓军,蔡安妮,孙景鳌. 一种基于二维最大类间方差的图像分割算法. 通信学报. 2001 年4 月第 22 卷第 4 期
[39] 芦蓉,沈毅. 一种改进的二维直方图的图像阈值分割方法. 系统工程与电子技术. 2004 年10 月第 26 卷第 10 期
[40] 夏正良等. 一种新的二维最大熵图像阈值分割方法. 南京航空航天大学学报. 1994 年 11月第 26 卷增刊
[41] 周德龙,潘泉,张洪才,戴冠中. 最大熵阈值处理算法. 软件学报. 2001 年 12 月第 12 卷第 9期
[42] 韩思奇,王蕾. 图像分割的阈值法综述. 系统工程与电子技术. 2002 年第 24 卷第 6 期
[43] I Haritaoglu, D Harwood, L S Davis. W4: Real-time Surveillance of People and their Activities. IEEE Trans PAM I, 2000, 22 (8): pp809-830
[44] 陈珲,张会汀,周杰华. 利用 VFW 实现实时视频捕获及其应用. 计算机应用. 2003 年 8 月第23 卷第 8 期
[45] 任观就, 张永林. 实时视频捕获的实现方法. 计算机工程. 2002 年 8 月第 28 卷第 8 期
[46] 施建良,潘建,余松熤. 区域运动相关性的运动估计方法. 上海交通大学学报. 1998 年 9 月第 32 卷第 9 期