西安电子科技大学硕士学位论文
基于OpenCV的人脸跟踪识别系统研究
姓名：雷静申请学位级别：硕士专业：交通信息工程及控制
指导教师：张向东
20100101
摘要摘要人脸在社会交往中扮演着十分重要的角色，是人类在确定一个人身份时所采用的最普通的生物特征，研究人脸跟踪识别及其相关技术具有十分重要的理论价值和应用价值。彩色图像序列的人脸检测、跟踪与识别技术是随着计算机技术的高速发展和视频监控等应用的需要在近几年才逐渐成为一个研究热点。本文着重构建一套人脸跟踪识别系统，致力于精确实时地对彩色视频中的人脸图像检测跟踪，并可以将跟踪到的人脸图片传输到识别端进行身份识别。系统分为客户端和服务器两部分。针对传统Ｃａｍｓｈｉｆｌ跟踪算法进行形态学处理、分配多个跟踪器等改进后的算法应用于客户端进行多人脸的跟踪。服务器端首先将人脸图像按其主要特征进行分块，再对分块图执行Ｅｉｇｅｎｆａｃｅ算法实现人脸身份的识别。这套系统完成了对多人脸的跟踪效果，可广泛的应用于各种安防系统之中如：ＡＴＭ机监控系统，门禁系统等。关键词：人脸检测人脸跟踪人脸识别特征脸Ｃａｍｓｈｉｆｔ方法ＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＨｕｍａｎｆａｃｅｉｓ０１１１＂ｐｒｉｍａｒｙｆｏｃｕｓｏｆａｔｔｅｎｔｉｏｎｉｎｓｏｃｉａｌｉｎｔｅｒｃｏｕｒｓｅ，ｐｌａｙｉｎｇｒｏｌｅｉｎｃｏｎｖｅｙｉｎｇｉｄｅｎｔｉｔｙａｍａｊｏｒａｎｄｅｍｏｔｉｏｎ．Ｒｅｓｅａｒｃｈａｎｄｐｒａｃｔｉｃａｌａｏｎｔｈｅｆａｃｅｔｒａｃｋｉｎｇ，ｒｅｃｏｇｎｉｔｉｏｎｔｅｃｈｎｏｌｏｇｙｈａｓｇｒｅａｔｔｈｅｏｒｅｔｉｃａｌＴｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｔｏＯｉｌｖａｌｕｅ．ｂｕｉｌｄｉｎｇｓｅｔｏｆｈｕｍａｎｆａｃｅｒｅｃｏｇｎｉｔｉｏｎａｎｄｔｒａｃｋｉｎｇｉｍａｇｅｓ，ａｎｄｃａｌｌｓｙｓｔｅｍｃｏｍｍｉｔｔｅｄｔｏａｃｃｕｒａｔｅａｎｄｒｅａｌ－ｔｉｍｅｃｏｌｏｒｖｉｄｅｏｔｒａｎｓｍｉｔｔｈｅｔｒａｃｋｅｄｈｕｍａｎｆａｃｅｉｍａｇｅｔｏｃｌｉｅｎｔｔｈｅｒｅｃｏｇｎｉｔｉｏｎｐａｒｔｔｏｉｄｅｎｔｉｆｙｔｈｅｐｅｒｓｏｎ’Ｓｓｔａｔｕｓ．Ｔｈｅｓｙｓｔｅｍｉｓａｎｄｓｅｒｖｅｒｐａｒｔｓ．ＴｈｅｄｉｖｉｄｅｄｉｎｔｏｔｒａｃｋｉｎｇａｌｇｏｒｉｔｈｍｗｈｉｃｈｃａｒｒｉｅｓｏｎｍｏｒｐｈｏｌｏｇｙｐｒｏｃｅｓｓｉｎｇａｆｔｅｒｔｒａｄｉｔｉｏｎａｌｔｒａｃｋａｌｇｏｒｉｔｈｍＣａｍｓｈｉｆｌａｎｄａｓｓｉｇｎｍｅｎｔｓｓｅｖｅｒａｌｔｒａｃｋｉｎｇｄｅｖｉｃｅｓｉｓａｐｐｌｉｅｄｔｏｔｈｅｃｌｉｅｎｔｆｏｒｄｕｐｌｅｘｆａｃｅｔｒａｃｋｉｎｇ．Ｔｈｅｓｅｒｖｅｒ—ｓｉｄｅｆｉｒｓｔｄｉｖｉｄｅｓｔｈｅｐｅｒｓｏｎｆａｃｅｉｍａｇｅｉｎｔｏｂｌｏｃｋｓａｃｃｏｒｄｉｎｇｔｏｉｔｓｃｈｉｅｆｆｅａｔｕｒｅ，ｔｈｅｎｔｈｅｂｌｏｃｋｓｕｓｅｓｔｈｅＥｉｇｅｎｆａｃｅａｌｇｏｒｉｔｈｍｓｅｐａｒａｔｅｌｙｔｏｒｅａｌｉｚｅｔｈｅｐｅｒｓｏｎ’Ｓｓｔａｔｕｓｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅｓｙｓｔｅｍｉｍｐｌｅｍｅｎｔａｔｉｏｎｆｏｒｍｕｌｔｉｐｌｅｆａｃｅｔｒａｃｋｉｎｇｃａｌｌｂｅｗｉｄｅｌｙｕｓｅｄａｍｏｎｇｔｈｅｃｏｎｔｒｏｌｖａｒｉｏｕｓｓｅｃｕｒｉｔｙｓｙｓｔｅｍｓ，ｓｕｃｈａｓ：ＡＴＭｍａｃｈｉｎｅｍｏｎｉｔｏｒｉｎｇｓｙｓｔｅｍ，ａｃｃｅｓｓｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ＦａｃｅＤｅｔｅｃｔｉｏｎＥｉｇｅｎｆａｃｅＦａｃｅＴｒａｃｋｉｎｇＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＣａｍｓｈｉｆｔ西安电子科技大学学位论文创新性声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期叩尘ｔ乒西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。本人签名：日期矽ｆ口ＩＩ．Ｊ丝‘。。。。。。。‘。‘。’‘。‘。。。●‘’?’’＿－一导师签名：第一章绪论第一章绪论本章论述了本文选题的背景、研究的意义、课题研究现状及国际发展动态，并对相关理论和应用领域做了详细论述，最后给出了本文的主要研究工作。１．１选题背景视觉是人类从大自然中获取信息的主要手段。据统计，在人类获取的信息中，视觉信息约占６０％，听觉信息约占２０％，其它的如味觉信息、触觉信息等加起来约占２０％。由此可见视觉信息对人类的重要性，而人类获取视觉信息的主要途径来自于对图像的处理。人类的面部提供了大量视觉信息，计算机的多种感知输入通道，如人脸识别、口型识别、表情识别等，都建立在人脸的基础上。随着信息技术的发展以及应用需求的剧增，人脸检ｉ９ｌ！｝【ｌ－２１（ＦａｃｅＤｅｔｅｃｔｉｏｎ）作为人脸信息处理中的一项关键技术，日益成为一个热门的研究课题。人脸检测的目的是自动确定输入图像中是否存在人脸，并给出人脸的个数、位置、大小等参数。人脸跟踪ｆ３叫（ＦａｃｅＴｒａｃｋｉｎｇ）则是要在图像序列中确定出各帧间人脸的对应关系，并在后续序列帧中跟踪出已定位人脸的运动轨迹。人脸识别【５】（ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ）是在人脸检测的基础上分析人脸的图像特征，进而确定人脸的身份特征。人脸是一类具有相当复杂的细节变化的自然结构目标，人脸器官的形状、尺寸、纹理、表情等变化复杂，难以用统一的模式加以描述，而人脸检测的实际应用环境也十分复杂，不同的成像条件、不确定的饰物及复杂的背景等均向人脸检测算法提出了苛刻的要求。同时，序列图像中运动场景的快速分割、人脸面部的非刚性运动、人脸自遮挡和目标之间互遮挡的处理等也为人脸的跟踪带来了一定的挑战，人脸的检测与跟踪技术涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识。并且目前大多系统都要求使用者固定在摄像机前的某一位置。然而人总是处于运动中的，尤其在信息交互过程中，对使用者的这种要求局限了系统的应用性。所以，如果能找到上述问题的解决方法，成功构造出实时高效的人脸跟踪与识别系统，将为解决其它类似的复杂模式的跟踪与识别提供重要的启示。因此，人脸跟踪与识别作为相关研究领域的关键技术，近年来已成为计算机视觉方面的一个重要研究课题及备受关注的前沿方向。
基于OpenCV的人脸跟踪识别系统研究 - 图文
