人脸识别国内外研究现状|人脸检测技术的研究现状与展望

　　摘要：人脸检测是人脸识别系统中的关键的第一步，也是计算机视觉和模式识别研究领域的热点。本文首先对目前人脸检测技术的现状进行了分析比较，最后，提出了关于人脸检测技术的进一步发展方向。
　　关键词：人脸检测；计算机视觉；模式识别；Boosting
　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2007)18-31682-03
　　Recent Research And Prospect on the Technique of Human Face Detection
　　LV Jian-qiang,ZHANG Rui-hong
　　(Huang Gang Normal University Computer Department,Huanggang 438000,China)
　　Abstract:Human face detection is the first key step on human face cecognition system,that is the hotspot in the field of computer vision and pattern cecognition. The purpose of this paper to analyse and compare on the technique of human face detection. In the end, this paper bring forward to the technique of human face detection for future development.
　　Key words:face detection;computer vision;pattern recognition;Boosting
　　
　　1 引言
　　
　　人脸检测技术就是对所输入的图像进行检测，判断出图像是否存在人脸，如果存在，则返回人脸在图像中的确切位置和范围的技术。人脸检测是人脸识别系统中的关键的第一步，这一步骤所获得的精度与速度直接影响整个系统的性能。此外，人脸检测技术在人脸追踪、视频会议、基于内容的图像检索以及安控和人类情感研究系统中都有广泛的应用，而且具有重要的学术价值。
　　人脸的自动检测具有一定的挑战性，主要难点有：⑴由于人脸是一类高度非刚性的目标，存在相貌，表情，肤色，姿态等差异；⑵人脸上很可能存在一些附属物，诸如：眼镜、胡须、装饰品等。⑶人脸的姿态千变万化，并且可能存在遮挡物。⑷待检测的图像其性质也有差异。比如：图像的分辨率，摄录器材的质量等；⑸光源的种类，强弱和角度的不同，其作用在人脸上所产生的性质不同的反射，造成不同区域的阴影。因此，人脸检测成为计算机视觉和模式识别领域内的一个研究热点。目前比较常用的人脸检测方式可以概括为基于知识、基于结构特征、基于模板匹配以及基于统计模型的方法。
　　
　　2 人脸检测技术的现状
　　
　　2.1基于知识的人脸检测技术
　　基于知识的技术是将人脸面额器官之间的关系编码准则化的人脸检测技术，该技术是自顶向下，依据人脸面部器官的对称性、灰度差异等先验知识，制定出一系列的准则。当图像中的待测区有符合准则的，则被检测为人脸。
　　1994年Yang等提出该技术，他们利用4×4镶嵌图将人脸分块（如图1），并根据每块的灰度值制定准则来进行判定。他们将系统分为三级，利用不同精度的平均和二次采样产生三级不同分辨率的图像。针对不同分辨率的图像采用不同的准则进行判定。如果在低分辨率图像中，准则主要体现人脸的大体轮廓。如果在高分辨率图像中，准备主要体现人脸的细节特征。随后，卢春雨等对镶嵌图技术进行了改进，按照人脸器官的自然分布将人脸划分3×3个马赛克块，（如图2），在检测中自适应地调整个块的大小，使用一组基于各块灰度和梯度统计特征的知识准则检验待检测区是否有人脸。
　　姜军等依据人脸的胜利结构特征，在卢春雨等的3×3三分图的基础上，提出一种新的广义几何投影法，建立了一个比较完备的人脸知识库，综合使用灰度规则、梯度规则和二值规则，从而拓宽了检测算法的使用范围，适合于复杂背景下的多人、不同尺寸、人脸像基本为正面、表情变化不是很大的人脸的检测。这个方法检测速度比较快，应用比较简单，适合于用硬件实现。
　　Kotropoulos和Pitas提出了基于规则的定位方法。用投影方式确定面部特征，I(x，y)是m×n图像中I(x，y)位置的灰度值，图像的
　　水平和垂直投影定义为 和。
　　通过在HI中的急剧变化检测到两个局部最小点，它对应于头部的左右两边，获得输入图像的水平轮廓。类似地，获得垂直的轮廓，局部最小点的确定用于定位嘴唇、鼻尖和眼睛。这些检测到的特征组成了面部候选区。
　　2.2基于特征的人脸检测技术
　　基于特征的方法不仅可以从已有的面部特征而且可以从他们的几何关系进行人脸检测。它与基于知识的方法相反。它是先利用各种手段寻找人脸的不变特征，然后综合找到的不变特征来确定待检测区域是否是人脸。面部不变特征，如：眉毛、眼睛、鼻子、嘴和发际。一般利用边缘检测器提取，根据提取的特征，建立统计模型来描述特征之间的关系，并确定存在的人脸。
　　Sirohey提出了从复杂的背景中分割人脸进行人脸识别的定位方法。它使用边缘图和启发式算法来去除和组织边缘，而只保存一个边缘轮廓，然后用一个椭圆拟合头部区域和背景间的边界。
　　Graf等人提出定位灰度图像的面部特征和人脸的检测方法。在滤波以后，用形态学的方法增强具有高亮度、含有某些形状（如眼睛）的区域。
　　Leung等人提出一种基于局部特征检测器和任意图匹配的概率方法，在复杂场景中定位人脸(转载于 :wwW.bJyld.com 月亮岛教 育网: 人脸识别国内外研究现状|人脸检测技术的研究现状与展望)。其目标是找到确定的面部特征的排列。典型的人脸用五个特征（两只眼睛、两个鼻孔和鼻子与嘴唇的连接处）来描述。
　　Yow和 Cipolla提出了一种基于特征的方法。在第一阶段，应用了二阶微分Gaussian滤波器，在滤波器响应的局部最大点检测感兴趣的点，指出人脸特征可能的位置；第二阶段，检查感兴趣点周围的边缘并将它们组成区域。这种方法的优点是可以在不同的方向和位姿上检测人脸。
　　Han等人提出了一种基于形态学的技术进行眼部分割进而实现人脸检测的方法。他们认为眼睛和眼眉是人脸最突出和稳定的特征，特别适合人脸检测。
　　彭进业等人提出了一种在图像的反对称双正交小波分解数据域中，实现多尺度对称变换的方法，并将它应用于脸部图像中主要特征点的定位。
　　王延江等人提出了一种快速的彩色图像中复杂背景下人脸检测方法。其方法首先计算对彩色图像中与人的肤色相似的像素进行聚类和区域分割，然后利用小波分解对每一个候选区域进行人脸特征分析，如所检测到的区域特征分布与某一预先定义的人脸模型相似，则确认该区域代表人脸。
　　肤色也是人脸的重要信息，它不随面部的细节和旋转、表情等变化而变化，具有相对稳定性和大多数背景物体的颜色相区别。因此有许多学者就基于肤色特征来进行人脸的检测。基于肤色特征的人脸检测算法，通常首先对输入的RGB图像进行三基色调整后转换为YCrCb色彩空间图像，将YCrCb图像分割成肤色区域和非肤色区域；然后再对检测到的肤色区域进行形态学运算；最后对肤色区域运用知识和几何特征进行处理，得到完整的人脸区域。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文 　　2.3基于模板匹配的人脸检测技术
　　基于模板的方法可以分为两类：预定模板和变形模板。预定模板方法首先制定出标准的模板，然后计算检测区域和模板的相关值，当相关值符合制定的准则就判断检测区域为人脸。变形模板首先制定出模板参数，然后根据检测区域的数据对参数进行修改直至收敛，以达到检测出人脸面部器官位置的目的。
　　Sakai等人使用眼睛、鼻子、嘴和人脸轮廓等子模板建模，检测照片中的正面人脸。每一个子模板按照线分割定义。基于最大梯度变化提取输入图像的线，然后与子模板匹配。计算子图像和轮廓模板之间的相互关系去检测人脸的候选区域，完成用其他子模板在候选区域的匹配。Craw等人提出了一种基于正面人脸的形状模板（也就是人脸的外形）定位方法。用Sobel滤波器提取边缘，将边缘组织在一起，根据几个约束条件去搜索人脸模板。在头轮廓定位以后，用相同的过程以不同的尺度重复定位眼睛、眼眉和嘴唇等特征。
　　Govindaraju等人提出两个阶段的人脸检测方法。人脸模型根据边缘定义的特征构成，这些特征描述了正面人脸的左边、发际和右边的曲线。人脸必须是垂直、无遮挡和正面的。
　　Miao等提出了一种层次模板匹配的方法。首先，将输入图像从-20°到+20°以5°为步长进行旋转，以增强检测倾斜人脸的性能。然后使用Laplace算子进行边缘提取。组合提取出的六个人脸器官（两个眉毛、一双眼睛以及鼻子和嘴）的边缘作为人脸模板。最后，应用分级式的方法检测人脸。
　　Cootes等提出的主动形状模型（Active Shape Models，ASM）和主动表观模型（Active Appearance Models，AAM）是变形模板中经典的两种方法，现在很多学者仍以此为基础，进行更加深入的挖掘和研究。上述两种方法均是基于关键点分布模型（PDM）的，将人脸的几个关键部位（如眉毛、眼睛、鼻子、嘴巴和脸颊）用一系列的坐标点来表示从而组成以坐标向量为集合的训练集。对 ASM而言，将训练集中的向量对齐后，然后进行PCA分析建模，得到相应的主成分模型参数，因而得到了物体形状的简化表示。在搜索新给图像中的未知图形时，先获得每个关键点将对应的更佳位置，然后再进行相似变换等操作，最后得到未知图形中与训练集中相似形状的关键点的位置。而对AAM而言，则采用了形状和纹理二者融合的统计约束，借鉴合成分析技术（ABS）的思想，通过模型参数的优化调整使得模型能够不断逼近所要求的输入模式。以上两种方法多用于人脸检测中的人脸配准（Face alignment）和面部器官的精确定位。
　　2.4基于统计模型的人脸检测技术
　　基于统计理论的人脸检测是利用统计分析与机器学习的方法来寻找出人脸样本与非脸样本各自的统计特征，再使用各自的特征构建分类器。使用分类器完成人脸检测。基于统计特征的人脸方法主要有：子空间方法，神经网络方法，支持向量机方法，隐马尔可夫模型方法以及Boosting方法。
　　2.4.1子空间方法
　　子空间方法主要包括两类：主成分分析（PCA）方法、线性判别分析（LDA）方法。主成分分析（PCA）方法是KL（Karhunen-Loève）变换的别称。该方法将样本图像进KL变换以消除原来各分量之间的相关性，取变换后所得到的最大的若干个特征向量来表示原来的图像，保留了原图像差异的最大信息，这若干个特征向量就称为主成分。
　　Turk等将人脸图像投影到一个由若干个最大的特征向量张成的子空间里。与基于外在特征的人脸检测相比，这些特征向量并不对应特定的面部器官，如眼、鼻、嘴等。若要显示某个特定的人脸，只要通过对这些特征向量加权求和便可。因此这些特征向量也被称为“特征脸（eigenfaces）”，该方法也常被成为特征脸方法。
　　Moghaddam等将检测图像投影到主成分空间F和其正交补空间F’，并定义相应的距离度量为DIFS（Distance In Feature Space）和DFFS（Distance From Feature Space）。该方法克服了以往PCA方法假设特征空间为统一密度这一不充分的认识，兼顾考虑了“非人脸”样本的分布，取得了优于以往PCA方法的效果。
　　Sung等首先利用椭圆K均值聚类将人脸和非人脸样本各自聚成六个类，这种聚类方法使得人脸与非人脸样本分布的边界比较清晰。然后设置两组距离矩阵来度量检测数据和十二个样本类的距离。最后使用这些距离矩阵来训练一个多层感知器作为分类器进行人脸检测。
　　线性判别分析方法中典型的有Yang等提出的Fisher线性判别（FLD）方法。他们首先使用自组织映射（SOM）将人脸和非脸样本各分为25个类，然后计算各类的类间离散度与类内离散度，利用两者的比值求出投影矩阵。比较本征脸方法，FLD同时考虑了类间与类内的离散度，选取的投影方向优于本征脸方法，因此得到了较其优良的检测的效果。
　　2.4.2神经网络方法
　　神经网络方法进行人脸检测的优点是可以简便的构造出神经网络系统作为分类器，使用人脸和非脸样本对该系统进行训练，让系统自动学习两类样本复杂的类条件密度，这样就避免了人为假设类条件密度函数所带来的问题。
　　Rowley等提出基于神经网络的人脸检测系统分为两个阶段。第一个阶段是基于神经网络的分类器，该分类器的输入是规定尺寸的检测区域，输出为1到-1的数，由此来判断检测区域是否是人脸；第二阶段是合并重复检测并判别，由于训练样本以及分类器等因素，在图像中以人脸为中心的一定区域内会产生重复检测。此阶段使用了一个单层的神经网络对重复检测进行合并，并使用一个多层的神经网络对检测结果进行判决。以上的方法只针对正面垂直人脸的检测。在1998年，Rowley等对其进行了改进，使得该系统可以检测图像中按任意角度旋转的人脸。改进方法同样分为两个阶段。第一个阶段为路由（Router）神经网络，用来检测输入图像的偏转角度，其输出为一角度值。接着根据路由网络输出的角度值对输入图像进行反转（derotation），使其调整为正面垂直的人脸。第二阶段则是人脸检测的神经网络。由此完成了对任意旋转角度人脸的检测。
　　Bakry等在2004年提出了一种利用对称形式来提高基于神经网络人脸检测速度的快速神经网络方法。该算法将检测数据进行上下左右的对称翻转后构成一个新的检测图像。它利用新图像在频率域内的互相关特性，可以在减少训练样本以及隐层神经元数目的情况下，达到与传统神经网络相当的检测结果。因此，达到了提高速度的效果。
　　2.4.3支持向量机方法
　　支持向量机（SVM）是由V. N. Vapnik在1995年提出的一种新的统计学习理论。其指出经验风险（empirical risk）最小并不能保证期望风险最小；提出了结构风险最小化原理（Structure Risk Minimization，SRM）；给出核心概念VC维（Vapnik-Chervonenkis Dimension），指出为了最小化期望风险必须同时最小化经验风险和VC维。使用SVM方法进行人脸检测面临两方面的困难：（1）训练SVM是一个求解二次规划问题，计算量巨大；（2）训练非人脸需要大量样本，这样就会导致出现大量的支持向量。Osuna等使用SVM方法进行人脸检测，其利用“自举”的方法搜集大量的非人脸样本，然后使用优化逼近的方法选择出少量的支持向量为关键支持向量，这样就大大减小了运算中支持向量的数目。此后，J. C. Platt提出了称为顺序最小最优化（Sequential Minimal Optimization，SMO）的支持向量机训练方法，其将一个大型的求解二次规划问题分成一系列最小可能的二次规划问题，这样就避免了对大型二次规划问题直接求解，大大提高了训练速度。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文 　　2.4.4隐马尔可夫模型方法
　　隐马尔可夫模型（Hidden Markov Model，HMM）是一种存在两种机理的随机过程。其一是有限状态的马尔可夫链，其二是序列的观察值。因为不能直接得到马尔可夫链的状态，而只能通过观察值来观察，因此称为隐马尔可夫链。Nefian等将人脸从上到下划分为五个互有重叠的区域（头发、额头、眼、鼻、嘴）。他根据这个划分构造了一个包含五个状态的一维连续HMM用以表示人脸，接着对各块进行KL变换，取每块若干最大的特征向量作为观测值对HMM进行训练。随后，他们还提出了嵌入式隐马尔可夫模型（Embedded-HMM）的方法。该方法除了将人脸从上到下划分为五块外，还在每块当中从左至右将待测图像进行上下左右翻转后得到的图像嵌入一个HMM。接着进行二维 DCT变换，使用变换后得到的系数作为训练值。
　　2.4.5 Boosting方法
　　Boosting方法是一种可以将弱分类器组合成为强分类器的统计学习方法。其基本思想为对训练失败的训练样本赋以较大的权值，让学习算法在后续的学习中集中对比较难的训练样本进行学习，最后将由算法挑选出来的若干个弱分类器加权相加组成强分类器。
　　P. Viola等在 2001年提出了一种基于Boosting方法的实时人脸检测系统。其首先提出了一种称为“积分图像（Intergral Image）”的图像表示方法，这种表示方法提高了对特征的计算速度。第二，他们采用了AdaBoost方法对由积分图像表示的特征进行选择，选择出少量但是关键的特征来组合成强分类器。最后，他们使用“级联（Cascade）”的策略，每级的特征由少至多，在开始粗检的几级就排除了大量的非脸区域，因此该系统的检测速度可以达到每秒15帧。S. Z. Li等在2004年提出了称为FloatBoost的学习方法。与AdaBoost方法相比，FloatBoost在AdaBoost方法的每一步循环后加入了一项返回机制，使得该方法直接以错误率最小化为学习目的，优于传统AdaBoost方法。此外，该方法还提出了一种改良的统计模型，可以使用更少的弱分类器，达到更低的错误率。最后，Li等采用FloatBoost方法发展出了一套实时多姿态人脸检测系统(转载 于:wWw.BjyLd.com 月亮岛教育 网: 人脸识别国内外研究现状|人脸检测技术的研究现状与展望)。R. Xiao等使用由粗到细的策略，提出了一种分为三个步骤的多姿态人脸检测方法。第一步骤首先是采用双特征的boosting分类器作为线性预分类器去排除大部分的非脸窗口，加快整个系统的处理速度。第二步骤是一套boosting链（boosting chain），该套boosting链由线性SVM进行最优化。这种boosting链方法可以有效的利用各层间的判别信息，较以往的boosing方法更为有效。第三步骤是由SVM分类器和肤色分类器组成的后分类器，这一步骤对前面得到的结果进行再判别，以降低误检的概率。
　　
　　3 总结
　　
　　本文将目前主流的人脸检测技术分为四种主要类别：基于知识、基于结构特征、基于模板匹配以及基于统计模型。通过如上分类对目前主流人脸检测技术的现状进行了分析与比较，对他们的各自的优势和不足进行了剖析。今后，人脸检测的研究将会有如下的发展趋势：
　　(1)基于混合方法的人脸检测。实际上目前有一些方法可以分类到不止一种方法当中，并且各种方法都有其优势和不足。结合两种或更多种前面介绍的方法，使一种方法的缺点被另一种方法的有点补偿，形成更准确和鲁棒的人脸检测系统。
　　(2)基于多种信息融合的人脸检测。可以将肤色、器官、动作甚至语音等多种信息进行融合，必将提高检测的性能。
　　(3)形成解决非刚性模式识别的普适方法。这有赖于人工智能等相关学科的发展提供更有效的工具。
　　(4)基于多姿态的人脸检测。目前复杂图像中的人脸检测技术多数针对正面端正的人脸，也有极少数可以进行有一定旋转角度的人脸。多姿态人脸的检测(特别是侧面人脸的检测，甚至侧面附带一定的角度)还存在很大的困难，有效的方法不多。这方面的研究将是一个方向。
　　第一作者简介：吕建强（1981-），男，湖北黄冈人，武汉理工大学硕士研究生,主要从事图像处理、模式识别。
　　
　　参考文献：
　　[1]赵丽红,刘纪红,徐心和.人脸检测方法综述[J],计算机应用研究,2004,9:1-4.
　　[2]邵平,杨路明,黄海滨.等.适于人脸检测的模板匹配快速算法[J].计算机应用,2006,7:1607-1610.
　　[3]孙艳丰,梁永涛,苏世前.等.基于肤色模型和重心模板的人脸检测[J].北京工业大学学报,2006,5:467-472.
　　[4]G Yang.T S Huang. Human Face Detection in Complex Background Pattern Recognition[J].1994,27(1):53-63.
　　[5]卢春雨,张长水,闻方.等.基于区域特征的快速人脸检测法[J].清华大学学报(自然科学版),1999,39(1):101-105.
　　[6]章品正,赵红玉,梁晓云.等.一种复杂背景中的人脸检测与验证方法[J].数据采集与处理,2004,19:10-15.
　　[7]T K Leung,M C Burl,P Perona.Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching[C].Proc.5 th IEEE Int" l Conf. Computer Vision,1995.637-644.
　　[8]K C Yow, R Cipolla. Enhancing Human face Detection Using Motion and Active Contours[C].3 rd Asian Conf.Computer Vision,1998.515-522.H Rowley.et al. Neural Network-based Face Detetion[C].IEEE Conf. Computer Vision and Pattern Recogniton, 1996.203-208.
　　[9]彭进业,俞卞章,王大凯.等.多尺度对称变换及其应用于定位人脸特征点[J].电子学报,2002,3:363-366.
　　[10]王延江,袁保宗,唐晚芳.一种快速彩色图像中复杂背景下人脸检测方法[J].电子学报,2002,10:1-4.
　　[11]李远刚,蒋咏梅.基于肤色特征的人脸检测算法[J].福建电脑,2006,11:141-142.
　　注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文