毕业设计论文基于人脸识别的疲劳驾驶检测系统的研究

本科毕业设计（论文）基于人脸识别的疲劳驾车检测系统的研究 本科毕业设计（论文）基于人脸识别的疲劳驾车检测系统的研究学院（系）：电气工程学院 专 业：测控技术与仪器 学生 姓名： 学 号： 指导 教师： 答辩 日期： 摘要摘要近些年由于人们的生活节奏快，工作压力大，因疲劳问题而引起的事故时有发生，疲劳驾驶而酿成的惨剧更是使我们警钟长鸣。为了解决这个问题，本次毕业设计着重讨论一种基于ASM模型的人脸识别算法和一种疲劳驾驶的面部特征判定标准。本文的主要内容是：首先，简要介绍此次研究的课题意义，再介绍人脸识别和疲劳检测的一些相关的背景知识，由于此次课题是疲劳驾驶的检测，所以介绍的重点是关于疲劳驾驶的检测研究。其次，讨论疲劳的判定方法，这一部分主要是对疲劳特征的选择研究，涉及到人眼睛和嘴的形状的疲劳特征分析，然后进行疲劳分析的综合。然后，详细介绍ASM模型的定义，在这一部分中还介绍了ASM的算法、区域收敛方法以及判定收敛的依据，另外，在这部分中将给出算法实现步骤的流程图。再后，主要内容是图像处理与识别，其中包括图像的预处理和手工描点方法所需要确定的参量，以及如何用matlab程序得到这些参量。程序的流程图也在这一章展示。关键词人脸识别；疲劳检测；疲劳特征；动态形状模型 AbstractRecently as the fast pace of life and heavy work pressure, accidents caused by fatigue happened frequently. Traffic accident disaster is causing the bells to ring. To solve this problem, the graduation project focused on a face recognition algorithm based on ASM model and a facial features determination standards of fatiguedriving. The main contents are:First, there is a brief introduction of the research, the relevant background knowledge of face recognition and fatigue testing will be given later. as it is the detection of fatiguedriving that we are taking care of, we will mainly focus on the it.Secondly, we will learn the judging methods of fatigue, the part choice of the fatigue characteristics is studied here, the fatigue characteristics of eyes and mouth is analyzed, then we will comprehensively analysis them.Then, the principle and method of ASM person face recognition technology is studied. Inthis section, we will describe the ASM algorithm, the covergence method and the basis of determining convergence.The flow chart of algorithm will also be given flow chart in this part.Finally, we will show picture pre-treatment methodsand picture recognition, this part includes the image pre-processing, the needed parameters and how to use thematlabprogram to get the parameters. The idea and flow chart of the main program will be given. KeywordsFace Recognition; Fatigue Detection; Fatigue Characteristics; Active Shape modelsII目 录摘要IAbstractII第1章 绪论11.1 课题背景和意义11.2 研究现状31.3 本文主要研究内容6第2章 疲劳分析和疲劳检测82.1 疲劳驾驶特征综述82.2 具体特征分析92.2.1 疲劳驾驶眼部特征分析92.2.2 疲劳驾驶嘴的特征分析102.2.3 原始数据的获取122.3 眼睛和嘴特征的综合分析132.4 本章小结14第3章 ASM人脸识别算法153.1 ASM模型的定义153.2 ASM人脸识别的优势153.2.1 ASM搜索算法的特点153.2.2 几种识别方式对比分析163.3 ASM的模型建立173.4 ASM模型的搜索算法193.5 流程设计思路223.6 本章小结23第4章 图像处理和识别244.1 图像预处理的必要性244.2 常用光照预处理技术244.2.1 基于直方图的预处理方法254.2.2 线性变换254.2.3 对数变换264.2.4 指数变换274.2.5 光照预处理方法选择274.3 图片选取策略284.4 图像手工描点的实现284.4.1 要确定的要素分析284.4.2 要素值的确定方法294.5 选点策略334.6 程序流程图334.7 收敛过程和识别结果344.8 本章小结35结论36参考文献37 IV第1章 绪论第1章 绪论1.1 课题背景和意义驾驶疲劳是指驾驶员由于睡眠不足或长时间持续驾驶造成的反应能力下降，这种下降表现在驾驶员困倦、打瞌睡、驾驶操作失误或完全丧失驾驶能力。驾驶疲劳反映在生理与心理两个方面，生理反映包括神经系统的功能、血液和眼睛的变化；心理反映包括反应时延长、注意力分散、动作不协调。美国印第安那大学对交通事故原因的调查研究发现85的事故与驾驶员有关，车辆和环境因素只占151。驾驶员在事故发生前一瞬间的行为和故障直接导致了事故的发生，这些行为包括知觉的延迟、对环境的决策错误、对危险情况的处理不当等。在所有的驾驶员错误中，最常见的是知觉延迟和决策错误，这些错误会产生注意力不集中、反映迟钝、操作不当等，产生这些错误的根本原因就是驾驶疲劳。由于司机疲劳驾驶导致警惕性水平的下降，从而造成交通事故的增长，这已成为了社会普遍关注的一个热点。如果司机疲劳驾驶，那么他的观察、识别和车辆控制能力都会显著下降，严重威胁自身的安全和其他人的生命。随着交通运输业的发展，交通事故已成为当前各国所面临的严重问题。据世界卫生组织统计，全世界每年有120多万人死于交通事故，数百万人受伤或致残。全球每年交通事故造成的经济损失高达5180亿美元，其中发展中国家占1000亿美元2。近年来，我国恶性道路交通事故呈上升趋势。我国交通事故死亡人数己连续10多年居世界第一。我国因车祸丧生的人数，十几年间己从每年5万多人增长到10多万人，是交通事故死亡人数居世界第二位国家的两倍。其中，驾驶员疲劳造成交通事故的占总数的20左右，大约占特大交通事故的403以上。所以进行疲劳检测技术的研究是十分必要的，且有其深远的意义。同样，在国外情况也差不多。美国国家公路交通安全管理局也就是所谓的NHTSA(NmionMHighway Traffic Safety Administration，NHTSA) 4最近几年的调查显示：每年平均有56000起车祸与疲劳驾驶相关5，造成76000人受伤，1544人死亡(占交通事故死亡总人数的3.7)，调查还显示有27的受访者表示有过开车打磕睡的经历。2004年美国国家交通安全委员会NTSB(The National Transportation Safety Board，NTSB)检查了107起由驾驶员造成的卡车交通事故，表明有58%的交通事故与驾驶员疲劳驾驶有关。美国汽车联合会 (American Automobile Association)的交通安全部初步估计41%59%的重型卡车交通事故与疲劳驾驶有关。英国交通研究实验室认为驾驶疲劳导致的路面交通事故大约占全部交驾驶员通事故率的10%。法国国家警察总署事故报告表明，因疲劳瞌睡而发生的车祸，占人身伤害事故的14.9，占死亡事故的20.6。德国保险公司协会估计，在德国境内的高速公路上，大约25导致人员伤亡的交通事故都是由疲劳驾驶引发。澳大利亚联邦议会统计：在2000年，司机疲劳驾驶造成的交通事故占所有交通事故的20%到30%；专家认为这只是保守统计，实际所占的比例可能更大。日本的事故统计揭示，因疲劳产生的事故约占1.0%1.5%6。 近期关于疲劳特征，疲劳后的主要现有7： 反应时间显著增长，注意力分散，判断能力下降，主动性降低，注意力分配不均衡且转移速度降低，经常丢失重要的信息；感觉器官的功能减退或紊乱，如视觉模糊、听力下降、判断迟缓；驾驶动作不灵活，操作能力下降，节律失调；记忆和思考能力下降，判断失误增多；驾驶员的信心、决心、耐性和自我控制能力减退，缺乏坚持不懈的精神，易于激动、急躁和开快车；过度疲劳会使驾驶员在行车途中产生困倦，甚至打瞌睡。驾驶疲劳导致事故的形成过程通常是：大脑供氧不足叶中枢神经疲劳感觉下降、知觉迟钝肌肉收缩的调节机能恶化感觉刺激中断认识迟缓、判断失误、操作失误、打瞌睡等交通事故。可见，疲劳驾驶会引起大量的交通事故。如果建立一套疲劳检测系统能够切实有效的工作，必定可以大大减少由疲劳驾驶所引起的交通事故，不但能减少人员伤亡，而且能避免因此产生的经济损失。疲劳是有其可以识别的特征的。由于司机驾驶疲劳会产生神经系统功能、循环机能、血液、眼睛、呼吸机能、体温等生理变化，这些变化通过驾驶员的自觉症状和他觉症状反映出来。所以可以通过衡量方向盘的微调，脑波，心率，头手的位移，眼睑的闭合程度或眨动速率等一些有特异性和可量化的指标，通过大量实验确定驾驶疲劳的评价标准，以量化的阈值加以表示，来判断驾驶员是否已经疲劳。 可见，疲劳驾驶会引起大量的交通事故。如果建立一套疲劳检测系统能够切实有效的工作，必定可以大大减少由疲劳驾驶所引起的交通事故，不但能减少人员伤亡，而且能避免因此产生的经济损失。正因如此，研究出一套疲劳检测的系统是极有现实意义的。1.2 研究现状由于疲劳驾驶导致的车祸数量的剧增，渐渐引起国内外学者的关注，各种针对疲劳驾驶检测科研都在积极进行种。利用心跳特征制成的心跳速度检测仪。2002年，日本先锋公司开发出防止驾驶员开车打瞌睡的系统。该系统的核心技术之一是贴在转向盘上的纸状心跳感应器。一般说来，人在打瞌睡之前，心跳速度下降，感应器每隔15 s检测一次驾驶员的心跳速度，一旦确认驾驶员有睡意袭来，就通过改变音乐节奏等方式给以警示8。头部位置检测仪。该预警系统由澳大利亚人于2003年设计和开发，主要是通过监视驾驶员在行驶过程中头部的位移情况来判断其是否在打瞌睡9。转向盘监测系统1999年，美国Electronic Safety Products公司开发的转向盘监测系统S.A.M(steering atention monitor)是一种检测转向盘运动的传感器装置，适用于各种车辆10。当驾驶员疲劳时，反应能力变慢，操作转向盘的动作也会减缓；当系统检测到转向盘正常运动时传感器装置不报警，若转向盘持续4 s不运动，系统报警。Driving Research Center研发的了PERCLOS系，该系统检测单位时间内眼睛闭合程度超过80以上的时间占总时间的百分比，并与预先设定的阈值进行比较，从而提醒驾驶员注意行车安全11。车道偏离报警系统DAS2000。当驾驶员驾驶疲劳时，往往出现精神萎靡、注意力分散、反应迟钝等现象，且最容易无意识地驶出中线或者偏离车道。2004年，美国Ellison Research Labs实验室研制的DAS2000型路面警告系统，通过车的轨迹对疲劳驾驶进行监测12。这些测量方法都在一定程度上实现了对疲劳特征的跟踪和监测，但是这些检测方要么实时性不高，要么精度不高，经常出现误报警现象。其实当人疲劳时，面部的疲劳特征是十分明显的，若是能对面部特征进行监测，则可以很好地对疲劳进行监控。近些年计算机技术的发展给人脸识别提供了可能。人脸识别研究引起了学术界越来越多的关注。主要的研究方向有以下几点13：(1)肤色区域分割与人脸验证方法。通常情况下，我们对于彩色图像的图像处理，首先是在确定肤色模型之后，对肤色进行肤色像素检测；然后在检测出肤色像素后，按照肤色像素在空间上的相关性和色度上的相似性上，分割出可能存在的人脸区域，然后根据被测区域的灰度、几何特征等参数，对是否是人脸进行判断，以区分具有类似肤色的其他物体。(2)基于人工神经网的方法。人工神经网方法主要是通过神经网的结构和参数来表示模型的统计特征，由于人脸的外部轮廓较为复杂，无法用数学模型进行描述，所以基于人工神经网的方法在人脸特征识别中具有独特的优势。(3)基于启发式模型的方法。基于启发式模型的方法主要是通过抽取灰度、纹理、几何形状等特征进行检测，以判断其是否符合人脸特征。由于人脸区域内的各个器官具有较为恒定的模式，因此对双眼、鼻子、嘴等局部特征进行检测，然后根据人体五官的相对位置关系判断被测物体是否为人脸。对于较强约束条件下的人脸检测，利用人脸的轮廓、对称性等少量特征的方法比较适用。人脸因人而异，绝无相同。虽然在表情、年龄或发型等发生一些变化的情况下，人类仍可以毫不困难地确定出一个人的身份，但要建立一个能够完全自动进行人脸识别的系统却是非常困难的。它涉及到模式识别、图像处理、计算机视觉、生理学、心理学以及认知科学等方面的诸多知识，并与基于其他生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系。20世纪90年代以来，随着安全领域各种应用需求的增加，人脸识别技术成为一个热门的研究课题。虽然已经取得了一些可喜的成果，但在实际应用中仍面临着许多严峻的问题。人脸的表情、姿态、发型以及化妆等多种影响因素都给识别带来了困难。要让计算机像人一样准确地识别出不同的人脸，尚需不同研究领域的研究人员共同不懈的努力。人脸识别(Face Recognition)一般可描述为14：对给定的静止图像或动态视频，利用己有的人脸数据库来确认图像中的一个或多个人。从广义上讲，其研究内容包括以下五个方面：(1)人脸检测(Face Detection) 即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的影响。(2)人脸描述(Face Representation) 即采用某种方式表示检测出的人脸和数据库中的人脸。通常的表示方法包括几何特征(如欧氏距离、曲率、角度等)、代数特征(如矩阵特征矢量)、固定特征模板、特征脸、云纹图等。(3)人脸鉴别(Face Identification) 即透常所说的人脸识别，就是将待识别的人脸与数据库中的己知入脸比较，得出相关信息。这一过程的核心是选择适当的人脸表示方式与匹配策略。(4)表情分析(Facial Expression Analysis) 即对待识别人脸的表情进行分析，并对其加以分类。(5)物理分类(Physical Classification) 即对待识别人脸的物理特征进行分类，得出其年龄、性别、种族等相关信息。一般的人脸识别系统构成，包括人脸检测、人脸预处理、特征提取、人脸特征库、相似性匹配、结果输出等部分。目前，国外大学和研究机构已研制出一些较好的人脸识别系统。一些较成熟的商业人脸识别系统，如德国的Cognitee，美国的Eyematie，Indentix等也已投入应用。对一些安全性要求很高的应用，可采用多生物特征融合的识别技术15，如DCSAG公司的BioID系统，通过数字摄像头和麦克风，采集一个人的面貌、声音以及嘴唇运动等三种生物特征，通过生物特征融合技术，在一秒钟内快速完成身份识别。另外，由美国首先发起16的FERET(Face Recongnition Technology)和FRVT(Face Recognition Vendor Test)人脸识别测试活动也大大推动了人脸识别技术的研究和应用。我国在国家自然科学基金和863计划等资助下，清华大学、哈工大、中科院、南京理工大学，上海交大等很多单位展开了人脸识别技术的研究17。北京工业大学(信号与信息处理研究室)也在人脸检测方面取得了较好的研究成果和澳大利亚的新南威尔士大学联合提出的人脸检测技术已经被国际MPEG-7接受作为标准。为了推动人脸识别研究的发展，国内已举行过四届生物识别学术会议，中国科学院自动化研究所也发起成立了中国生物认证产业联盟。据国际生物识别产业协会估计，我国生物识别技术的软件和硬件市场，有望在10年内达到每年20亿美元的规模。但是，目前国内的研究水平仍低于国际水平，许多核心技术被国外大公司掌握。因此，研究开发具有自主知识产权的人脸识别技术是一个新的挑战。研究最多的是关于人脸正面模式的研究18，主要可以分为三个发展阶段：第一阶段是对人脸识别所需要的面部特征进行研究。这个阶段主要是将一个简单命令语句与数据库中某一张脸联系在一起，并采用与指纹分析技术相结合的方法，由被测实验来看取得了较好的识别效果。但是为了提高脸部识别率，操作人员的操作贯穿于整个识别过程，而并未采用自动识别系统进行操作。第二阶段是人机交互式识别阶段。科研人员在这一阶段对人脸正面图像主要采用几何特征参数来表示，并且将人脸面部特征采用特征矢量来表示，而且针对这种特征表示方法，设计了相应的识别系统。不过这个阶段仍然需要利用操作员的某些经验知识，还是需要工作人员的参与。第三阶段是自动识别阶段，近几年的人脸模式识别方法，随着计算机计算速度的加快，有了较大的突破，几种全自动机器识别系统已经被应用。根据人脸表征方式的不同，可以分三种人脸自动识别方法，即基于连接机制的识别方法、基于几何特征的识别方法和基于代数特征的识别方法。早在80年代，我国就已经着手于人脸自动识别的研究。我国许多研究机构、大专院校已经在图像处理和模态分析等方面都取得了较多的研究成果，对包括人脸识别在内的人体生物特征识别技术的基础研究和应用开发工作进行了大量的研究。1.3 本文主要研究内容本文的主要研究内容是基于人脸识别的疲劳驾车检测，首先要分析人脸上各器官与疲劳驾驶有关的特征，然后设计一种有效的疲劳分析方法，最后应用ASM模型设计对人脸进行识别的方法。39第2章 疲劳分析和疲劳检测第2章 疲劳分析和疲劳检测2.1 疲劳驾驶特征综述 所谓驾驶疲劳是指驾驶员在作业或行车中，由于驾驶车辆的动作反复连续且重复的次数太多，使其生理上和心理上发生某种变化，在客观上出现驾驶机能低落的现象19。一般认为驾驶疲劳是同时涉及脑力和体力的技术性疲劳。由于驾驶员动作反复、连续，且重复的次数太多，使其生理上、心理上发生某种变化，在客观上出现驾驶机能低落的现象。疲劳的表现可分为身体症状、精神症状和神经症状。身体症状表现在身体有倦怠、沉重、硬板的感觉，下车后弯腰感到困难，以及周身疼痛、手脚和小腿发胀等；精神症状表现为思考不周全、记忆力减退、精神涣散、焦虑、急躁等；神经症状主要表现在动作失调、脸部的其它肌肉颤动、手脚发抖、精神不振等。驾驶员在驾驶过程中，频繁发生信息接收与处理的过程中产生了驾驶疲劳,使驾驶员工作能力下降、生理和心理发生变化、出现疲劳感。目前在机器视觉领域，驾驶员的疲劳状态可通过面部视觉图像进行判断，在疲劳时驾驶员眼睛部位的形状将会发生明显的变化。这些特征是明显的，也是可以被检测到的，驾驶员精力充沛时，眼睛睁开；进入轻度疲劳时，眼睛睁开变小；特别疲劳以至于睡眠时，眼睛经常会出现完全合上的状况。通过图像处理与模式识别算法识别和判断上述驾驶员的行为和状态，并对驾驶员疲劳违章驾驶行为和状态发出报警信号，从而提醒驾驶员注意驾驶安全。驾驶员频繁地处于打哈欠状态时，很可能处于疲劳驾驶状态。驾驶员长时间地处于说话张嘴状态，很可能与他人说话或者打手机通话，这都会导致驾驶精神分散。这两种驾驶员状态很容易导致交通事故。仅仅依靠眼睛部位的信息，容易产生误报警。因为不同的人眼的全睁开的面积是不一样的，例如，对于眼睛比较小的或者眼睛处于半睁半闭状态时，单纯用眼睛信息就会比较困难，进而会产生误报警或漏报警。但在加入嘴部信息后，综合利用嘴部和眼睛信息来计算疲劳程度可以更加准确地获取疲劳信息。所以在本文中将会从眼睛和嘴部这两个人脸中比较容易检测到器官进行疲劳特征的分析，疲劳判定研究，但是在最后还会进行两种疲劳检测方法的综合。2.2 具体特征分析2.2.1 疲劳驾驶眼部特征分析 为眼睛闭合与事故发生的是时间关系，由此可见，眼睛闭合时间在事故前比事故后要长，眼睛闭合时间的长短与疲劳程度有密切的关系，驾驶员眼睛闭合的时间越长，疲劳程度越严重。因此通过测量眼睛闭合时间的长短就能够确定疲劳驾驶的程度。 图2-1 眼睛闭合时间与事故发生前后的时间关系测量在一定的时间内眼睛闭合时间所占的比例。根据眼睛闭合时间的长短与疲劳程度之间有着密切关系，驾驶员眼睛闭合的时间越长，疲劳程度越严重的现象。现在给出下列定义23：P70: 指眼睑遮住瞳孔的面积超过70就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。P80: 指眼睑遮住瞳孔的面积超过80就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。EM: 指眼睑遮住瞳孔的面积超过一半就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。美国国家公路交通安全局对该方法作了实验，实验结果表明该方法中的P80与疲劳发展程度的相关性较好，其他研究人员也得出了类似的结论。P80的测量方法：用摄像机获取驾驶员的脸部图像，通过图像处理得眼睛图像，经过眼睛状态识别确定眼睛是睁开还是闭合的；定义眼睑遮住瞳孔的面积超过80就计为眼睛闭合，但是在实际中瞳孔的闭合程度不容易测量，可行的简化方法是计算眼睛的闭合百分比。的计算公式如下： (2-1)式中 当前的人眼睁开高度： 人眼睁开最大高度，对于人眼睁开时的大小的定义是存在难度的，因为这个数据是因人而异的，经过统计可以得到一个估值，虽然不可能对每一个人都适用，但是仍然是有一定的使用度的。亚洲人人眼睁开时的平均高度为7.5 mm21。又由于亚洲人的平均瞳孔直径是2.54 mm，按照P80的标准来计算，当瞳孔遮蔽为80%时，就认为人眼闭合，那么计算出来的闭合度为89.3%93.3%，所以取89%，当闭合百分比大于89%时就认为眼睛处于闭合状态。然后对一个测量周期进行分析，选择5s为一个测量周期，每秒的监视频率为12帧，也就是一个测量周期会选取60张图片。 统计在一定时间内眼睛闭合时所占的时间比例。P80大于0.4，也就是一个测量周期中有超过20张图片被判定为闭合状态时，则认为驾驶员处于疲劳状态；当P80处在0.1和0.4之间时，判定为精神不饱满状态；当P80处在0.1以下时，判定其为精神饱满状态。 2.2.2 疲劳驾驶嘴的特征分析驾驶员频繁地处于打哈欠状态时，很可能处于疲劳驾驶状态。驾驶员长时间地处于说话张嘴状态，很可能与他人说话或者打手机通话，这都会导致驾驶精神分散，使反应速度降低。这两种驾驶员状态都很容易导致交通事故通过实时监测驾驶员嘴部的运动状态，可以识别驾驶员的以上两种状态，而这两种状态就可以作为判断驾驶员是否处于疲劳状态的一个依据。我们知道每一帧图像驾驶员嘴部的状态，即嘴闭合、普通张嘴(说话)和张大嘴(打哈欠)。疲劳驾驶状态和驾驶精神分散状态是一个连续累积的过程，因此不能只根据当前一帧驾驶员嘴部的状态来判断驾驶员的状态，这是因为人不说话时，偶尔也会张开嘴，而且人在说话时嘴也是时张时闭。为了减少驾驶员状态报警的误警率，提高系统撒警的准确性，需要根据驾驶员嘴部状态的连续时问系列数据统训规律统训决定驾驶员的状态。如果用“0”表示嘴闭合状态，用“1”表示普通张嘴状态，用“2”表示张大嘴状态。那么驾驶员嘴部状态就是由“0”、“1”、“2”组成的一个时间状态系列。本文将根据这时间状态系列来判断驾驶员的状态。驾驶员在正常驾驶过程中，其嘴基本上处于闭合状态。当驾驶员处于打哈欠状态时，其嘴张开很大。资料表明，人在打哈欠时张大嘴的平均时间至少持续5秒以上。根据这一原则，以5秒作为计算周期，系统监测频率为12帧/秒。如果5秒内统计驾驶员嘴部连续处于张大嘴状态，即60帧中驾驶员嘴部状态在状态时间系中“2”连续且其次数超过60次，则可以判断驾驶员处于打哈欠的疲劳状态，检测系统给予疲劳驾驶警告信号。嘴部区域的形状可以由上下嘴唇的形状来表示。如图2-3所示，本文选取如下各个嘴部区域特征点：A点为嘴部图像右嘴角点，B为嘴部图像左嘴角点，C点为嘴部图像上嘴唇中心最上点，D点为嘴部图像下嘴唇中心最下点，我们定义如下几个嘴部区域的几何特征值：图2-3 人嘴形状(1)嘴部区域的最大宽度嘴部图像右嘴角点A到左嘴角点B的距离，即线段AB的长度。 (2-2)(2)嘴部区域的最大高度嘴部图像上嘴唇中心最上点C到下嘴唇中心最下点D的距离，即线段CD的长度。 (2-3)针对不同的人嘴图像，根据该方法通过大量实验得出表2-122所示数据。由表可知嘴闭合状态下，与之比约为4：2，普通张嘴状态下，与之比约为4：3，张大嘴状态下，与之比约为4：4。实际应用时，可根据这三者之间比值的情况来确定驾驶员嘴唇状态21。表2-1 人嘴图像和的对应关系 状态 样本最闭合普通张开张大嘴1（65.0,29.0)（60.0,47.0)（66.0,71.0)2（58.0,28.0)（65.0,48.0)（68.0,75.0)3（61.0,29.5)（62.0,45.5)（59.0,61.0)4（63.5,31.0)（57.0,43.0)（63.0,68.0)5（62.0,30.0)（59.0,45.0)（61.0,66.0)2.2.3 原始数据的获取应用这种方法进行疲劳检测时，只能对固定的距离分析，虽然这个距离是因车和摄像头的安装而异的，但是对于某一辆车而言，车辆驾驶中驾驶员和摄像头的距离是相对固定的，所以原始数据的获取方法，也就是驾驶员的眼睛正常睁开的高度的测量和驾驶员的嘴的各个参数的测量都可以通过定制的方式获得。驾驶员在第一次使用这个系统时，选取该系统的原始数据采集选项，然后在精神饱满的状态下出现在摄像头之前一段时间，然后系统会记录下该驾驶员的特征，比如该驾驶员的眼睛正常睁开时的高度是多少，该驾驶员的嘴的宽度，嘴在闭合时嘴唇的宽度等信息，并以此为标准对今后该驾驶员进行检测。特别要注意的是，在启动原始数据采集收集选项时，驾驶员一定要确保当前的精神状态良好，因为原始数据的采集对于精确度地保证是至关重要的，后面的疲劳分析就是依据这个数据进行的，只有保证该数据的准确性才能更好的提高整个系统的精度。但是当驾驶员没有时间进行原始数据的采集或不能保证当前驾驶状态时，启动陌生人驾驶模式。由于人脸上的各器官在放缩中是成比例，则有： (2-4)式中 人眼的真实张开高度； 两眼真实距离； 人眼在图片中张开高度； 两眼在图片中的距离，所以有： (2-5)给定亚洲人平均两眼间的距离为3.233 cm，而和均可测，就可以算出，结合人眼张开高度7.5 mm，可以计算出人眼的闭合程度，但是这种方法由于用到了比例近似和人面部特征估计，所以并不精确，只能用在紧急情况下作为应急策略。2.3 眼睛和嘴特征的综合分析眼睛和嘴唇都包含着驾驶员是否疲劳的信息，本系统综合检测两者的状态作出疲劳状态判断，并将二者信息进行综合分析，从而为得出最终结论提供依据。表2-2 疲劳状志判定规则表眼睛闭合比例（e)嘴的状态嘴张开时间检测结果所有所有疲劳报警张大嘴3s疲劳报警普通张嘴30s疲劳报警闭合所有不报警张大嘴5s疲劳报警普通张嘴60s疲劳报警闭合所有不报警表2-2所示的疲劳判定规则是统计大量的实验数据23得到的。显然，当驾驶员长时间闭眼而嘴唇闭合时，系统需要判定驾驶员为疲劳状态；或者当驾驶员眼睛保持睁开而嘴巴长时间张开时系统也需要作出疲劳判断。而当眼睛和嘴唇状态处于睁开和闭合的中间状态时，单纯地依靠眼睛或者嘴唇信息去判断驾驶员的状态，就容易出现问题。这就需要综合眼睛闭合度和嘴唇张开信息，建立一个合理的规则共同决定驾驶员状态，而表2-2正好解决了这个问题，通过疲劳特征的综合分析，检测准确度显著提高。2.4 本章小结本章主要是进行疲劳特征的分析，在本章中介绍了人脸的两个可以用于疲劳分析的器官，即眼睛和嘴巴，并分别对其与疲劳驾驶有关系的疲劳特征进行了分析，还讨论了原始数据在现实中的获取方法，以方便准确地得驾驶员的人脸器官特征，在最后还进行了疲劳的综合分析。第3章 ASM人脸识别算法第3章 ASM人脸识别算法3.1 ASM模型的定义主动形状模型(ASM)是一种物体形状描述技术，最早Cootes24,25,26,27等人提出的。它的基本思想是选取一组训练样本，用一组特征点来描述样本的形状，然后对各样本的形状进行配准(使得形状尽可能地相似)，对这些配准后的形状向量利用主分量分析方法进行统计建模得到物体形状的统计学描述，最后利用建立的模型在新的图像中搜索物体轮廓，从而定位出目标物体。3.2 ASM人脸识别的优势3.2.1 ASM搜索算法的特点主动统计对象模型通过训练的方法得到对象的统计知识，从而建立对象的统计模型。统计对象模型的优点在于能够对各种形状的对象进行建模，因为关于对象的知识可以从训练数据中学习得到，所以它非常适合于形状复杂的对象分割。训练过程需要手工标定对象的形状，这虽然比较耗时费力，然而它却能够对各种形状进行建模，特别是不规则的形状(如鼻子、眉毛等)。因此人脸定位主要采用主动统计对象模型。主动统计对象模型和变形模板的主要区别在于统计模型中的各个参数是从数据中学习而来，是统计参数，参数之间的相互关系明确，而变形模板中的参数是人为设计的，参数之间的关系不明确，在设计能量函数的时候如何对它们进行权衡是非常困难的事情。同时，主动统计对象模型的匹配过程也通过统计学习得到，它往往没有明确的能量函数。ASM模型是典型的自顶向下图像理解的策略，它用全局的模型在图像解释的过程中去约束指导我们。而仅用内力的Snake方法是数据驱动的或自下向上的策略，从低层次的图像的梯度纹理等信息出发，通过启发式的局部信息的合成来辨认感兴趣的目标区域，这是很困难的。主动统计对象模型有优秀的性质，这种方法的优点主要体现在28：其具有广泛的适用性，同一套算法可以被应用于许多不同的问题，区别仅仅在于提供不同的训练集；法方特模型给出了一个简洁的表达方式，它允许一定范围内的变化，但是有足够的能力排除训练集得到的变化范围以外的任何变化；除了从训练集学习到的特征，系统不需要标定的对象特征的其他任何先验假设，比如模型中不需要类似边界光滑度的一些参数。ASM模型主要包括两部分：模型的建立和目标搜索，下面将详细介绍。由于是基于统计的模型，所以在进行处理之前要先在程序中预存一些训练图片，这些训练图片要进行标定特征点，勾勒出其所要识别器官的轮廓，这一步很重要，所以训练图片越多，特征点选取越多，特征点选取的越精确，最后的识别精度也就越高，但是要注意，所选的特征点不能过多，否则会使计算强度过大，使计算速度减慢，从而无法实现动态识别。为拟合出人脸轮廓，首先在平均模板基础上生成一个初始形状估计，然后根据一定的搜索策略调整标记点位置，让初始形状在待识别的图像不断地变形，直至收敛，最终拟合出人脸的轮廓。初始形状估计和搜索策略的选择对算法的搜索效率至关重要。3.2.2 几种识别方式对比分析在第一章中介绍了人脸识别的三种主要研究方向，现进行对比分析，见表3-129：表3-1 识别方式特点比较 特点 方法优点缺点肤色区域分割与人脸验证方法可以很好的实现脸部定位对器官的定位精度较低基于人工神经网的方法便于建模，鲁棒性较好运算速度较慢基于启发式模型的方法可用于复杂背景图像中人脸检测，检测速度快需要解决图像处理方面的一些难题由表可以看出，在对实时性要求比较高的驾驶疲劳检测中，基于启发式的模型方法是有优势的，而ASM模型这是基于这一思路的，也是对灰度和纹理特点进行分析，所以该模型是合适的。与现在比较流行的Adaboost人脸检测方法进行比较，ASM模型在反应速度上和精度上都都较易达到较高要求。3.3 ASM的模型建立ASM中的一个核心部分是用统计的方法建立所考察对象的形状模型。通常用一系列的坐标点来定义某类目标的形状。这样的定义方法是可以推广的，例如可以用点的2-D坐标，也可以用其3-D坐标，还可以加上时间轴的坐标等。通常在2-D图像中，假定目标的形状可以用一系列(手工标定的)点的坐标来表示，即 (3-1) 为了建立统计模型，需要有大量的类似数据作训练样本。同样在这些训练标本上需要仔细地标定好上述用来表征目标形状的点，这些点的选取精度和样本的丰富性直接影响所建立的形状模型的应用性能。同时还应注意到，在对上述样本作统计分析之前，必须保证这些点在同一个参考帧坐标系下，即需要做一个样本标准化的过程。标准化是为了保证所有样本具有相同的尺度意义、相同的旋转方向，并去除掉简单的刚性变化的影响，使模型能一致地对感兴趣的特征进行建模。标准化过程通常是经过一个简单的迭代过程来实现的，这个过程可用以下流程描述30：(原点，形状标准化配准)(1)将每个样本位移到它的中心处。(2)选取某个样本作为初始的平均形状的估计值，它的尺度设成，并将该初始估值设为默认的参考帧。(3)将所有的样本向当前的平均形状作对齐(向量，与向量对齐，即将进行面内旋转、坐标平移、尺度缩放得到，定义距离，并使其最小)。(4)重新计算新的样本平均值。(5)将新的平均值按照默认的参考帧标准化。(6)如果新的平均变化小于某个阈值，认为收敛，否则跳转到步骤(3)继续迭代直至收敛。得到调整好的训练样本后，就可以对训练集统计分析与建模，所得到的样本集可看作是一堆点的集合。现在的任务是寻找这样一个参数模型，其中是模型的参数向量。如果给一个参数，应能用该模型生成一个，并且这样的是有意义的。如果还能进一步的到模型的参数分布，用该模型解出适当的参数，进而完成对原始图像的解释。图3-1 形状对齐过程 下面是利用利用PCA方法进行形状模型建模的流程：(1)计算样本的均值。 (3-2) (2)计算样本的协方差矩阵。 (3-3)(3)计算协方差矩阵的特征值，并按特征值从大到小排序，即大的在最前面，小的在最后面，为对应的特征向量。(4)令，在主要分析中，将特征向量称为这组数据的主要成分，称为这组数据的主要成分矩阵。如上建立的模型可以表示成： (3-4)对于任何一个形状向量都可由参数确定，即 (3-5)向量即是所得到的模型参数，通过变化参数，可以变化形状向量以得到期望的结果。通常假定参数的分布是独立同分布的且都是高斯分布的，则每一个参数则都满足如下分布： (3-6)为了从参数得到有效的形状，应对参数作如下的限制： (3-7)亦即 (3-8)更简单的形式是参数满足： (3-9)上式表明每一个特征值实际上在假设参数是独立同分布的高斯分布时是参数的方差。为了保证模型生成的例子同原来的训练样本一致，上面的约束条件是必要的。3.4 ASM模型的搜索算法主动形状模型的搜索过程是一个启发的迭代搜索，其过程如下：(1)由模板的形状系数和式(3-4)重构出归一化的形状，再由几何变换参数生成当前的特征点集。(2)如图3-1所示，对特征点集中的每一个点，根据局部特征模型沿着发现方向在一定范围内寻找最佳的匹配点，这些最佳匹配点的集合就是更新后的特征点集。搜索的步长和采样间距相同。(3)把更新后的特征点集与基准特征集合对齐，得到新的集合参数和，使用式(3-5)可以得到形状系数。图3-2 ASM搜索示意图(4)使用先验模型约束更新后的形状。(5)循环至收敛。在主动形状模型算法中，如果特征点搜索的最佳匹配点和当前点的距离不大于采样间距时，认为这个点是收敛的。当收敛的特征点数目达到总数的图3-3 目标搜索策略90%时，认为整个算法收敛。在求局部纹理模型时个点的灰度表达式： (3-10)灰度梯度表达式： (3-11)灰度值标准化： (3-12)标准灰度梯度的均值： (3-13)N幅图标准灰度的协方差： (3-14)马氏距离求法： (3-15)在拟合算法中，标记点采用不同的搜索策略，得到的搜索结果也不同。在此，采用三种常用的搜索策略31：(1)基于像素邻域最大梯度值的搜索策略 计算图像梯度场，在当前形状模型的每个标记点的一个77的邻域内，取梯度值最大的点作为当前标记点的替代点。采用这种搜索策略，算法速度快，效率也比较高，大体上可以定位出轮廓的，但是标记点的变化没有方向性，容易受到其它边缘的干扰，比如衣领，耳朵等。(2)基于轮廓曲线法线方向的搜索策略 沿着当前形状曲线的法线所在直线上，以标记点为中心在顺着发现方向和逆着发现方向各取3个像素，选择的梯度值最大的点为当前标记点的替代点。针对不同的器官，选择一些关键的标记点，只调整这些关键标记点，而其它标记点则根据ASM模型的形状配准算法来求出。(3)基于方向场的轮廓搜索策略 由于图像的场具有凸显图像凹陷部分的特性，人脸图像的这种凹陷正好可以勾勒出人脸部分的轮廓。根据不同器官的轮廓特点，选取了一些的关键标记点。然后沿着当前标记点的向量场方向移动一个像素，在顺着该像素的向量场方向移动至下一个像素，如此循环，直到碰到凹陷的像素点或者移动像素数达到最大为止，把最后一个像素点作为当前标记点的替代点。而其它非关键标记点的位置则根据形状配准算法计算得到。对这三种策略进行了多组比较实验，发现有以下问题：第一种搜索方法在搜索时不具备连续性，时常发生跳变，对于人脸轮廓的搜索易受衣领等的干扰；第二种方法在对眼睛的搜索和上嘴唇的搜索时表现较好，然而对于鼻子，下嘴唇和轮廓都易于产生跳变，使图像不连续，对于人脸轮廓的搜索易受衣领等的干扰；第三种方法对于鼻子，下嘴唇和人脸轮廓的搜索上变现出良好的性质，而且轮廓一般都具有比较好的边界连续性。而对于眼睛和上嘴唇的搜索，易于收敛成一个点。在我的毕业设计中，我选择第二种思路，我认为选取几个重要的特征点，然后再进行收敛，并以这几个点的收敛效果判断其收敛是否完成时十分有效的，也是简便易行的。3.5 流程设计思路图3-4 人脸识别实现流程图我的设计思路是建立在对ASM实现的基本步骤的认识的基础上的，由于ASM人脸识别的实现步骤是特征点的建立、学习过程、搜索匹配过程三步，所以在流程中也是要基本上按照这个步骤进行。首先在程序中预存一些有特点的图片，对这些图片进行处理，进行手工描点，同时建立与图片相对应的数据存储文件，然后使用编辑好的matlab程序进行处理，由于ASM模型是基于统计的模型，所以这项工作是十分必要的，经过这一步之后，程序也就学习了人脸的剧本面部器官特征，然后生成一个大致的人脸模型，再对所要处理的图片进行大致选择，之后程序自动对人脸器官进行收敛处理，得出人脸的识别图，再通过数据生成函数来生成人脸识别模型。3.6 本章小结在本章中，主要介绍了ASM模型的特点和优势，进而介绍了ASM模型的算法和搜索过程，比较详细的说明了ASM的工作原理和工作步骤，并介绍了通过PCA建立ASM统计模型的方法和局部特征模型的收敛方法，这两个方法是ASM模型的核心算法。还给出了程序设计的流程图。ASM模型在本文中充当着桥梁的作用，因为课题是驾驶的疲劳检测，所以必须要定位和分析出人脸，而ASM模型正是为完成这项任务为引入的。第4章 图像处理和识别第4章 图像处理和识别4.1 图像预处理的必要性图像识别系统的处理流程一般可分为图像预处理、特征提取和识别分析三个阶段，其中图像的预处理阶段尤为重要，成功的预处理可以提高人脸检测、特征点定位以及识别的成功率，如果这阶段处理不好，后面的工作将无法有效展开。所以图像的预处理是确保整个系统准确工作的基础，没有这个可靠的基石就无法顺利完成后面庞大的识别过程。在实际应用中，预处理的主要作用有两方面：其一，由于受噪声、光照等方面的影响，系统获取的图像的质量不高，所以需要进行预处理，以有利于提取大家感兴趣的信息。这种情况下，要根据系统的不足或环境的影响(如光照)，采取有针对性的措施。其二，获取的图像信息不符合后续操作的具体要求，这时也需要对图像按照一定的要求进行预处理，例如，尺寸，角度方面的要求。总之，预处理是一个承上启下的过程。需要全面考虑整个系统的性能。图像预处理方式的选择应该因地制宜，不同的系统需要根据自身特点设计适合的预处理模块。如果预处理功能不能成功达到弥补系统不足的要求，势必影响整个系统运行的正确率；如果预处理算法过于繁杂，运算量过大，势必影响整个系统的实时性，所以预处理模块的设计要兼顾正确性与实时性。在基于嵌入式的人脸识别系统中，由于系统的实时性要求比较高，图像的预处理只是系统的一个前期阶段，而且ASM算法在建立局部纹理模型时，已经考虑到光照的影响，所以在预处理阶段光照补偿采用了常用的直方图均衡化方法。4.2 常用光照预处理技术光照问题是图像处理中比较关键而且难以解决的问题，尤其在入脸识别或检测系统中，一般的识别或检测算法是假定待检测图像是在均匀光照下获得的。而实际上受周围环境的影响，光照往往不是均匀的，这会导致人脸检测的正确率大大降低，所以有必要对光照进行补偿。光照预处理的基本思想是：对输入图像做各种图像处理操作或信号变换，将非标准光照情况下的图像变换为标准光照情况下的图像，其表达式如下： (4-1) 其中是原始图像，是变换规则，是经过变换后的图像。变换规则不同，对应着不同的预处理算法。目前常用的光照预处理算法有直方图均衡化、线性变换、对数变换、指数变换等3236，下面将对这些方法进行详细介绍。4.2.1 基于直方图的预处理方法在图像处理中，灰度直方图(图4-1)是一种函数，它表示图像中每一灰度级与该灰度级出现的频率之间的对应关系。假设一幅数字化的图像中总的像素数目为，某一灰度级为的像素数目为，则就是灰度级为的像素出现的概率，由此可以得到该图像的灰度直方图。直方图修正就是通过改变图像中每个像素的灰度级，以此来改变图像的直方图，使偏亮的图像变暗或是偏暗的图像变亮。两种比较常用的直方图修正技术是直方图均衡化和直方图规定化。图4-1 灰度直方图4.2.2 线性变换当光线较暗时，采集图像的效果比较差，因而有必要对图像的每一像素的灰度值进行修正来增加对比度，扩大图像灰度的范围，以达到图像增强的目的。采用线性灰度变换实现比较简单。假定原图像的灰度范围为，希望变换后的图像的动态范围为，则可以用如下面的式子来表示： (4-2)线性变换也是一种简单易行、效果较好的方法，但是，像素范围和都是手工输入的更好的方法应该是算出的值，再代入到线性方法中进行计算。但这需要一定的自适用算法，一定程度上会影响系统的实时性。4.2.3 对数变换Log(x)对数变换是另外的一种常用的灰度变换方法，在低灰度区域，大小的增量会使对数变换的函数值发生很大的变化，而在高灰度的区域，同样大小的增量，对函数值变化的影响甚微。依据对数函数的这一性质，可以使图像的低灰度