复杂驾驶条件下司机驾驶疲劳度检测的研究课件

,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2015-4-4,#,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,?复杂驾驶条件下司机驾驶疲劳度检测的研究?本科毕设结题辩论,电子与信息学院,郑伟龙,08,级电联班,指导教师：秦华标教授,蒸脸器哪个牌子好 :/dwz /FMCJb,课题研究背景与意义,1,课题研究内容与系统框架,2,复杂驾驶条件下人脸检测方法,3,复杂驾驶条件下人眼检测和状态识别,4,基于眼部特征的驾驶员疲劳状态检测,5,课题总结与实验效果演示,6,2,课题研究背景与意义,3,在欧洲， 10-20的司机死亡和受伤是由于疲劳导致驾驶员警戒水平降低所引发。,在美国，每年有10万起撞车事故是由于驾驶员困倦所造成的，造成4万的非致命性伤害和1550死亡,在我国，在2007年至2021年我国由疲劳驾驶导致的死亡人数分别占机动车驾驶人交通肇事总死亡人数的11.35%、10.91%和12.5%，平均每年约有9000人死于疲劳驾驶。,蒸脸器品牌排行榜 :/dwz /FMCJb,课题研究背景与意义,4,本课题的提,出,是基于以下几点问题：,我们能否在交通事故发生之前检测到司机疲劳状态；,对于疲劳检测技术，什么技术和方法是最可靠有效的；,如何在不分散驾驶员注意力的情况下有效地检测驾驶员精神状态并作出判断。,蒸脸器有用吗 :/dwz /FMCJb,课题研究背景与意义,5,疲劳检测试验性产品,复杂驾驶条件下人脸检测方法,8,人脸检测中的光照问题,根据驾驶员所处地理位置、所驾驶方向、以及驾驶的时间不同，阳光可能从多个方向照射过来，也可能没有阳光夜晚；车顶棚在中午的时候会在驾驶员脸上投下阴影。 多光照,复杂驾驶条件下人脸检测方法,9,人脸检测中光照问题方法初探,主动近红外图像传感器,获取红外图像,基于,光照估计,的近红外,图像增强,算法,复杂驾驶条件下人脸检测方法,10,1单尺度Retinex算法SSR,Retinex是一个合成词，是由Retina视网膜和Cortex大脑皮层组合而成的。Retinex理论解释了相同的物体在不同的光线底下颜色恒定性(Color Constancy)机理,亮度图像,反射图像,图,2-,单尺度,Retinex,的实验效果图,复杂驾驶条件下人脸检测方法,11,2多尺度Retinex算法MSR,多尺度,Retinex,实质是将多个单尺度,Retinex,的结果进行加权求和,图,2- 10,多尺度,Retinex,的实验效果图,金稻蒸脸器 :/dwz /FMCJb,复杂驾驶条件下人脸检测方法,12,3单尺度自商图像SSQ,自商图像与,Retinex,算法相似，它也是利用平滑核函数对输入图像进行卷积来估计亮度图像，利用输入图像与亮度图像的比值得到光照鲁棒的自商图像。,I(x,y),是输入图像，F是平滑卷积核函数,，这里我们用的是,低通高斯函数,图,2-,单尺度自商图像效果图,复杂驾驶条件下人脸检测方法,13,4多尺度自商图像MSQ,多尺度自商图像实质是将多个单尺度自商图像的结果进行加权求和。,图,2- 12,多尺度自商图像效果图,复杂驾驶条件下人脸检测方法,14,5离散余弦变换DCT,将图像进行离散余弦变换后，低频局部对应图像的亮度分量，反响的是光线变化局部。因此将DCT低频分量置零就可以得到光照鲁棒的反射图像，到达减小光照的影响。,图,2- 13,离散余弦变换效果图,复杂驾驶条件下人脸检测方法,15,6小波变换WA,对输入图像进行,离散小波变换,，然后处理得到的子带图像。它对,小波系数矩阵进行加权,，对变换的,相似系数进行直方图均衡化,，再利用,反小波变换,将独立的子带图像重建后得到归一化的图像。,图,2- 14,小波变换效果图,复杂驾驶条件下人脸检测方法,16,7非局部均值法NLM,这种方法基于一种想法，就是每个小的图像窗口都能找到与之相似的其他图像窗口，利用这些窗口就可以进行去噪处理。,表示加权函数，计算原始图像的空间位置,z,x,像素局部相似性,图,2- 15,非局部均值法（,NLM,）效果图,复杂驾驶条件下人脸检测方法,17,8直方图均衡HE,图,2- 16,直方图均衡化（,HE,）效果,复杂驾驶条件下人脸检测方法,18,测试,图,（原图、,SSR,、,MSR,、,SSQ,、,MSQ,、,DCT,、,WA,、,NLM,、,HE,）,复杂驾驶条件下人脸检测方法,19,基于,Adaboost,的人脸检测,Adaboost,是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器,(,弱分类器,),，然后把这些弱分类器集合起来，构成一个更强的最终分类器,(,强分类器,),。,优点：1)构建简单子分类器，利用Adaboost算法将这些分类器进行级联，构造强分类器；2) Adaboost算法即使训练次数很多，也不会出现过拟合的问题；3随着训练迭代次数增加，分类器识别错误率会逐渐下降。,复杂驾驶条件下人脸检测方法,20,基于,Adaboost,的人脸检测,训练过程,使用,类,Haar,矩形特征,作为输入，利用,积分图像,加速矩形图像值的计算，训练各个,弱分类器,，最后将弱分类器节点组成筛选式级联方式。,检测过程,通过加载分类器，根据训练所得到的分类器特征对输入图像进行检测,图,2- 28 Adaboost,人脸检测实验测试图,人眼,检测和状态识别,研究,21,人眼检测定位方法研究,眼睛定位是较难的研究课题，因为人的眼睛的面积比例比较小，另外由于人脸区域眉毛、眼镜等干扰也会造成眼睛定位算法的错误识别。,人眼检测定位方法：,基于Adaboost的眼睛检测定位方法,基于人脸三庭五眼比例特征人眼检测定位方法,人眼,检测和状态识别,研究,22,基于,Adaboost,的眼睛检测定位方法,图,3- 2,基于,Adaboost,的眼睛检测定位方法效果图,人眼,检测和状态识别,研究,23,基于三庭五眼比例特征人眼检测方法,人眼,检测和状态识别,研究,24,人眼状态识别方法研究,本课题对以下几种眼睛状态识别方法进行研究和比较,基于眼睑曲率的眼睛状态识别,基于分段眼睑曲率的眼睛状态识别,基于椭圆拟合的人眼状态识别,基于水平投影及比例特征的人眼状态识别,判断黑色像素比例进行人眼状态识别,人眼,检测和状态识别,研究,25,基于眼睑曲率的眼睛状态识别,人眼睁开时，上眼睑向上弯曲，曲率为正；而在闭合时，上眼睑根本呈扁平状，曲率根本为零。因此可以通过提取人眼的上眼睑，通过计算上眼睑的曲率来判断当前人眼状态。,人眼,检测和状态识别,研究,26,基于眼睑曲率的眼睛状态识别,上眼睑曲率提取过程：,1边缘检测,较好保持边缘连续性的Canny算子,2上眼睑轮廓提取,上眼睑根本上位于边缘图像的最上部，按列扫描图像取出每列的最上面的点，即为上眼睑。,3中点和边界点提取,提取上眼睑的边界点以及中点。,4计算曲率,5阈值判断,人眼,检测和状态识别,研究,27,基于眼睑曲率的眼睛状态识别,曲率阈值,睁眼样本（,124,）,闭眼样本（,130,）,正确数,错误数,正确率（,%,）,正确数,错误数,正确率（,%,）,0.114,113,11,91.1,105,25,80.7,0.115,112,12,90.3,107,23,82.3,0.116,112,12,90.3,109,21,83.8,0.117,101,13,81.5,110,20,84.6,0.118,109,15,87.9,112,18,86.1,人眼,检测和状态识别,研究,28,基于分段眼睑曲率的眼睛状态识别,这种方法与上面方法类似。,主要区别在于：1眼睑曲线的拟合，眼睑曲线原先利用提取的边缘曲线，而这里利用的是三阶多项式对眼睑曲线进行拟合。2曲率的计算，前面的方法考虑的是上眼睑的整体特性，只计算一次曲率，而本方法是将眼睑曲线分成假设干段，再分别计算这几段的曲率，将这些曲率进行求和后，作为判断眼睛状态参数。,眼睑轮廓曲线拟合,上眼睑边界点提取,人眼,检测和状态识别,研究,29,基于分段眼睑曲率的眼睛状态识别,曲率阈值,睁眼样本（,124,）,闭眼样本（,130,）,正确数,错误数,正确率（,%,）,正确数,错误数,正确率（,%,）,0.12,108,16,87.1,64,66,49.2,0.13,107,17,86.3,75,55,57.7,0.14,107,17,86.3,81,49,62.3,0.15,105,19,84.7,94,36,72.3,0.16,99,25,79.8,106,24,81.5,人眼,检测和状态识别,研究,30,基于椭圆拟合的人眼状态识别,人眼轮廓与椭圆非常近似，人眼在睁开状态下的圆形度要高于闭眼状态下的，通过对人眼进行椭圆拟合，然后判断椭圆长半轴以及短半轴的比例关系可以作为人眼状态判断的参数。,图,3-,上眼睑轮廓曲线拟合,人眼,检测和状态识别,研究,31,基于椭圆拟合的人眼状态识别,b/a,睁眼样本（,124,）,闭眼样本（,130,）,正确数,错误数,正确率（,%,）,正确数,错误数,正确率（,%,）,0.21,117,7,94.3,75,55,57.7,0.22,112,12,90.3,87,43,66.9,0.23,105,19,84.7,92,38,70.8,0.24,102,22,82.3,100,30,76.9,0.25,99,25,79.8,104,26,80.0,人眼,检测和状态识别,研究,32,基于水平投影及比例特征的人眼状态识别,当人眼睁开时，水平投影直方图高度比较低，宽度比较长，而人眼闭合状态时，水平投影直方图高度比较高，宽度比较短。,人眼图像二值化效果,左图是睁眼图像直方图投影，右图是闭眼图像直方图投影,人眼,检测和状态识别,研究,33,基于水平投影及比例特征的人眼状态识别,高度,/,宽度,睁眼样本（,124,）,闭眼样本（,130,）,正确数,错误数,正确率（,%,）,正确数,错误数,正确率（,%,）,4,98,26,79.0,119,11,91.5,5,103,21,83.4,109,11,91.5,6,106,18,85.5,116,14,89.2,7,108,16,87.1,104,26,80.0,人眼,检测和状态识别,研究,34,判断黑色像素比例进行人眼状态识别,人眼图像二值化效果,该方法判断的依据是当睁眼时，人眼区域的黑色像素比例会大于闭眼的情况。,人眼,检测和状态识别,研究,35,人眼状态识别方法结果分析,人眼状态识别方法,睁眼样本识别率,闭眼样本识别率,处理时间,评价,基于眼睑曲率的方法,87.9%,87.7%,11ms,好,基于分段眼睑曲率的方法,79.8%,81.5%,12ms,较好,基于椭圆拟合的方法,80%,80%,10ms,较好,基于水平投影及比例特征方法,85%,91%,14ms,好,判断黑色像素比例的方法,76.6%,65.4%,8ms,较差,基于眼部特征的疲劳状态检测,36,基于,PERCLOS,与眨眼频率的疲劳检测,PERCLOS准那么,PERCLOS(Percentage of Eyelid Closure Over the Pupil Time)是指单位时间内眼睛闭合的时间的百分比。通过大量实验数据说明，PERCLOS与疲劳程度具有良好的相关性，美国公路管理局推荐将PERCLOS准那么作为基于视觉的驾驶疲劳判断的最好方法。,基于眼部特征的疲劳状态检测,37,基于,PERCLOS,与眨眼频率的疲劳检测,PERCLOS,计算方法,在本课题PERCLOS大于0.4时那么认为驾驶员处于疲劳状态,基于眼部特征的疲劳状态检测,38,眨眼频率,人的眼睛在正常情况下,眨眼频率平均为,10-15,次,/,分,，如果眨眼频率过低，可能是因为驾驶员疲劳，这种情况可以通过,PERCLOS,原理检测；另一方面可能是驾驶员走神，目光呆滞，这时计算得到的,PERCLOS,会很低，但是这种情况也应该报警，需要通过计算眨眼频率进行检测。,系统阈值：,下限不低于,5,次,/,分，上限不高于,25,次,/,分,基于,PERCLOS,与眨眼频率的疲劳检测,基于眼部特征的疲劳状态检测,39,基于眼部特征的疲劳状态检测,40,疲劳检测系统测试效果图,课题总结与实验效果演示,41,课题总结,本课题介绍了驾驶疲劳检测的意义和现状，描述了基于视觉的人脸检测、眼睛定位和眼睛状态识别等各种方法，着重比较了各种光照预处理方法以及眼睛状态识别方法，在此根底上采用了PERCLOS和眨眼频率相结合方法作为疲劳判断的核心算法，最终完成复杂驾驶环境下司机疲劳度检测系统设计。,实验效果演示,42,谢谢！,请专家批评指正,43,