kinect传感器及其相关应用

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,Kinect传感器及其应用,宋攀婷,3113037013,Kinect结构,Kinect是微软公司研制的一款体感外设，实际上是一种3D体感摄影机。该设备共有3个摄像头，中间是RGB彩色摄像头，左右两边分别为红外投影机（红外线发射器）和红外摄像头（CMOS红外感应设备）,用于深度探测。Kinect搭配了追焦技术，底座马达会随着对焦物体移动而转动。同时Kinect还内置麦克风阵列，用于语音识别,Kinect深度图像产生原理,Kinect采用光编码技术，可以直接获取物体和摄像头之间的距离。基本思想是通过连续光（近红外线）对测量空间进行编码，再进过CMOS感应器得到编码的光线，将数据传递给晶片（ps1080系统级芯片SoC）进行运算解码，产生一张具有深度的图像。,核心一：结构光技术，激光散斑。,核心二：光源标定，参考平面，相关运算。,Kinect三角投影法的基本原理,Kinect用于检测和识别手势,肤色分割找到 手的位置,L*a*b颜色空间，b(2 3),1）RGB图像 L*a*b颜色空间,2）b=2,b=3时转换图像的两个切片,3）切片图像转换成二值图像,4）两幅二值图像进行”和“操作,A:手分割,A1：RGB图像,A2：深度图像,A3：b=2,A4：b=3,A5：和操作后的肤色图像,A6：手分割二值图像,通过K均值聚类分离手,如果两只手距离传感器有相同距离，二值图像仅会显示一支手，K=2代表人只有两只手,找到手掌中心,手掌比较宽大，可以近似为一个圆，两种选择：最小外接圆和最大内切圆（最佳），最大内切圆的中心近似为手掌中心。,B:手指识别,找到凸包：,用Graham扫描算法,检测指尖和手指方向,方向矢量和等腰三角形中顶角的二等分线平行,设置最大阈值A,Graham扫描算法寻找凸包,首先找到点集P中y坐标最小的点，如果y坐标相等，找出x坐标最小的点p0。,以这个点p0为基准，将其他点与之相连，夹角由小到大进行排序，依次为p1,p2p12。,C:手势呈现,手掌中心位置,手指数目,指尖位置,手指方向矢量,手势识别应用,剪刀-石头-布游戏,手势拖动屏幕图像：手掌中心决定拖动位置,皮影戏,优点,基于廉价深度传感器Kinect,不需要任何辅助工具，数据库和机器学习过程,检测出手掌和指尖位置及手指方向，获得更复杂的手势信息。,实验证明能检测大部分手势，手水平放置或垂直放置,当手掌朝向传感器打开时，检测率达到95%,。,缺点,：,手掌未朝向传感器打开时，深度图像中手掌的投影区特别小，不能检测到手的 位置。,计划方案,：使用多个传感器，从多个方向来检 测手势,不能很好地区分手部和肘部,手位于身体后方时，不能检测手势,改进,：利用Kinect提供的骨骼图像，基于深度图像和骨骼图像的一种手势识别算法,基于深度图像和骨骼图像来实现动态手势识别,两步：a:对手的部位进行追踪，即在视频流中每一帧中准确 找到手的位置;b:识别不同的手部动态动作。,优点,：,实时动态手势识别 对手的位置没有限制 不受照明影响,手位于前方,身体位于前方,动态手势识别的应用,在远程操控中，通过手来控制汽车的前进与后退；在讲解PPT时，通过手来控制PPT翻页；在播放音乐时，通过手的深度变化来控制音量大小；,医学方面：手术过程中模拟鼠标的各种功能，无需与终端设备接触，方便医生对患者影像资料的查阅。,尸体解剖,谢谢！,