视觉视觉研究的准备基本原理与方法课件

视觉视觉研究的准备：基本原理与方法视觉建模组狄晓斐2010.09.08视觉视觉研究的准备：基本原理与方法视觉建模组提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍David Marr英国神经科学家、心理学家 教育背景Trinity College,Cambridge mathematics BATrinity College,Cambridge physiology PH.D.把心理学、神经生理学、人工智能融入到视觉处理模型 开创了计算神经这门学科 1945-1980David Marr英国神经科学家、心理学家提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍视觉是什么？普通人（包括亚里士多德）视觉是一处理过程：通过观看，认知有什么东西在什么地方 Marr 等人 视觉 Marr 方法论的要旨在于认为视觉是一种复杂的信息处理任务，其目的是要把握对我们有用的外部世界的各种情况，并把他们表达出来。-T.Poggio信息处理 表象视觉是什么？普通人（包括亚里士多德）Marr 方法论的要旨信息处理的观点 应信息处理任务和信息处理机器的需求而生 与我们周围很多现象相关（进化，思想等）特点：完整的理解需要多个层次的解释视觉普通人的直接经验脑科学家、生理学家和解剖学家细胞级的认识计算机工作者的程序实现信息处理的观点 应信息处理任务和信息处理机器的需求而生视觉普计算和计算机不同层次 计算 具体的信息处理任务 计算机能在程序控制下进行运算的机器 正在执行某一特殊信息处理任务的机器 人脑 不仅仅是一台计算机，而且是一台习惯于执行某些相当特殊的计算的计算机计算和计算机不同层次 计算哲学依据-意识的表象理论 假设意识可以利用内部表象系统 心理状态 判断内部表象当前正在说明的是哪些内容 心理过程 如何得到这样的内部表象 这些内部表象怎样相互作用视知觉研究的有用框架，本理论的出发点哲学依据-意识的表象理论 假设意识可以利用内部表象系统视知本书的内容安排 第一部分导言（阐明思想方法）、研究方法、表象框架以及如何得到这个框架 第二部分研究方法和理论框架在视觉中的体现 第三部分 自问自答，阐明研究方法背后的思想方法本书的内容安排 第一部分提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍视觉研究的背景早期阶段 牛顿（1704）：颜色视觉 亥姆霍兹（1910）：生理光学 Wertheimer（1923）：在像电影那样依次呈现的图像中发生的不是单个点的运动，而是整体的（即“场”的）视运动 心理学格式塔学派：描述整体的性质（共同性、差异性），阐明这些整体发生的“法则”视觉研究的背景早期阶段 知觉心理学研究者，研究知觉的各种性质和实现情况 颜色视觉的三原色理论 运动知觉 知觉的独立模块 Miles(1931)&Wallach and OConnell(1953)B.Julesz 双眼随机点立体图知觉心理学研究者，研究知觉的各种性质和实现情况心理物理学Campbell&Robson(1968):在我们的知觉器官的前级，存在着若干个独立的空间频率调谐通道，即对图像中以一个特定尺度或空间间隔出现的光强度变化敏感的通道。表象的提出及解释 Shepard and Metzler(1971):意识的移动实验心理物理学 电生理学方法（还原论方法）盛极一时 放大技术使记录单个神经元的活动成为可能 细胞“感受野”的概念Barlow：对单个神经细胞的活动以及它对其他神经细胞影响的反应的描述是理解神经系统功能的足够完整的描述 终归失败 结构的理解不能启迪了解运动系统，不能指导写程序 已有的研究重点在描述细胞行为而不解释为什么有这样的行为 电生理学方法（还原论方法）视区在做什么工作？哪些问题需要解释？应该在哪个层面上解释？Barlow,Hubel and Wiesel:特征检测器 当时视觉工作者们：从图像中提取边缘和线条非常棘手1.经验方法：边缘提取算子2.分析受限场景（比如：积木世界）3.Land,McCann and Horn颜色视觉的锐化处理理论和 Horn 从明暗恢复形状4.Marr and Poggio 存在一个层次独立的对知觉过程中所完成的信息处理任务进行分析和理解 视区在做什么工作？哪些问题需要解释？应该在哪个层面上解释？提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍信息处理系统-表象和描述 表象 一种能把某些实体或某几类信息表达清楚地形式系统，以及说明该系统如何行使其职能的规则 描述 使用某一种表象描述一个给定实体的结果 表象的特点 使某些信息明确而另一些隐藏 举例 阿拉伯数制、二进制信息处理系统-表象和描述 表象信息处理系统-处理从超级市场收银机入手 这个装置做什么？加法（加法的性质）为什么会这样做？约束条件 怎么做？加法规则 物理实现 晶体管等器件 信息处理系统-处理从超级市场收银机入手信息处理系统-三个层次三个层次间存在着一定的逻辑的因果关系，这种关系很松散某些现象可以只在其中一个或两个层次上进行解释联系与区别信息处理系统-三个层次三个层次间存在着一定的逻辑的信息处理系统-计算理论的重要性 构成视觉基础的计算的本质 研究神经元与理解视觉=研究羽毛与理解飞行 执行某个任务的程序与任务的理论的混淆 特殊机制解决特殊问题的解释的发展 做什么与怎么做的理论差别的模糊 阻碍了人工智能和语言学的交流（Chomsky 转移语法学的定位）信息处理系统-计算理论的重要性 构成视觉基础的计算的信息处理系统-的方法观点脑是从我们置身于其中的流动着的能量的阵列中寻找并提取与环境有关的信息，神经系统以某种方式与这些不变量谐振优点知觉问题：从感觉信息恢复外部世界有效性质的问题缺点1.未能认识到像图像表面这种物理不变因子的检测是信息处理问题2.低估了这种检测的困难信息处理系统-的方法观点信息处理系统-哲学上探讨知觉问题的传统！对知觉过程中的信息处理的复杂性没有足够的重视Austin 感觉和情感 外部世界存在一个真实的形状，通过视觉告诉人们这个真实形状是不可能的，不存在这样的规律和具体方法。我们有办法以任意一种精度描述这些形状，也存在这样的规律和方法！这正是视觉要解决的问题。信息处理系统-哲学上探讨知觉问题的传统！提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍视觉的表象框架视觉：一个处理过程，能从外部世界的图像中得到一个既对观察着有用又不受无关信息干扰的描述从一个表象获得另一表象的一个映射视觉目的 决定了一个表象是否有效人类视觉的精华 物体的形状表象和物体的用法、用途表象完全不同 即使人们不能理解物体用途，单靠视觉就能传递物体形状的内部描述人类视觉关注的是形状、空间及空间位型视觉的表象框架视觉：视觉的表象框架图像图像表达ZerocrossingRaw primal sketchFull primal skecth立体视觉运动分析轮廓分析光照分析表达3D物体识别物体形状位置的描述图选自王璐 视觉讲义视觉的表象框架图像图像表达ZerocrossingRaw p视觉的表象框架视觉的表象框架提纲 作者介绍 视觉是什么导言 视觉研究的背景 信息处理系统 视觉的表象框架 总结提纲 作者介绍总结视觉表象框架分析层次（信息处理）要素图2.5 维图3D 模型计算理论表象和算法硬件实现总结视觉表象框架分析层次要素图2.5 维图3D 模型计算理论谢 谢！