智能信号处理课件

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,#,智能,信号处理,什么是智能？,智能可以是名词，也可以是形容词。,用作名词，智能是指人类所能进行的脑力劳动，包括感觉、认知、记忆、联想、计算、推理、判断、决策、抽象、概括,用作形容词，智能的意义是：人一样的、聪明的、灵活的、柔性的、自学习的、自组织的、自适应的、自治的,智能理论的研究包括两方面：其一是对智能的产生、形成和工作的机制的直接研究；其二是研究如何利用人工的方法模拟、延伸和扩展智能。,什么是,智能信号处理？,能够使用工具是人类的重要特征。人们对于体力上胜过他们的机器司空见惯，然而，当,IBM,的计算机（,Deep Blue）,打败国际象棋大师,Kasparov,的时候，许多人坐不住了：计算机如此聪明，它们能力的成长会失去控制，最终危害人类吗？,实际上，胜过人类棋手的计算机，无非是按照程序设计者事先规定的算法行事，是编程者的算法胜了国际象棋大师。,什么是,智能信号处理？,心理活动的最高层级是思维策略，中间一层是初级信息处理，最低层级是生理过程，即中枢神经系统、神经元和大脑的活动，与此相应的是计算机程序、语言和硬件。,研究认知过程的主要任务是探求高层次思维决策与初级信息处理的关系，并用计算机程序来模拟人的思维策略水平，而用计算机语言模拟人的初级信息处理过程。,这是智能信息处理的起源！,智能,信号处理,智能信号的处理方法,神经网络概念,BP,神经网络,神经网络的应用实例,1,、智能信号处理方法,人工智能,(Artificial Intelligence,，,AI),，是研究、,开发用于模拟,、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。,基于,人,的,慢速脑,研究,；,思维,观点,:AI,不仅限于逻辑思维，还应考虑形象思维、灵感思维，才能促进,AI,的突破性的发展。,快速脑,非逻辑脑,图像脑,右脑,慢速脑,逻辑脑,学术脑,左脑,1,、智能信号处理方法,人工智能,神经网络,小波分析,模式识别,模糊聚类,专家系统,遗传算法,2.1,神经网络的概念,人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力。其特点主要是具有非线性、学习能力和自适应性，是模拟人的智能的一条重要途径,。,它是由简单信息处理单元（人工神经元，简称神经元）互联组成的网络，能接受并处理信息。网络的信息处理由处理单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的连接权来处理的。,2.1,神经网络的概念,神经网络是人脑的某种抽象、简化和模拟，反映了人脑功能的若干基本特性：,（,1,）网络的信息处理由处理单元间的相互作用来实现，并具有并行处理的特点。,（,2,）知识与信息的存储，表现为处理单元之间分布式的物理联系。,（,3,）网络的学习和识别，决定于处理单元连接权系的动态演化过程。,（,4,）具有联想记忆的特性。,2.1,神经网络的概念,1943,年，美国心理学家,Mc Culloch,和数学家,Pitts,共同提出“模拟生物神经元”的被称为,MP,的人工神经元,模型,，,从此,开创了对神经网络的理论,研究。,2.1,神经网络的概念,其中：,为,阈值,为连接权,值,为激活函数,2.1,神经网络的概念,神经元模型的作用函数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。,2.1,神经网络的概念,MP,模型在发表时并没有给出一个学习算法来调整神经元之间的来连接权值。但是，我们可以根据需要，采用一些常见的算法来调整神经元连接权，以达到学习的目的。下面介绍的,Hebb,学习规则就是一个常见学习算法,。,Hebb,学习规则：神经网络具有学习功能。对于人工神经网络而言，这种学习归结为：若第,i,个和第,j,个神经元同时处于兴奋状态，则它们之间的连接应当加强，即,：,2.2,神经网络的互联模式,根据连接方式的不同，神经网络的神经元之间的连接有如下几种形式。,1,）前向网络,前向网络结构如下图。神经元分层排列，分别组成输入层、中间层（也称为隐含层，可以由若干层组成）和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。感知器网络和,BP,网络均属于前向网络。,2.2,神经网络的互联模式,2,）有反馈的前向网路,其结构如下图。输出层对输入层有信息反馈，这种网络可用于存储某种模式序列。如神经认知机和回归,BP,网络都属于这种类型。,2.2,神经网络的互联模式,3,）层内有相互结合的前向网络,其结构如下图。通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋抑制。这样可以限制每层内可以同时动作的神经元素，或者把每层内的神经元分为若干组，让每一组作为一个整体进行运作。例如，可以利用横向抑制机理把某层内具有最大输出的神经元挑选出来，从而抑制其他神经元，使之处于无输出的状态。,2.3,神经网络,的学习方式,神经网络,的学习,也,称为,训练,，指的是通过神经网络所在环境的刺激作用调整神经网络的参数（权值和域值），使神经网络以一种新的方式对外部环境做出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。根据学习过程的组织方式不同，学习方式分为两类,：,有监督学习和无监督学习。,2.3,神经网络,的学习方式,1,）,有监督学习：,对于监督学习，网络训练往往要基于一定数量的训练样本。训练样本通常由输入矢量和目标矢量组成。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和域值的调节。通过将期望输出成为导师信号，它是评价学习的标准。最典型的有监督学习算法是,BP,算法，即误差反向传播算法。,2.3,神经网络,的学习方式,2,）,无监督学习：,对于无监督学习，则无教师信号提供给网络，网络能够根据其特有的结构和学习规则，进行连接权值和域值的调整。此时，网络的学习评价标准隐含于其内部。,智能,信号处理,智能信号的处理方法,神经网络概念,BP,神经网络,神经网络的应用实例,3.1 BP,神经网络,有导师的学习方式,输入量与输出量构成一个训练对,正向,+,反向的数据流学习过程,正向：输入层 各级隐层 输出层,反向：输出层 各级隐层 输入层,BP,神经网络是一种多层感知神经网络，采用误差反向传递学习算法（,Error Back Propagation,），基本结构包括,输入层、中间层（隐含层）和输出层,，每层都由,节点,组成。,3.1 BP,神经网络,误差逆传播神经网络,(Back Propagation Neural Network,，简记作,BP,网络,),工程实际中运用最为广泛的一种神经网络。,3.1 BP,神经网络,输入模式从输入层经隐含层传向输出层的,“,模式顺传播,”,过程,网络的期望输出与实际输出之差的误差信号由,输出层,经,隐含层,向,输入层,逐层修正连接权的,“,误差逆传播,”,过程,由,“,模式顺传播,”,和,“,误差逆传播,”,的反复交替进行的网络,“,记忆训练,”,过程,网络趋向收敛即网络的全局误差趋向极小,值,的,“,学习收敛,”,过程。,性能（误差）函数,3.1 BP,神经网络,初始化,W,输入和期望输出,计算隐层和输出层的输出,迭代次数加,1,调节输出层和隐层的连接权值,改变训练样板,训练样终止？,迭代终止？,No,No,y,y,基本流程,3.1 BP,神经网络,BP,神经网络的运行,包括两个阶段,训练或学习阶段（,training or learning phase,）,向神经网络提供一系列输入输出数据组，通过数值计算方法和参数优化技术，使节点连接的权重因子不断调整，直到从给定的输入能产生所期望的输出。,预测（应用）阶段（,generalization phase,）,以训练好的网络，对未知的样本进行预测。,输入、输出层节点,网络层数,激活函数的选择,隐含层节点数的确定,学习速率和冲量系数,网络的初始连接权值,3.2 BP,神经网络设计要点,输入层节点数：,即实际问题中的因素个数，或称因变量个数,初始值预处理：,预处理方法有归一化处理、标准化处理和主成分分析等。常采用的是归一化处理,即将输入、输出数据映射到,-1,1,范围内,训练结束后再反映射到原数据范围。,输出层节点数：,实际问题中所要预测的值个数，或称自变量个数,网络层数,即确定隐层层数。,一般认为，增加隐层数可以降低网络误差提高精度，但也使网络复杂化。,设计神经网络应优先考虑,3,层网络（即有,1,个隐层）。,一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。,隐层节点数,目前理论上还没有一种科学的和普遍的确定方法，主要是按经验选取。一些经验公式可以参考,N=,输入节点*,75%,N=sqrt(,输入*输出,),确定隐层节点数的最,基本原则,是：,在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数；,隐层节点数必须小于,N-1,（,N,为训练样本数）；,训练样本数必须多于网络模型的连接权数，一般为,210,倍。,激活函数：,常采用,Sigmoid,型函数,学习速率：,过大加快收敛，但会导致系统震荡。,初始权值选取：,选择一组,介于,-0.5,0.5,之间的值作为网络初始权值。,优点：广泛的适应性和有效性,广泛应用于日常生活各个领域，包括材料性能预测、环境污染防治系统建模、心理学预测、产品销售预测、价格预测、市场供求分析、证券投资分析、农业灾害预测等，并取得了良好的拟合结果。,3.3 BP,神经网络的优缺点,(1)BP,算法的收敛速度慢，不能保证网络收敛；,(2)BP,算法从数学角度看是一种梯度最速下降法，这就可能出现局部极小的问题；,(3)BP,网络中隐含层神经元的数目目前仅有一些经验的选取方法；,(4)BP,网络并没有反馈存在，只是一个非线性映射系统；,(5)BP,网络的泛化能力较差。,缺点：,4,、,BP,神经网络的应用,函数拟合：,使得输入,P1,=,1:2:200,输出为,T1,=,sin(P1*0.1,）,谢谢！,