第一讲-智能计算概述课件

大家好大家好1Department of Computer Science,Huazhong Normal University 智智 能能 计 算算 概概 述述课程目的程目的o系统地讲授智能计算的有关基础理论、技术及其主要应用。o通过本课程的学习，要求学生系统地掌握智能计算的基本内容与方法，了解智能计算的主要应用领域。o将智能计算方法与学生未来研究方向相结合，培养学生独立科研思维能力。o介绍智能计算研究的前沿领域与最新进展，培养学生科研兴趣。3开开课基基础学习本课程之前，要求已经选修过高等数学、计算机基础与算法人工智能基础等课程。4本课程的主要内容o第一部分：智能第一部分：智能计算概述算概述o第二部分：模糊数学第二部分：模糊数学o第三部分：第三部分：神神经计算算o第四部分：第四部分：遗传算法算法5主要参考主要参考书籍籍（一）1）模糊数学及其应用汪培庄，上海科学技术出版社 2）模糊数学及其应用梁保松、曹殿立，科学出版社 3）模糊数学楼世博，科学出版社 4）模糊数学教程 蒋泽军国防工业出版社（二）1）人工神经网络王伟北航出版社 2）神经计算戴葵等译，机械工业出版社6主要参考主要参考书籍籍（三）1）智能学简史冯天瑾科学出版社2）计算智能理论、技术与应用丁永生编著，科学出版社3）计算智能中的仿生学：理论与算法徐宗本，张讲社，编著，科学出版社4）计算智能的数学基础褚蕾蕾、陈绥阳编著，科学出版社5）智能信息处理熊和金国防工业出版社6）软计算方法张颖刘艳秋科学出版社7）演化计算潘正君、康立山清华大学出版社8）遗传算法-理论、应用与软件实现王小平西安交通大学出版社9）遗传算法原理及应用周明、孙树栋国防工业出版社7主要参考主要参考书籍籍10）神经计算科学阮晓钢国防工业出版社11）人工神经网络教程韩力群北京邮电大学出版社12）智能计算-关于粗集理论、模糊逻辑、神经网络的理论及其应用曾黄麟重庆大学出版社13）群智能算法及其应用14）微粒群算法 曾建潮、介婧科学出版社15）蚁群优化意 Marco Dorigo著张军胡晓敏等译16）如何求解问题现代启发式方法Zbigniew Michalewicz著 曹宏庆李艳等译中国水利水电出版社8智能学智能学智能学：即研究生物智能、人类智能以及人造智能的科学。21世纪的科学技术，已经向我们展示了一个丰富多彩的智能世界：人类智能、生物智能、智能机器人、生物信息系统；人工智能、计算智能、机器学习、智能仪器、智能机器人、机器翻译、人机对弈、人工生命、人工免疫系统、人造昆虫、机器人足球赛。9 智能计算是信息科学、生命科学、认知科学等不同学科智能计算是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要借鉴相互交叉的产物。它主要借鉴仿生仿生学和学和拟物拟物的思想，基于人的思想，基于人们对生物体智能机理和某些自然规律的认识，采用数值计算们对生物体智能机理和某些自然规律的认识，采用数值计算的方法去模拟和实现人类的智能、生物智能、其它社会和自的方法去模拟和实现人类的智能、生物智能、其它社会和自然规律。然规律。智能计算的主要研究领域包括：智能计算的主要研究领域包括：模糊计算、神经计算、模糊计算、神经计算、演化计算、群智能计算演化计算、群智能计算、免疫计算、免疫计算、DNADNA计算和人工生命等。计算和人工生命等。本课程主要学习内容包括模糊计算、神经计算、演化计本课程主要学习内容包括模糊计算、神经计算、演化计算等。算等。智能计算智能计算10计算算一切思维不过就是计算。霍布斯作为一般的智能行为，物质符号系统具有的计算手段，既是必要的也是充分的。人类认知和智能活动，经编码成符号系列，都可以通过计算机进行模拟。西蒙11梦 想o机器具有智能计算机科学家的梦想什么是智能？能感知、能学习、能思维、能记忆、能决策、能行动，智能的核心是思维。12图灵测试o怎样判断机器具有智能图灵测试19501950年年Alan TuringAlan Turing的文章的文章 “Computing Machinery and Computing Machinery and Intelligence.Intelligence.”（MindMind,Vol.59,No.236,Vol.59,No.236）提出图灵测试，检验）提出图灵测试，检验一台机器或电脑是否具有如人一样的思维能力和智能一台机器或电脑是否具有如人一样的思维能力和智能电脑和人分别封闭在不同的电脑和人分别封闭在不同的房间，测试者不知道哪个房间房间，测试者不知道哪个房间是人，哪个房间是电脑，他向是人，哪个房间是电脑，他向双方提出测试问题，电脑和人双方提出测试问题，电脑和人给出各自的答案，如果一系列给出各自的答案，如果一系列的测试问题之后，测试者分不的测试问题之后，测试者分不出哪些是电脑的答案，哪些是出哪些是电脑的答案，哪些是人的答案，则电脑通过测试，人的答案，则电脑通过测试，确实具有与人一样的智能。确实具有与人一样的智能。我是人哦！我是谁？如实回答？13测试悖悖论o公平性问题图灵测试的出发点显然是刁难电脑，要求电脑模仿人回答问题，公平吗？反过来要求人模仿电脑回答问题，公平吗？o标准性问题在怎样的智能水平下对电脑进行测试？天才、普通人还是婴幼儿，或者说怎样认定电脑的智力水平？o全面性问题怎样全面地测试电脑的智能，喜、怒、哀、乐和表情等有关情感的测试如何进行？测试边界怎样确定？o欺骗性问题电脑如果有意欺骗测试者，测试者能判断出来吗？在一定的范围内进行测试还是可行的14困 惑o哲学问题（1）规则与规律：规则是制定的，规律是客观存在的，从规则能自动发现规律吗？（2）生命与非生命：智能是高等生命体独有的能力，非生命体内能产生智能吗？（3）物质与意识：唯物主义和唯心主义都承认二元论，只是在何者起决定作用上争论不休，智能能在机器内产生将导致一元论物质生成一切？（4）智能的本质：理性与感性、思考与行动、社会性与个体性o伦理问题（1）电脑与人脑：能否互换？（2）机器人与人：机器能否融入人类社会？（3）情感与役使：机器是人制造并使用的工具，一旦机器人具有了智能和情感，人类还能当奴隶一样地役使吗？（4）机器人叛乱：机器人群体有可能叛乱而反过来役使人类吗？15现实的梦o比尔盖茨预测：智能计算发展前景乃是机器最终“能看会想，能听会讲”。o无论是人工智能，还是智能人工，只要能够殊途同归，造福于人类，那么所有的努力便都是有价值的。o未来，智能机器作为真正意义上的工作助手和生活良伴，将使我们的生活完全改观。o“聪明机器”的出现，也决不会成为人类的灾难，在智慧与创造力方面，永远是人类最有发言权。16人工智能（artificial intelligence，简称AI）o人工智能人工智能：用人工的方法和技术，模仿、延伸和扩展人的智能用人工的方法和技术，模仿、延伸和扩展人的智能,实现机器智能。实现机器智能。o人工智能的人工智能的五个基本五个基本问题(1)(1)知识与概念化是否是人工智能的核心？知识与概念化是否是人工智能的核心？(2)(2)认知能力能否与载体分开来研究？认知能力能否与载体分开来研究？(3)(3)认知的轨迹是否可用类自然语言来描述？认知的轨迹是否可用类自然语言来描述？(4)(4)学习能力能否与认知分开来研究？学习能力能否与认知分开来研究？(5)(5)所有的认知是否有一种统一的结构？所有的认知是否有一种统一的结构？o学科交叉学科交叉与生命科学、认知科学、物理学等众多学科高度交叉，共同研究智能行与生命科学、认知科学、物理学等众多学科高度交叉，共同研究智能行为的基本理论和实现技术。为的基本理论和实现技术。o三大学派三大学派 符号主义（符号主义（SymbolismSymbolism）、连接主义）、连接主义(Connectionism)(Connectionism)、行为主义行为主义（Behaviorism）从不同侧面模拟人的智能和智能行为。从不同侧面模拟人的智能和智能行为。17符号主义o代表人物代表人物19561956年，美国年，美国DartmouthDartmouth会议，几个年轻的美国学者会议，几个年轻的美国学者McCarthyMcCarthy、SimonSimon、MinskyMinsky、NewellNewell等首次提出人工智能的术语等首次提出人工智能的术语o基本思想基本思想（1）认知的本质就是计算，可称为认知可计算主义）认知的本质就是计算，可称为认知可计算主义与图灵机理论一脉相承与图灵机理论一脉相承（2）思维的基本单元是符号，智能的核心是利用知识以及知识推理进行问题）思维的基本单元是符号，智能的核心是利用知识以及知识推理进行问题求解求解（3）智能活动的基础是物理符号运算，人脑和电脑都是物理符号系统）智能活动的基础是物理符号运算，人脑和电脑都是物理符号系统（4）人的智能可以通过建了基于符号逻辑的智能理论体系模拟）人的智能可以通过建了基于符号逻辑的智能理论体系模拟（5）理论基础是符号数学、谓词演算和归结原理）理论基础是符号数学、谓词演算和归结原理18符号主义-续o智能表示智能表示（1）19591959年年McCarthyMcCarthy开发了著名的开发了著名的LISPLISP语言（语言（LISt Processing LISt Processing LanguageLanguage，表处理语言），基于函数的语言，通过符号（不是数值）运算进，表处理语言），基于函数的语言，通过符号（不是数值）运算进行推理，也是逻辑程序设计语言（行推理，也是逻辑程序设计语言（Logic ProgrammingLogic Programming）（2 2）19721972年年PROLOGPROLOG语言（语言（PROgramming LOGicPROgramming LOGic）问世，被称为演绎推理机，）问世，被称为演绎推理机，接口丰富，非常适合于专家系统开发，曾有人试图发明接口丰富，非常适合于专家系统开发，曾有人试图发明PROLOGPROLOG机器，以模拟机器，以模拟人的智能，但未获成功人的智能，但未获成功o知知识工程与工程与专家系家系统典型代表典型代表（1）产生式规则表示知识）产生式规则表示知识（2）产生式规则系统将领域专家的知识进行整理、存储构建知识库）产生式规则系统将领域专家的知识进行整理、存储构建知识库（3）专家系统运用知识库进行推理、问题求解等智能活动）专家系统运用知识库进行推理、问题求解等智能活动o推理方法推理方法知识表示与推理、归纳推理、基于事例的推理等知识表示与推理、归纳推理、基于事例的推理等19连接主义o代表人物代表人物 （1 1）19431943年生理学家年生理学家McCullochMcCulloch和和PittsPitts提出神经元的数学模型，神经元模型结合成多提出神经元的数学模型，神经元模型结合成多层结构成为神经网络层结构成为神经网络 （2 2）19591959年，年，RosenblattRosenblatt提出感知机模型（提出感知机模型（Perceptron)Perceptron)，具有输入层、中间联系层，具有输入层、中间联系层和效验输出层的三层结构和效验输出层的三层结构 （3 3）19821982年，年，HopfieldHopfield提出全互连的神经网络模型，成功求解提出全互连的神经网络模型，成功求解TSPTSP问题，掀起神经网问题，掀起神经网络研究高潮，对符号主义也产生了巨大冲击络研究高潮，对符号主义也产生了巨大冲击 （4 4）19871987年，戴维年，戴维.努梅尔哈特和杰弗里努梅尔哈特和杰弗里.欣顿提出误差反向传播（欣顿提出误差反向传播（Back-Back-PropgationPropgation）神经网络学习算法）神经网络学习算法o基本思想基本思想（1）人类认知活动主要基于大脑神经元的活动，人类思维的基本单元是神经元而不）人类认知活动主要基于大脑神经元的活动，人类思维的基本单元是神经元而不是符号，智能是互连神经元竞争与协作的结果是符号，智能是互连神经元竞争与协作的结果（2）模拟人的智能要依靠仿生学，特别是模拟人脑，建立脑模型）模拟人的智能要依靠仿生学，特别是模拟人脑，建立脑模型（3）电脑模拟人脑应着重于结构模拟，即人的生理神经网络结构，功能、结构和行）电脑模拟人脑应着重于结构模拟，即人的生理神经网络结构，功能、结构和行为密切相关，不同的结构表现出不同的功能行为为密切相关，不同的结构表现出不同的功能行为（4）分布式信息存储和大规模并行处理，自适应和自组织特性，学习和容错能力）分布式信息存储和大规模并行处理，自适应和自组织特性，学习和容错能力（5）理论基础是神经生理学与脑科学）理论基础是神经生理学与脑科学20神经元与神经网络21连接主义-续o智能表示智能表示（1）神经元状态值、连接权值、阈值和激励函数决定输出值神经元状态值、连接权值、阈值和激励函数决定输出值-隐式隐式表示方法表示方法 （2 2）通过学习算法修正神经元之间的连接权值，达到更精确的知识表）通过学习算法修正神经元之间的连接权值，达到更精确的知识表示，学习算法包括有导师和无导师学习算法两类示，学习算法包括有导师和无导师学习算法两类o模式模式识别典型代表典型代表（1）建立样本库）建立样本库（2）特征提取与特征库）特征提取与特征库（3）学习算法进行神经网络训练，模式的聚类、分类和识别）学习算法进行神经网络训练，模式的聚类、分类和识别o学学习算法算法提高学习和训练速度，保证全局收敛，网络结构设计和自适应调整提高学习和训练速度，保证全局收敛，网络结构设计和自适应调整22行为主义o代表人物代表人物19881988年，年，BrooksBrooks等人提出无需知识、知识表示和推理的智能系等人提出无需知识、知识表示和推理的智能系统，智能来自于系统的统，智能来自于系统的“感知感知-动作动作”模式，基于这样的思路，他发模式，基于这样的思路，他发明了六足行走机器，一个模拟昆虫行为的控制器。明了六足行走机器，一个模拟昆虫行为的控制器。o基本思想基本思想（1）智能是一个系统行为，智能行为可以通过与周围环境的的）智能是一个系统行为，智能行为可以通过与周围环境的的交交互作用互作用表现出来表现出来（2）智能的基础智能的基础是是“感知感知-动作动作”模式，类似于心理学的模式，类似于心理学的“刺激刺激-反应反应”，它也决定系统的结构和参量，它也决定系统的结构和参量（3）系统的）系统的智能行为智能行为决定于系统的决定于系统的结构和参量结构和参量（4）自组织自组织、自学习自学习、自适应自适应是智能系统得基本特征是智能系统得基本特征（5）理论基础理论基础是控制论、系统科学和心理学是控制论、系统科学和心理学23行为主义-续o智能表示智能表示（1）系）系统模型、模型模型、模型结构和参量构和参量-隐式表示方法隐式表示方法 （2 2）学习就是一次又一次地从外界接受条件和结果，即）学习就是一次又一次地从外界接受条件和结果，即“感知感知-动动作作”，积累知识的过程，积累知识的过程 （3 3）自学习是指：当一个新的输入条件决定后，能根据经验的积）自学习是指：当一个新的输入条件决定后，能根据经验的积累，给出相应结果的过程，或者当一个新的条件和结果给出后，能累，给出相应结果的过程，或者当一个新的条件和结果给出后，能够调整结构和参量的过程。够调整结构和参量的过程。o智能控制与智能机器人智能控制与智能机器人典型代表典型代表（1）建立建立系统模型系统模型（2）行为（）行为（感知感知-动作）动作）模拟，积累知识，模拟，积累知识，形成基本控制策略形成基本控制策略（3）学习与自学习学习与自学习进行自适应调整与优化，形成新的控制策略进行自适应调整与优化，形成新的控制策略o学学习算法算法自适应、自学习、自组织、自寻优等智能化方法自适应、自学习、自组织、自寻优等智能化方法24面临困境o源于复源于复杂性性 知知识的复的复杂性，知性，知识表示的表示的组合爆炸合爆炸不完整知不完整知识的表达的表达问题推理的推理的时空爆炸性空爆炸性神神经网网络结构复构复杂学学习、训练低效低效难以全局收以全局收敛能力限制能力限制复复杂行行为模模拟不能用精确的数学模型描述的不能用精确的数学模型描述的问题 25信息时代的呼唤工业时代工业时代能量资源能量资源-创造动力的工具创造动力的工具-获得能量获得能量物理学、化学物理学、化学创造动力工具的理论基础创造动力工具的理论基础信息时代信息时代信息资源信息资源-创造智能的工具创造智能的工具-获得智能获得智能智能计算理论智能计算理论创造智能工具的理论基础创造智能工具的理论基础26什么是智能计算o智能智能计算算（ComputationalIntelligence，CI）目前目前还没有一个没有一个统一一的的定的的定义，使用，使用较多的是美国科学家多的是美国科学家贝慈德克（慈德克（J.C.Bezdek）从智）从智能能计算系算系统角度所角度所给出的定出的定义:o如果一个系如果一个系统仅处理低理低层的数的数值数据，含有模式数据，含有模式识别部件，且具有部件，且具有计算适算适应性性、计算算容容错力力、接近人的接近人的计算速度算速度和和近似于人的近似于人的误差率差率这4个特性，个特性，则它是智能它是智能计算的。算的。o从学科范畴看从学科范畴看，智能智能计算是在神算是在神经网网络（NeuralNetworks,NN）、）、演化演化计算（算（EvolutionaryComputation,EC）及模糊系）及模糊系统（FuzzySystem,FS）这3个个领域域发展相展相对成熟的基成熟的基础上形成的一个上形成的一个统一的学一的学科概念。科概念。27智能智能计算与人工智能的关系算与人工智能的关系o目前，目前，对智能智能计算与人工智能的关系有算与人工智能的关系有2种不同种不同观点点，一种，一种观 点点认为智智能能计算是人工智能的一个子集，另一种算是人工智能的一个子集，另一种观点点认为智能智能计算和人工智能是算和人工智能是不同的范畴。不同的范畴。o第一种第一种观点点的代表人物是的代表人物是贝慈德克。他把智能（慈德克。他把智能（Intelligence，I）和神）和神经网网络（NeuralNetwork，NN）都分）都分为计算的（算的（Computational，C）、人工的（）、人工的（Artificial，A）和生物的（）和生物的（Biological,B）3个个层次，并次，并以模式以模式识别（PR）为例，例，给出了下出了下图所示的智能的所示的智能的层次次结构。构。o在在该图中，底中，底层是是计算智能（算智能（CI），它通），它通过数数值计算算来来实现，其基，其基础是是CNN；中；中间层是人工智能（是人工智能（AI），它通），它通过人造的人造的符号系符号系统实现，其基，其基础是是ANN；顶层是生物智能（是生物智能（BI），它通），它通过生物神生物神经系系统来来实现，其基，其基础是是BNN。o按照按照贝慈德克的慈德克的观点，点，CNN是指按生物激励模型构造的是指按生物激励模型构造的NN，ANN是指是指CNN+知知识，BNN是指人是指人脑，即，即ANN包含了包含了CNN，BNN又包含了又包含了ANN。对智能也一智能也一样，贝慈德克慈德克认为AI包含了包含了CI，BI又包含了又包含了AI，即智能，即智能计算算是人工智能的一个子集。是人工智能的一个子集。28CNNCPRCIANNAPRAIBNNBPRBI人类知识人类知识(+)传感输入传感输入知识知识(+)传感数据传感数据计算计算(+)传感器传感器B生物的生物的A人工的人工的C数值的数值的复复杂杂性性复杂性复杂性输入输入层次层次 贝慈德克的智能的贝慈德克的智能的3个层次个层次29o第二种第二种观点点是大多数学者所持有的是大多数学者所持有的观点，其代表人物是艾伯哈特点，其代表人物是艾伯哈特（R.C.Eberhart）。他）。他们认为：虽然人工智能与智能然人工智能与智能计算之算之间有有重合，但智能重合，但智能计算是一个全新的学科算是一个全新的学科领域，无域，无论是生物智能是生物智能还是机是机器智能，智能器智能，智能计算都是其最核心的部分，而人工智能算都是其最核心的部分，而人工智能则是外是外层。o事事实上，上，CI和和传统的的AI只是智能的两个不同只是智能的两个不同层次，各自都有自身次，各自都有自身的的优势和局限性，相互之和局限性，相互之间只只应该互互补，而不能取代。，而不能取代。o大量大量实践践证明，只有把明，只有把AI和和CI很好地很好地结合起来，才能更好地模合起来，才能更好地模拟人人类智能，才是智能科学技智能，才是智能科学技术发展的正确方向。展的正确方向。智能计算与人工智能的关系智能计算与人工智能的关系30智能智能计算的算的产生与生与发展展o1992年，年，贝慈德克慈德克在在Approximate Reasoning学学报上首次上首次 提出了提出了“智智能能计算算”的概念。的概念。o1994年年6月底到月底到7月初，月初，IEEE在美国佛在美国佛罗里达州的奥里达州的奥兰多市召开了首届国多市召开了首届国际智能智能计算大会算大会(简称称WCCI94)。会。会议第一次将神第一次将神经网网络、演化、演化计算和模糊算和模糊系系统这三个三个领域合并在一起，形成了域合并在一起，形成了“智能智能计算算”这个个统一的学科范畴。一的学科范畴。o在此之后，在此之后，WCCI大会就成了大会就成了IEEE的一个系列性学的一个系列性学术会会议，每，每4年年举办一一次。次。1998年年5月，在美国阿拉斯加州的安克雷奇市又召开了第月，在美国阿拉斯加州的安克雷奇市又召开了第2届智能届智能计算算国国际会会议WCCI98。2002年年5月，在美国州夏威夷州首府火奴月，在美国州夏威夷州首府火奴鲁鲁市又召市又召开了第开了第3届智能届智能计算国算国际会会议WCCI02。此外，。此外，IEEE还出版了一些与智能出版了一些与智能计算有关的刊物。算有关的刊物。o目前，智能目前，智能计算的算的发展得到了国内外众多的学展得到了国内外众多的学术组织和研究机构的高度重和研究机构的高度重视，并已成，并已成为智能科学技智能科学技术一个重要的研究一个重要的研究领域。域。31智能计算-回归自然o自下而上的研究思路自下而上的研究思路 传传统统人人工工智智能能研研究究思思路路是是自自上上而而下下，现现代代智智能能计计算算方方法法强强调调通通过过计算实现生物内在的智能行为，也称为智能计算计算实现生物内在的智能行为，也称为智能计算o从从简单到复到复杂的演化的演化进程程 智智能能的的获获得得不不是是一一蹴蹴而而就就，是是渐渐进进式式的的积积累累过过程程，简简单单中中孕孕育育复复杂，平凡中蕴含智慧杂，平凡中蕴含智慧o在在传统学科中学科中寻找算法找算法如如生生命命科科学学（遗遗传传算算法法）、物物理理学学（模模拟拟退退火火算算法法）和和化化学学（DNA计算）等计算）等o从自然与社会系从自然与社会系统中中获得灵感得灵感如如蚂蚂蚁蚁算算法法、禁禁忌忌搜搜索索和和粒粒子子群群优优化化方方法法，模模糊糊计计算算及及模模糊糊系系统统、粗造集及其系统粗造集及其系统32相互关系 智能智能计算与人工智能的界限并非十分明算与人工智能的界限并非十分明显，19921992年年BezdekBezdek给出了一个有出了一个有趣的关系趣的关系图，其中，其中 NNNN神神经网网络，PRPR模式模式识别，I I智能智能oAArtificial，表示人工的（非生物的），即人造的表示人工的（非生物的），即人造的oBBiological，表示物理的化学的（？）生物的表示物理的化学的（？）生物的oCComputational，表示数学表示数学计算机算机ABC的关系图的关系图智能计算是一种智力方式的低层认知，传统人工智能智能计算是一种智力方式的低层认知，传统人工智能是中层认知，中层系统含有知识，当一个智能计算系是中层认知，中层系统含有知识，当一个智能计算系统以非数值方式加上知识值，则为人工智能系统统以非数值方式加上知识值，则为人工智能系统 33自然计算o自然自然计算的含算的含义学习、运用自然规律，模拟自然系统乃至社会系统学习、运用自然规律，模拟自然系统乃至社会系统的演变过程的智能计算方法，借鉴自然科学学科的原理的演变过程的智能计算方法，借鉴自然科学学科的原理和理论进行问题的求解方法和理论进行问题的求解方法o自然自然计算方法算方法演化计算、蚁群算法、粒子群优化方法、人工免疫演化计算、蚁群算法、粒子群优化方法、人工免疫系统、模糊计算系统、模糊计算34演化计算o演化演化计算的概念算的概念：（EvolutionaryComputation,EC）是在达）是在达尔文（文（Darwin）的的进化化论和孟德和孟德尔（Mendel）的）的遗传变异理异理论的基的基础上上产生的一种在基因和种生的一种在基因和种群群层次上模次上模拟自然界生物自然界生物进化化过程与机制，程与机制，进行行问题求解的求解的自自组织、自、自适适应的随的随机搜索技机搜索技术。它以达。它以达尔文文进化化论的的“物竟天物竟天择、适者生存、适者生存”作作为算法的算法的进化化规则，并并结合孟德合孟德尔的的遗传变异异理理论，将生物，将生物进化化过程中的程中的繁殖、繁殖、变异、异、竞争和争和选择引引入到了算法中，是一种入到了算法中，是一种对人人类智能的演化模智能的演化模拟方法。方法。o演化演化计算的主要分支：算的主要分支：遗传算法、演化策略、演化算法、演化策略、演化规划和划和遗传规划划四大分支。其四大分支。其中，中，遗传算法是演化算法是演化计算中最初形成的一种具有普遍影响的模算中最初形成的一种具有普遍影响的模拟演化演化优化算法。化算法。o遗传算法的基本思想：算法的基本思想：(美国密美国密执安大学霍安大学霍兰德教授德教授1962提出提出)是使用模是使用模拟生物和生物和人人类进化的方法来求解复化的方法来求解复杂问题。它从初始种群出。它从初始种群出发，采用，采用优胜略汰、适者生存略汰、适者生存的自然法的自然法则选择个体，并通个体，并通过杂交、交、变异异产生新一代种群，如此逐代生新一代种群，如此逐代进化，直到化，直到满足目足目标为止。止。35演化演化计算（算（进化化计算）算）人倾向于线性地思考问题，而进化（Evolution）则常常以人们意象不到的方式解决问题。弗格什么是进化计算36 演化计算是一种模拟自然界生物进化过程与机制进行问题求解的演化计算是一种模拟自然界生物进化过程与机制进行问题求解的自组织、自适应的随机搜索技术。它以达尔文进化论的自组织、自适应的随机搜索技术。它以达尔文进化论的“物竟天择、物竟天择、适者生存适者生存”作为算法的进化规则，并结合孟德尔的遗传变异理论，将作为算法的进化规则，并结合孟德尔的遗传变异理论，将生物进化过程中的生物进化过程中的 繁殖（繁殖（ReproductionReproduction）变异（变异（MutationMutation）竞争（竞争（CompetitionCompetition）选择（选择（SelectionSelection）引入到了算法中。引入到了算法中。演化计算概述演化计算概述(1)什么是演化计算什么是演化计算37 (2)(2)演化计算的生物学基础演化计算的生物学基础 自然界的生物进化过程是演化计算的生物学基础，它主要包括遗传自然界的生物进化过程是演化计算的生物学基础，它主要包括遗传（HeredityHeredity）、变异（）、变异（MutationMutation）和演化（）和演化（EvolutionEvolution）理论。）理论。遗传理论遗传理论 所谓遗传是指父代（或亲代）利用遗传基因将自身的基因信息传递给下所谓遗传是指父代（或亲代）利用遗传基因将自身的基因信息传递给下一代（或子代），使子代能够继承其父代的特征或性状的这种生命现象。正一代（或子代），使子代能够继承其父代的特征或性状的这种生命现象。正是由于遗传的作用，人们才能是由于遗传的作用，人们才能“种瓜得瓜，种豆得豆种瓜得瓜，种豆得豆”，自然界才能有稳定，自然界才能有稳定的物种。的物种。在自然界，构成生物基本结构与功能的单位是细胞（在自然界，构成生物基本结构与功能的单位是细胞（CellCell）。）。细胞中含有一种包含着所有遗传信息的复杂而又微小的丝状化合物，人细胞中含有一种包含着所有遗传信息的复杂而又微小的丝状化合物，人们称其为染色体（们称其为染色体（ChromosomeChromosome）。）。在染色体中，遗传信息由在染色体中，遗传信息由基因（基因（GeneGene）所组成，基因决定着生物的性状，所组成，基因决定着生物的性状，是遗传的基本单位。是遗传的基本单位。染色体的形状是一种双螺旋结构，构成染色体的主要物质叫做脱氧核糖染色体的形状是一种双螺旋结构，构成染色体的主要物质叫做脱氧核糖核酸（核酸（Deoxyribonucleic AcidDeoxyribonucleic Acid，DNADNA），每个基因都在），每个基因都在DNADNA长链中占有一定长链中占有一定的位置。的位置。一个细胞中的所有染色体所携带的遗传信息的全体称为一个基因组一个细胞中的所有染色体所携带的遗传信息的全体称为一个基因组（GenomeGenome）。）。细胞在分裂过程中，其遗传物质细胞在分裂过程中，其遗传物质DNADNA通过复制转移到新生细胞中，从而实通过复制转移到新生细胞中，从而实现了生物的遗传功能。现了生物的遗传功能。38 变异理论变异理论 变异变异 是指子代和父代之间，以及子代的各个不同个体之间产生差异的是指子代和父代之间，以及子代的各个不同个体之间产生差异的现象。变异是生物进化过程中发生的一种随机现象，它是一种不可逆过程。现象。变异是生物进化过程中发生的一种随机现象，它是一种不可逆过程。变异在生物多样性方面具有不可替代的作用，其选择和积累是生物多样性变异在生物多样性方面具有不可替代的作用，其选择和积累是生物多样性的根源。的根源。引起变异的主要原因有两种，一种是杂交，另一种是复制差错。所谓杂引起变异的主要原因有两种，一种是杂交，另一种是复制差错。所谓杂交是指有性生殖生物在繁殖下一代时两个同源染色体之间的交配重组，即交是指有性生殖生物在繁殖下一代时两个同源染色体之间的交配重组，即两个染色体在某一相同处的两个染色体在某一相同处的DNADNA被切断后再进行交配重组，形成两个新的染被切断后再进行交配重组，形成两个新的染色体。所谓复制差错是指在细胞复制过程中因色体。所谓复制差错是指在细胞复制过程中因DNADNA上某些基因结构的随机改上某些基因结构的随机改变而产生出新的染色体。变而产生出新的染色体。进化论进化论 进化是指在生物延续生存过程中，逐渐适应其生存环境，使得其品质进化是指在生物延续生存过程中，逐渐适应其生存环境，使得其品质不断得到改良的这种生命现象。遗传和变异是生物进化的两种基本现象，不断得到改良的这种生命现象。遗传和变异是生物进化的两种基本现象，优胜劣汰、适者生存是生物进化的基本规律。优胜劣汰、适者生存是生物进化的基本规律。达尔文的达尔文的自然选择自然选择（Natural SelectionNatural Selection）学说认为：在生物进化中，）学说认为：在生物进化中，一种基因有可能发生变异而产生出另一种新的生物基因。这种新基因将依一种基因有可能发生变异而产生出另一种新的生物基因。这种新基因将依据其与生存环境的适应性而决定其增殖能力。一般情况下，适应性强的基据其与生存环境的适应性而决定其增殖能力。一般情况下，适应性强的基因会不断增多，而适应性差的基因则会逐渐减少。通过这种自然选择，物因会不断增多，而适应性差的基因则会逐渐减少。通过这种自然选择，物种将逐渐向适应于生存环境的方向进化，甚至会演变成为另一个新的物种，种将逐渐向适应于生存环境的方向进化，甚至会演变成为另一个新的物种，而那些不适应于环境的物种将会逐渐被淘汰。而那些不适应于环境的物种将会逐渐被淘汰。392.演化计算的产生与发展演化计算的产生与发展 演化计算自演化计算自20世纪世纪50年代以来，其发展过程大致可三个阶段。年代以来，其发展过程大致可三个阶段。萌芽阶段萌芽阶段 这一阶段是从这一阶段是从20世纪世纪50年代后期到年代后期到70年代年代中期。中期。20世纪世纪50年代后期，一些年代后期，一些生物学家在研究如何用计算机模拟生物遗传系统中，产生了生物学家在研究如何用计算机模拟生物遗传系统中，产生了遗传算法遗传算法的基本思想，的基本思想，并于并于1962年由美国密执安（年由美国密执安（Michigan）大学霍兰德（）大学霍兰德（Holland）教授提出。）教授提出。1965年德国数学家雷切伯格（年德国数学家雷切伯格（Rechenberg）等人提出了一种只有单个个体参与）等人提出了一种只有单个个体参与演化，并且仅有变异这一种演化操作的演化，并且仅有变异这一种演化操作的演化策略演化策略。同年，美国学者弗格尔。同年，美国学者弗格尔（Fogel）提出了一种具有多个个体和仅有变异一种演化操作的）提出了一种具有多个个体和仅有变异一种演化操作的演化规划演化规划。1969年美国密执安（年美国密执安（Michigan）大学的霍兰德（）大学的霍兰德（Holland）教授提出了系统本身和外）教授提出了系统本身和外部环境相互协调的遗传算法。至此，演化计算的三大分支基本形成。部环境相互协调的遗传算法。至此，演化计算的三大分支基本形成。成长阶段成长阶段 这一阶段是从这一阶段是从20世纪世纪70年代中期到年代中期到80年代后期。年代后期。1975年，霍兰德教授出版年，霍兰德教授出版专著专著自然和人工系统的适应性（自然和人工系统的适应性（AdaptationinNaturalandArtificialSystem），全面介绍了遗传算法。同年，德国学者施韦费尔（，全面介绍了遗传算法。同年，德国学者施韦费尔（Schwefel）在）在其博士论文中提出了一种由多个个体组成的群体参与演化的，并且包括了变异和其博士论文中提出了一种由多个个体组成的群体参与演化的，并且包括了变异和重组（重组（Recombination）这两种演化操作的更加完善的演化策略。）这两种演化操作的更加完善的演化策略。1989年，霍年，霍兰德教授的学生戈尔德伯格（兰德教授的学生戈尔德伯格（Goldberg）博士出版专著）博士出版专著遗传算法遗传算法-搜索、优搜索、优化及机器学习（化及机器学习（GeneticAlgorithm-inSearchOptimizationandMachineLearning），使遗传算法得到了普及与推广。，使遗传算法得到了普及与推广。40 这一阶段是从这一阶段是从20世纪世纪90年代至今。年代至今。1989年，美国斯坦福年，美国斯坦福（Stanford）大学的科扎（）大学的科扎（Koza）提出了遗传规划的新概念，）提出了遗传规划的新概念，并于并于1992年出版了专著年出版了专著遗传规划遗传规划-应用自然选择法则的计应用自然选择法则的计算机程序设计（算机程序设计（GeneticProgramming:ontheProgrammingofComputerbyMeansofNaturalSelection）该书全面介绍了遗传规划的基本原理及应用实例，该书全面介绍了遗传规划的基本原理及应用实例，标志着遗传规划作为智能计算的一个分支已基本形成。标志着遗传规划作为智能计算的一个分支已基本形成。进入进入20世纪世纪90年代以来，演化计算得到了众多研究机构和年代以来，演化计算得到了众多研究机构和学者的高度重视，新的研究成果不断出现、应用领域不断扩大。学者的高度重视，新的研究成果不断出现、应用领域不断扩大。目前，演化计算已成为人工智能领域的又一个新的研究热点。目前，演化计算已成为人工智能领域的又一个新的研究热点。发展阶段发展阶段41 3.3.演化计算的基本结构演化计算的基本结构 演化计算尽管有多个重要分支，并且不同分支的编码方案、选择策略和演化计算尽管有多个重要分支，并且不同分支的编码方案、选择策略和演化操作也有可能不同，但它们却有着共同的演化框架。若假设演化操作也有可能不同，但它们却有着共同的演化框架。若假设P P为种群为种群(Population(Population，或称为群体，或称为群体)，t t为演化代数，为演化代数，P(t)P(t)为第为第t t代种群代种群 ,则演化计则演化计算的基本结构可粗略描述如下：算的基本结构可粗略描述如下：确定编码形式并生成搜索空间；确定编码形式并生成搜索空间；初始化各个演化参数，并设置演化代数初始化各个演化参数，并设置演化代数t=0t=0；初始化种群初始化种群P(0);P(0);对初始种群进行评价（即适应度计算）；对初始种群进行评价（即适应度计算）；whilewhile（不满足终止条件）（不满足终止条件）dodo t=t+1;t=t+1;利用选择操作从利用选择操作从P(t-1)P(t-1)代中选出代中选出P(t)P(t)代群体；代群体；对对P(t)P(t)代种群执行演化操作；代种群执行演化操作；对执行完演化操作后的种群进行评价（即适应度计算）；对执行完演化操作后的种群进行评价（即适应度计算）；可以看出，上述基本结构包含了生物演化中所必需的选择操作、演化操可以看出，上述基本结构包含了生物演化中所必需的选择操作、演化操作和适应度评价等过程。作和适应度评价等过程。42遗传算法o遗传算法（遗传算法（Genetic AlgorithmGenetic Algorithm）模拟达尔文的遗传选择和自然淘汰模拟达尔文的遗传选择和自然淘汰的生物进化过程的生物进化过程o1975 1975 年首先由年首先由HollandHolland提出用于自提出用于自然和人工系统的自适应行为研究然和人工系统的自适应行为研究(Adaptation in Natural and(Adaptation in Natural and Artificial Systems)Artificial Systems)o组成：个体与群体、适应值函数、组成：个体与群体、适应值函数、遗传操作、终止条件遗传操作、终止条件o特点：隐含并行性、过程性、非确特点：隐含并行性、过程性、非确定性、群体性、内在学习、统计性、定性、群体性、内在学习、统计性、稳健性、整体优化稳健性、整体优化43神神经计算算麦克卡洛和匹茨把生物脑神经系统研究、数理逻辑思想以及图灵的计算理论相结合，将其成果转向人造物，这是有一次科学飞跃，可视为人工智能（计算智能）的起步。能不能造出有智能的机器？在这方面取得重大突破的，就是继莱布尼茨、巴贝奇、图灵之后的冯.诺依曼。44神经计算神经计算神经计算是以人工神经网络为基础的一种智能计算方法。神经计算是以人工神经网络为基础的一种智能计算方法。它。它是智能计算的重要基础和核心，也是智能计算乃至智它。它是智能计算的重要基础和核心，也是智能计算乃至智能科学技术的一个重要研究领域。能科学技术的一个重要研究领域。45 生物神经系统简介生物神经系统简介生物神经系统是人工神经网络的基础。人工神经网络是对生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。特征。46(1)生物神经元的结构生物神经元的结构神经末梢突触轴突树突细胞核细胞体它由细胞体它由细胞体(Soma)、轴突、轴突(Axon)和树突和树突(Dendrite)三个主要部分组成三个主要部分组成 细胞体细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-0.5-100m100m，大小不等。细胞体是神经元的主体，用于处理由树突接受的其，大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号它神经元传来的信号,其内部是细胞核，外部是细胞膜，细胞膜的外面其内部是细胞核，外部是细胞膜，细胞膜的外面是许多向外延伸出的纤维。是许多向外延伸出的纤维。47 轴突轴突是由细胞体向外延伸出的所有纤维中最长的一条分是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达每个神经元都有一条轴突，其最大长度可达1m1m以上。在以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处。这正是神经元之间传递信息的奥秘之处。树突树突是指由细胞体向外延伸的除轴突以外的其它所有分支。是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。用于接受从其它神经元的突触传来的信号。48(2)生物神经元的功能生物神经元的功能 根据神经生理学的研究，生物神经元的根据神经生理学的研究，生物神经元的2 2个主要功能是个主要功能是:神经元的兴奋与神经元的兴奋与抑制，神经元内神经冲动的传导。抑制，神经元内神经冲动的传导。神经元的抑制与兴奋神经元的抑制与兴奋 抑制状态是指神经元在没有产生冲动时的工作状态。抑制状态是指神经元在没有产生冲动时的工作状态。兴奋状态是指神经元产生冲动时的工作状态。兴奋状态是指神经元产生冲动时的工作状态。通常情况下，神经元膜电位约为通常情况下，神经元膜电位约为-70-70 毫伏，膜内为负，膜外为正，处于毫伏，膜内为负，膜外为正，处于抑制状态。当神经元受到外部刺激时，其膜电位随之发生变化，即膜内电抑制状态。当神经元受到外部刺激时，其膜电位随之发生变化，即膜内电位上升、膜外电位下降，当膜内外的电位差大于阈值电位（约位上升、膜外电位下降，当膜内外的电位差大于阈值电位（约+40+40毫伏）毫伏）时，神经元产生冲动而进入兴奋状态。时，神经元产生冲动而进入兴奋状态。说明说明:神经元每次冲动的持续时间大约神经元每次冲动的持续时间大约1 1毫秒左右，在此期间即使刺激强度再增毫秒左右，在此期间即使刺激强度再增加也不会引起冲动强度的增加。加也不会引起冲动强度的增加。神经元每次冲动结束后，都会重新回到抑制状态。神经元每次冲动结束后，都会重新回到抑制状态。如果神经元受到的刺激作用不能使细胞膜内外的电位差大于阈值电位，则神经如果神经元受到的刺激作用不能使细胞膜内外的电位差大于阈值电位，则神经元不会产生冲动，将仍处于抑制状态元不会产生冲动，将仍处于抑制状态。神经元内神经冲动的传导神经元内神经冲动的传导 神经冲动在神经元内的传导是一种电传导过程，神经冲动沿神经纤维传神经冲动在神经元内的传导是一种电传导过程，神经冲动沿神经纤维传导的速度却在导的速度却在3.2-320km/s3.2-320km/s之间，且其传导速度与纤维的粗细、髓鞘的之间，且其传导速度与纤维的粗细、髓鞘的有无有一定关系。一般来说，有髓鞘的纤维的传导速度较快，而无髓鞘的有无有一定关系。一般来说，有髓鞘的纤维的传导速度较快，而无髓鞘的纤维的传导速度较慢。纤维的传导速度较慢。49(3)人脑神经系统的联结机制人脑神经系统的联结机制1.人脑神经系统的联结规模人脑神经系统的联结规模 人脑大约由人脑大约由1011-1012个神经元所组成，其中每个神经元大约有个神经元所组成，其中每个神经元大约有3104个突触。个突触。小脑中的每个神经元大约有小脑中的每个神经元大约有105个突触，并且每个突触都可以与别的个突触，并且每个突触都可以与别的神经元的一个树突相连。神经元的一个树突相连。人脑神经系统就是由这些巨量的生物神经元经广泛并行互连所形成的人脑神经系统就是由这些巨量的生物神经元经广泛并行互连所形成的一个高度并行性、非常复杂的神经网络系统。一个高度并行性、非常复杂的神经网络系统。2.人脑神经系统的分布功能人脑神经系统的分布功能 人脑神经系的记忆和处理功能是有机的结合在一起的，每个神经元人脑神经系的记忆和处理功能是有机的结合在一起的，每个神经元既具有存储功能，同时又具有处理能力。既具有存储功能，同时又具有处理能力。从结构上看，人脑神经系统又是一种分布式系统统。人们通过对脑从结构上看，人脑神经系统又是一种分布式系统统。人们通过对脑损坏病人所做的神经生理学研究，没有发现大脑中的哪一部分可以决定损坏病人所做的神经生理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的。在大脑中，不仅知人类大脑的各个部分是协同工作、相互影响的。在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。识的存储是分散的，而且其控制和决策也是分散的。50人工神人工神经网网络的工作原理的工作原理根据一个简化的统计，人脑由百亿条神经组成 每条神经平均连结到其它几千条神经。通过这种连结方式，神经可以收发不同数量的能量。神经的一个非常重要的功能是它们对能量的接受并不是立即作出响应，而是将它们累加起来，当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其它的神经。大脑通过调节这些连结的数目和强度进行学习。尽管这是个生物行为的简化描述。但同样可以充分有力地被看作是神经网络的模型。51人工神人工神经网网络的工作原理的工作原理人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1）信息是通过神经元上的兴奋模式分布储在网络上;2）信息处理是通过神经元之间同时相互作用的动态过程来完成的。52人工神人工神经网网络的工作原理的工作原理人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。53人工神人工神经网网络的工作原理的工作原理 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。54人工神人工神经网网络的工作原理的工作原理首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。55人工神人工神经网网络的工作原理的工作原理如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。56神经计算的特点（1）可以充分逼近任意复）可以