浙江大学研究生《人工智能引论》

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人工智能引论,课件,(Congfu Xu),PhD, Associate Professor,Email:,Institute of Artificial Intelligence, College of Computer Science,Zhejiang University, Hangzhou 310027, P.R. China,March 10, 2002,第一稿,April,18, 2007,第四次修改稿,第四讲 不确定性推理概述,(Chapter4 Uncertainty Reasoning ),1,Outline,本章的主要参考文献,基本概念,基本问题,不确定性推理方法的分类,不确定性度量的测度理论,不确定性的其它度量方法,Shannon,信息熵及在决策树中的应用,模糊推理,2,1 王永庆.,人工智能原理与方法,. 西安交通大学出版社, 1998.,pp156-252. (,偏重基本概念),2,张文修, 梁怡.,不确定性推理原理,. 西安交通大学出版社, 1996. （偏重数学原理）,3 陆汝钤.,人工智能,(,下册,).,科学出版社, 2000.,pp1133-1170. （,偏重,Bayes,概率推理、可信度、模糊推理）,4,史忠植.,知识发现,. 清华大学出版社, 2002.,pp24-26, pp141-202. （,偏重,Rough set,和贝叶斯网络）,本章的主要参考文献,3,5 Mitchell, T. M.,著, 曾华军等译.,机器学习,. 机械工业出版社, 2003.,pp112-143. （,偏重贝叶斯学习）,6 Russell, S., Norvig, P.,Artificial Intelligence: A Modern Approach,.,人民邮电出版社, 2002.,pp413-522. （,偏重贝叶斯网络及其应用）,本章的主要参考文献（续）,“Blessed is the nation whose God is the LORD, the people he chose for his inheritance.”,From,PSALMS 33:12 NIV,4,4.1.1,精确推理的局限性,推理,依据已知事实（证据）、相关知识（规则）,证明某个假设成立,or,不成立,精确推理及其不足,将原本为不确定性的关系“硬性”转化为精确关系,将原本不存在明确界限的事物“人为”划定界限,歪曲了现实情况的本来面目,舍弃了事物的某些重要属性,失去了真实性,4.1,基本概念,5,4.1.2,不确定性推理的定义及意义,1.,定义,也称,“不精确性推理”,从不确定性的初始证据（即已知事实）出发,运用不确定性的知识（或规则）,推出具有一定程度的不确定性但却是合理或近乎合理的结论,2.,意义,使计算机对人类思维的模拟更接近于人类的真实思维过程,6,4. 2,不确定性推理中的基本问题,不确定性的表示与度量,不确定性匹配,不确定性的传递算法,不确定性的合成,7,4.2.1,不确定性的表示与度量,1.,不确定性的表示,选择不确定性表示方法时应考虑的因素,充分考虑领域问题的特征,恰当地描述具体问题的不确定性,满足问题求解的实际需求,便于推理过程中对不确定性的推算,8,不确定性的表示与度量（续,1,）,2.,不确定性的度量,针对不同的领域问题采用不同的度量方法,用不同的数值刻画不同的不确定性程度,事先规定不确定性程度的取值范围,3.,常用的度量方法,测度理论（基于概率统计的度量方法）,Shannon,信息熵,其它度量方法,9,不确定性的表示与度量（续,2,）,在选择不确定性度量方法时应考虑的因素：,充分表达相应知识及证据不确定性的程度,度量范围便于领域专家及用户估计不确定性,便于计算过程中的不确定性传递，结论的不确定性度量不超出规定的范围,度量的确定应直观，且有相应的理论依据,10,4.2.2,不确定性匹配,解决不确定性匹配的常用方法,设计一个,匹配算法,用以计算相似度,指定一个相似度的“限定”（即,阈值,）,“To do what is right and just is more acceptable to the LORD than sacrifice.”,From,PROVERBS 21:3 NIV,11,4.2.3,证据不确定性的组合,单一证据,&,组合证据,单一证据,：前提条件仅为一个简单条件,组合证据,：一个复合条件对应于一组证据,前提条件用,AND（,与）或,OR（,或）把多个简单条件连接起来构成复合条件,12,（1）最大最小法,T(E1 AND E2) = min T(E1), T(E2),T(E1 OR E2) = max T(E1), T(E2),（2）概率方法 （要求事件之间完全独立）,T(E1 AND E2) = T(E1),T(E2),T(E1 OR E2) = T(E1) + T(E2) - T(E1),T(E2),（3）有界方法,T(E1 AND E2) = max 0, T(E1) + T(E2) -1,T(E1 OR E2) = min 1, T(E1) + T(E2),【注】：上述,T(E),表示证据,E,为真的程度，如可信度、概率等。,每组公式都有相应的适用范围和使用条件,。,常用的组合证据不确定性计算方法,13,4.2.4,不确定性的传递,包含两个子问题,在,每一步推理,中，如何把证据及知识的不确定性传递给给结论,在,多步推理,中，如何把初始证据的不确定性传递给最终结论,14,4.2.5,结论不确定性的合成,用不同知识进行推理得到相同的结论,同个结论的不确定性程度却不相同,需要用合适的算法对它们进行合成,15,4. 3,不确定性推理方法的分类,4.3.1,不确定性推理的两条研究路线,模型方法,在推理一级上扩展确定性推理,不确定证据和知识与某种度量标准对应,给出更新结论不确定性的算法,构成相应的不确定性推理模型,控制方法,在控制策略一级上处理不确定性,无统一的不确定性处理模型，其效果依赖于控制策略,16,4.3.2,不确定性推理方法的分类,不确定性推理,模型,方法,控制,方法,数值,方法,非数值,方法,概率统,计方法,模糊推,理方法,粗糙集,方法,绝对概率方法,贝叶斯方法,证据理论方法,HMM,方法,发生率计算,相关性制导回溯、机缘控制、启发式搜索等,可信度方法,17,4.3.3,关于不确定性推理方法的说明,数值方法,对不确定性的一种定量表示和处理方法,其研究及应用较多，已形成多种应用模型,非数值方法,除数值方法外的其它处理不确定性的模型方法,典型代表：“发生率计算方法”，它采用集合来描述和处理不确定性，且满足概率推理的性质,18,关于不确定性推理方法的说明（续,1,）,概率统计方法,有完整、严密的数学理论,为不确定性的合成与传递提供了现成的数学公式,最早、最广泛地用于不确定性知识的表示与处理,已成为不确定性推理的重要手段,证据理论方法,1967,年,Dempster,首次提出，,1976,年,Shafer,完善,可表示并处理“不知道”等不确定性信息,19,关于不确定性推理方法的说明（续,2,）,模糊推理方法,可表示并处理由模糊性引起的不确定性,已广泛应用于不确定性推理,粗糙集理论方法,1981,年,Z. Pawlak,首次提出,一种新的可表示并处理“含糊”等不确定性的数学方法,可用于不确定性推理、数据挖掘等领域,20,4.4,描述不确定性信息的测度理论,4.4.1,测度及其分类,设,(X),是有限集合,X,上的子集合的全体，测度的定义如下：,定义6.1（,测度,） 若,g,: (X) 0, 1,满足条件：,(1),g,(X) = 1;,(2) 当,A B = ,时，有,g,(A B) =,g,(A) +,g,(B) + ,g,(A) ,g,(B),称为,g,测度,。,【注】：关于测度理论的详细论述请参见夏道行编著的实变函数与泛函分析，复旦大学出版社。,21,定义,4.2,（,模糊测度,） 模糊测度被定义为一个映射,M,: (X) 0, 1,具有如下性质：,(1),有界性,：,M,() = 0,M,(X) = 1;,(2),单调性,： 对任意,A, B(X), AB,时，有,M(A) M(B),由模糊测度定义可知：,（1）有界性表示：一个非空元素不可能属于,，,它必然属于全集；,（2）单调性表示：一个元素隶属于一个集合的确定度不大于它隶属于更大的一个集合的确定度。,22,定理,4.1,当,-1,时， 测度,g,是模糊测度。,定理,4.2,当,-1,时， 测度,g,具有如下性质：,模糊测度及其性质,23,定义,4.3,（,概率测度,）,称,P： (X） 0，1,为概率测度，若满足：,（1）有界性：,P(X) = 1,（2）,可加性：,AB=,时，,P(A,B) = P(A) + P(B),【注】：可证明,概率测度,是,0,时模糊测度。,定义,4.4,(,条件概率,) 如果,P,是,X,上的概率测度，,EX，,且,P(E)0，,称,为给定条件,E,下，事件,A,发生的条件概率。,24,对于条件,概率有如下,联合概率公式：,若,A,1, A,2, ., A,n,为,X,中的,n,个事件,，,可得,若,A, B,两个事件满足,P(A|B) = P(A)，,即,A,发生的可能性与,B,无关，称,A, B,是,相互独立,的。这时有,若,n,个事件,A,1, A,2, ., A,n,相互独立，则,25,Markov,条件独立性,定义,4.5 (,马氏条件独立性,),若,A,1, A,2, ., A,n,是按时间顺序发生的一系列事件,，,而且具有如下特性：未来某一事件,A,k+1,发生的可能性只依赖于当前时刻的事件,A,k,，,而与过去发生的事件无关，即,这时称,n,个事件具有,马氏（,Markov）,独立性,。,对,n,个满足马氏独立性条件的事件满足,26,定义,4.6,（,全概率公式,）,设,H,i,(i 0 。,【注】：与不协调度相似，当,m,是概率分布时，混淆度即为不确定度（香农信息熵）,。,37,3、信息量,一个概念是内涵与外延的统一体。内涵的多少表示了信息量的大小，但是内涵一般是无法度量的。由于内涵与外延是某种相反关系，我们,可用外延补集作为信息，用外延补集的测度作为信息量,。于是就得到如下信息量的概念。,定义,4.19 (,信息量,) 设,X,是有限集，包含,n,个元素。,P,是,X,上的概率分布，称,是,X, P,的信息量。其中，,38,在不确定性推理过程中，经常遇到两类问题：,(1),匹配（检索）问题，需要,相似度,的概念；,(2) 推理规则的条件与结论之间的蕴涵关系，就需要,蕴涵度,的概念。,经专家研究发现，相似度与蕴涵度的共性即为,包含度,。,【注】：本课件只简要介绍上述三个概念的定义，有关包含度理论的详细论述请参见文献：,张文修、梁怡不确定性推理原理，西安交通大学出版社，1996。,补充说明：,39,4、包含度,设,X,是一个普通集合，,(,X),表示,X,中所有子集的全体，,(,X),表示,X,中模糊集合的全体。,定义,4.19 (,包含度,)：设,0,(,X),(,X) ，,对,A,B,0,(,X),有数,D(,B,/,A,),对应，且满足：,(1) 0 =,D(,B,/,A,) H,，令,R,(P; H),为从,P,推出,H,的模糊关系,R,(P; H) =,A,P,A,H,= (x,P, x,H,) / u,R,(x,P, x,H,),u,R,(x,P, x,H,) = u,Ap,(x,P,),u,AH,(x,H,),阶段二：推理合成规则,（,max-min,复合运算）,当实际的输入信息为模糊命题,P,时，则模糊推理的输出,H,A,H,=,A,P,R,(P; H),可得,69,基于模糊关系的推理举例,请参见高济教授编著的教材,基于知识的软件智能化技术,pp206-208,有兴趣的同学可进一步参考张文修、梁怡编著的,不确定性推理原理,pp228-235,中的“,5-4 Mamdani,模糊推理”,基本要求：能熟练解答与高济教授教材中类似的模糊推理习题,70,4.7.6,模糊推理的神经网络算法,特别声明,这一节属于补充材料，考试时不做要求,感兴趣的同学可参见,张文修、梁怡编著的,不确定性推理原理,pp244-248,中的“,5-7,模糊推理的神经网络算法”,模糊推理的神经网络算法思想,将“,A,i,=,B,i,”,规则作为第,i,个输入，则形成一个神经网络,可通过神经网络的学习算法得到权重,w,i,71,模糊推理的神经网络算法学习过程,当,Y,是单点集,y,时，训练模型为,(,A,B,),，学习算法的过程如下：,步,1,：给出初始权重,w,1,和训练样本,H=(,A,B,),步,2,：利用如下公式计算,步,3,：若,B,(y) =,B,(y),，则终止；否则，修正,w,1,;,步,4,：若上述过程进行到第,k,步，得到,W,k,=(w,k1,w,k2,w,kn,),，使得,则终止，其中，,g,k,为形成的模糊测度，即,g,k,(i)= w,ki,；否则，修正权重,w,ki,。,【,注,】,：权重修正方法详见张文修、梁怡编著的,不确定性推理原理,pp246,72,THANKS FOR YOUR PRESENCE!,“,But seek first his kingdom and his righteousness, and all these things will be given to you as well. Therefore do not worry about tomorrow, for tomorrow will worry about itself. Each day has enough trouble of its own.”,from,MATTHEW 6:33-34 NIV,73,