人工智能第5章不确定性推理

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,不确定性推理方法,非经典逻辑和非经典推理与经典逻辑和经典推理的区别,推理方法上，经典逻辑采用演绎逻辑推理，非经典逻辑采用归纳逻辑推理。,辖域取值上，经典逻辑都是二值逻辑，而非经典逻辑都是多值逻辑。,运算法则上，非经典逻辑背弃了经典逻辑的一些重要特性。,逻辑算符上，非经典逻辑具有更多的逻辑算法。,经典逻辑是单调的，引用非单调逻辑进行非单调推理是非经典逻辑与经典逻辑的又一重要区别。,内容简介,5.1,概述,5.2,概率论基础,5.3,贝叶斯网络,5.4,主观贝叶斯方法,5.5,确定性方法,5.6,证据理论（,D-S theory,）,5.1,概述,人类的知识和思维行为中，确定性只是相对的，不确定性才是绝对的。,智能主要反映在求解不确定性问题的能力上。,推理是人类的思维过程，是从已知实事出发，通过运用相关的知识逐步推出某个结论的过程。,不确定性推理是指建立在不确定性知识和证据的基础上的推理，是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的推理过程。,5.1.1,不确定性,不确定性推理方法产生的原因,很多原因导致同一结果；推理所需信息不完备；背景知识不足；信息描述模糊；信息中含有噪声；推理能力不足；解题方案不唯一等。,不确定性的性质,随机性；模糊性；不完全性；时变性,不确定性的存在,不确定推理中，规则前件（证据）、后件（结论）以及规则本身在某种程度上都是不确定的。,证据,的不确定性、,规则,的不确定性、,推理,的不确定性,5.1.1,不确定性,证据,规则,推理,证据是智能系统的基本信息，是推理的依据。,歧义性、不完全性、不精确性、模糊性、可信性、随机性、不一致性,通常来源于专家处理问题的经验，存在着不确定性因素。,证据组合、规则自身、规则结论,规则之间的冲突影响、不确定的参数、优先策略,由于知识不确定性的动态积累和传播过程所造成的。,推理过程要通过某种不确定的度量，寻找尽可能符合客观世界的计算，最终得到结论的不确定性度量。,5.1.2,不确定性推理的基本问题,基于规则的专家系统中，不确定性表现在证据、规则和推理,3,个方面，需要对专家系统中的事实（证据）和知识（规则）给出不确定性描述，并在此基础上建立不确定性的传递计算方法。,因此，要实现对不确定性知识的处理，必须解决不确定知识的,表示问题,，不确定信息的,计算问题,，以及不确定表示和计算的,语义解释问题,。,表示问题,指用什么方法描述不确定性，这是解决不确定性推理关键的一步。,通常有,数值,表示和,非数值,的语义表示方法。,知识的不确定性表示,(AB),：,P(B,A),证据的不确定性表示,(A),：,P(A),计算问题,指不确定性的传播和更新，即获得新的信息的过程。,不确定性的传递问题：,已知规则,AB,，,P(A),和,P(B,A),，如何计算结论,P(B),结论不确定性的合成：,用不同的知识进行推理得相同结论，但可信度度量不同，如,P,1,(A),和,P,2,(A),，如何计算最终的,P(A),组合证据的不确定性算法：,已知证据,A,1,和,A,2,的可信度度量,P(A,1,),、,P(A,2,),，求证据析取和合取的可信度度量,P(A,1,A,2,),和,P(A,1,A,2,),初始命题的不确定性度量一般由领域内的专家从经验得出。,语义问题,指如何解释上述表示和计算的含义。,对于规则,P(B,A),：,A(T)B(T),，,P(B,A)=?,A(T)B(F),，,P(B,A)=?,B,独立于,A,，,P(B,A)=?,对于证据,P(A),：,A,为,T,，,P(A)=?,A,为,F,，,P(A)=?,5.1.3,不确定性推理方法的分类,形式化,逻辑法：多值逻辑、非单调逻辑,新计算法：,证据理论,、,确定性方法,、模糊方法,新概率法：,主观,Bayes,方法,、,Bayes,网络方法,非形式化,在,控制策略一级,处理不确定性，其特点是通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统产生的影响。分为工程法、控制法、并行确定性法,在,推理一级,上扩展确定性推理，其特点是把不确定的证据和不确定的知识分别与某种度量标准对应起来，并且给出更新结论不确定性的算法。,内容简介,5.1,概述,5.2,概率论基础,5.3,贝叶斯网络,5.4,主观贝叶斯方法,5.5,确定性方法,5.6,证据理论（,D-S theory,）,5.2.1,随机事件,随机事件的定义,样本空间的定义,一个随机实验的全部可能出现的结果的集合，通常记作,，,中的点称为样本点，通常记作,。,随机实验的定义,一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。,一个随机实验的一些可能结果的集合，是样本控件的一个子集，常用大写字母,A,，,B,，,C,，,表示。简称为事件。,事件常用一句话描述，当实验结果属于某事件所对应的子集,时，称该,事件发生,。,例如,将一枚硬币连掷两次，观察硬币落地后是花面向上还是字面向上。,分析,这是一个随机实验，用,H,记花面向上，,W,记字面向上，则共有,4,个可能出现的结果：,样本点,1,=HH ,2,=HW ,3,=WH ,4,=WW,样本空间,=,1,2,3,4,事件,A=“,花面字面各出现一次”,=,2,3,B=“,第一次出现花面”,=,1,2,C=“,至少出现一次花面”,=,1,2,3,D=“,至多出现一次花面”,=,2,3,4,两个事件,A,与,B,可能有以下几种特殊关系,包含,：若事件,B,发生则事件,A,也发生，称“,A,包含,B”,，或“,B,含于,A”,，记作,A,B,或,B,A,等价,：若,A,B,且,B,A,，即,A,与,B,同时发生或同时不发生，则称,A,与,B,等价，记作,A=B,互斥,：若,A,与,B,不能同时发生，则称,A,与,B,互斥，记作,AB=,对立,：若,A,与,B,互斥，且必有一个发生，则称,A,与,B,对立，记作,A=B,或,B=A,，又称,A,为,B,的余事件，或,B,为,A,的余事件,事件间的关系,任意两个事件不一定会是上述几种关系中的一种。,事件间的运算,设,A,，,B,，,A,1,，,A,2,，,A,n,为一些事件，它们有下述的运算,交：,记,C=“A,与,B,同时发生”，称为事件,A,与,B,的交，,C=|A,且,B,，记作,C=AB,或,C=AB,。,类似地用,A,i,=A,1,A,2,A,n,表示事件“,n,个事件,A,1, A,2, A,n,同时发生”。,并：,记,C=“A,与,B,中至少有一个发生”，称为事件,A,与,B,的并，,C=|A,或,B,，记作,C=A,B,。,类似地用,A,i,=A,1,A,2,A,n,表示事件“,n,个事件,A,1, A,2, A,n,中至少有一个发生”。,差：,记,C=“A,发生而,B,不发生”，称为事件,A,与,B,的差，,C=|A,但, B,，记作,C=AB,或,C=A-B,。,求余：,A= A,事件运算的性质,交换率：,结合律：,分配律：,摩根率：,事件计算的优先顺序为：求余，交，差和并。,A,B=B,A,(A,B),C=A,(B,C),(A,B)C=(AC),(BC),(AB),C=(A,C)(B,C),5.2.2,事件的概率,设,为一个随机实验的样本空间，对,上的任意事件,A,，规定一个实数与之对应，记为,P(A),，满足以下三条基本性质，称为,事件,A,发生的概率,：,0,P(A) 1,P()=1,，,P()=0,若二事件,AB,互斥，即,AB=,则,P(AB)=P(A)+P(B),以上三条基本规定是符合常识的。,例如,设一个随机实验两个可能，记为,0,1,，则所有可能的事件只有,4,个：,=,0,1,0,1,空集,概率的性质,定义：设,A,n, n=1, 2, ,为一组有限或可列无穷多个事件，两两不相交，且 ，则称事件族,A,n, n=1, 2, ,为样本空间,的一个,完备事件族,又若对任意事件,B,有,BA,n,=A,n,或, n=1, 2, ,，则称,A,n, n=1, 2, ,为,基本事件族,完备事件族与基本事件族有如下的性质：,定理：,若,A,n, n=1, 2, ,为一完备事件族，则,且对于一事件,B,有,又若,A,n, n=1, 2, ,为一基本事件族，则,事件,A,出现的,概率,描述为：,n,是进行试验的总次数，,m,是试验中事件,A,发生的次数。,事件,A,的,统计概率,如果事件,A,出现的频率,f,n,(A),总是在区间,0,1,上的一个确定常数,p,附近摆动，并且稳定于,p,，则称,p,为事件,A,的统计概率。,统计概率的性质,对任意事件,A,，有,0P(A) 1,必然事件,的概率,P()=1,，不可能事件,的概率,P() = 0,对任意事件,A,，有,P(A)=1-P(A),设事件,A,1,，,A,2,，,A,n,（,kn,）是两两互不相容的事件，即有， ，则,设,A,，,B,是两事件，则,P(A,B,)=P(A)+P(B)-P(A,B,),条件概率,定义,：设,A,，,B,为事件且,P(A)0,，称,为事件,A,已发生的条件下，事件,B,的,条件概率,，,P(A),在概率推理中称为,边缘概率,。,简称,P(B|A),为给定,A,时,B,发生的概率。,P(AB),称为,A,与,B,的,联合概率,。,有联合概率公式：,P(AB)=P(B|A)P(A),事件,B,的,条件概率,设,B,与,A,是某个随机实验中的两个事件，如果在事件,A,发生的条件下，考虑事件,B,发生的概率，就称它为事件,B,的条件概率。,条件概率例子,袋子中有白球,2,个黑球,3,个，从中依次取出,2,个，求取出两个都是白球的概率,条件概率的性质,0,P(B|A) 1,P(|A)=1,，,P(|A)=0,若,B,1,B,2,=,，则,P(B,i,+B,j,|A)=P(B,i,|A)+P(B,j,|A),乘法公式,：,P(AB)=P(A)P(B|A),全概率,公式,：设,A,1,，,A,2,，,A,n,互不相交， ，且,P(A,i,)0,i=1,2,n,，则对于任意事件,A,有,P(A)=,i,P(A,i,)P(A|A,i,),全概率例子,某商场出售的灯泡来自甲、乙、丙三个工厂，甲厂产品占,80%,，合格率为,90%,，乙厂产品占,10%,，合格率为,95%,，丙厂产品占,10%,，合格率为,80%,。某顾客购买了一灯泡，求它是合格品的概率。,联合概率,可按条件概率链表达一个,联合概率,其一般规则形式为：,事件的独立性,设,A,，,B,为两个事件，满足,P(AB)=P(A)P(B),，则称事件,A,与事件,B,是相互独立的，简称,A,与,B,独立。,事件独立的性质,若,P(A)=0,或,1,，则,A,与任一事件独立,若,A,与,B,独立，且,P(B)0,，则,P(A|B)=P(A),若,A,与,B,独立，则,A,与,B,，,A,与,B,，,A,与,B,都是相互独立的事件对,N,个事件相互独立性,设,A,1,，,A,2,，,A,n,为,n,个事件，满足下述条件：,1,i j,n,1,i j 0,，,B,1,，,B,2,，,，,B,n,互不相交，,P(B,i,)0, i=1, 2, , n,，且 ，则对于,k=1, 2, , n,，,贝叶斯公式容易由条件概率的定义，乘法公式和全概率公式得到。在贝叶斯公式中，,P(B,i,), i=1, 2, , n,称为,先验概率,，而,P(B,i,|A),i=1, 2, , n,称为,后验概率,也是,条件概率,。,5.2.4,信任几率,P(B|A),可被解释为当,A,成立时,B,的可信度。,概率适用于重复事件，而似然性适用于表示非重复事件中信任的程度。,在某事件,A,的前提下，事件发生,B,与不发生,B,的概率的相对比值称作,几率,，其定义为： ，为后验几率,事件,X,的几率 ，称为先验几率,内容简介,5.1,概述,5.2,概率论基础,5.3,贝叶斯网络,5.4,主观贝叶斯方法,5.5,确定性方法,5.6,证据理论（,D-S theory,）,5.3.1,贝叶斯网络基本概念,贝叶斯网络：,一系列变量的,联合概率,分布的图形表示。,一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。,两个部分,贝叶斯网络结构图,，这是一个有向无环图（,DAG: Directed Acyclic Graph,），其中图中的每个节点代表相应的变量。当有向弧由节点,A,指向节点,B,时，则称：,A,是,B,的,父节点,；,B,是,A,的,子节点,。,节点和节点之间的条件概率表,（,Conditional Probability Table, CPT,），也就是一系列的概率值，表示了局部条件概率分布。,P(node|parents),。,目的：,由证据得出原因发生的概率。,即观察到,P(Y),，求,P(X|Y),应用专家系统时，,贝叶斯网络结构,（包括变量的选择及条件独立关系的确定）,和局部条件概率均由领域专家给定,因果关系网络,假设：,命题,S(smoker),：该患者是一个吸烟者,命题,C(coal Miner),：该患者是一个煤矿矿井工人,命题,L(lung Cancer),：他患了肺癌,命题,E(emphysema),：他患了肺气肿,由,专家给定的假设可知,，命题,S,对命题,L,和命题,E,有因果影响，而,C,对,E,也有因果影响。,命题之间的关系可以描绘成因果关系网。,S,C,E,L,贝叶斯网络,贝叶斯网就是一个在弧的连接关系上加入连接强度的因果关系网络,。,每个节点与它的父节点,B,1,B,2,B,3,B,n,有条件概率,P(A|B,1,B,2,B,3,B,n,),当结点没有父节点时，称其为,顶点,。必须指定顶点的先验概率。,所有指定的概率和无环图构成一个贝叶斯网络，概率数据集称为,CPT,表。,贝叶斯网络图例,B,A,D,E,F,C,G,无环图和指定概率值,P(A), P(C), P(B|AC),P(E|B), P(B|D), P(F|E), P(G|DEF),B,A,D,C,E,G,F,贝叶斯网络,两个要素,：,贝叶斯的结构,条件概率表,CPT,非贝叶斯网络,贝叶斯网络是一个有向无环图,贝叶斯网络的构造,确定为建立网络模型有关的变量及其解释,建立一个表示条件独立断言的有向无环图,指派局部概率分布,p(x,i,| pa,i,),以上各步可能交叉并反复进行。,贝叶斯网络实例,CPT,表为：,P(S) = .04,P(C) = 0.3,(E|S, C) = 0.9,P(E|S, C) = 0.3,P(E|S, C) = 0.5,贝叶斯网络实例图,P(E|S, C) = 0.1,。,S,C,E,L,P(S)=0.4,P(C)=0.3,P(E|S,C)=0.9,条件独立属性,贝叶斯网络中每个顶点对应一个随机变量,Bayes,表达了分布的一系列有,条件独立,属性：即在给定了父亲结点（双亲结点）的状态后，每个变量与它在图中的非继承结点在概率上是独立的。,条件独立定义,假设对于结点,x,i,，其父结点集,P,ai,，每个变量,x,i,的条件概率,P(x|P,ai,),，则结点集合,X=x,1,X,2,X,n,的联合概率分布可按如下公式计算：,条件独立,：有结点,A,、,B,、,C,，如果,P(A|BC) = P(A|B),称,A,与,C,是在,B,的条件下独立的。,上图例中的联合概率密度为,由图可知：,E,与,L,在,S,条件下独立，所以,P(E|S,C,L),P(E|S,C),L,与,C,在,S, E,条件下独立，所以,P(L|S,C)= P(L|S),C,与,S,在,E,条件下独立，所以,P(C|S)=P(C),以上三条等式的正确性，可以从,贝叶斯网的条件独立属性：,(,每个变量与它在图中的非继承节点在概率上是独立的推出,),。,简化后的联合概率密度为，,显然，简化后的公式比原始的数学公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。,D,分离,对于,X, Y, E: X,与,Y,在给定,E,的条件下独立,P(X|Y,E) = P(X|E),P(Y|X,E) = P(Y|E),多个变量组：,d,分离（,d-separate,）,P(X,1,X,2,X,n,|Y,1,Y,2,Y,m,E,1,E,2,E,p,),=P(X,1,X,2,X,n,|E,1,E,2,E,p,),如果一组节点,X,在给定,E,的条件下，从,X,i,到,Y,j,的每一条通路都被即,E,k,d,分离，则称,X,独立于另一组节点,Y,(,节点组,E d,分离,X,与,Y),D,分离例子,图中有三个节点,S,，,L,，,E,L,（结果）影响,S,（起因），,S,影响,E,（另一个结果）。,如果给定原因,S,后，,L,并不能告诉我们有关,E,的更多事情。即对于,S,，,L,和,E,是相对独立的，那么在计算,S,和,L,的关系时就不用过多地考虑,E,，将会大大减少计算复杂度。,称,S,能,D,分离,L,和,E,。,D,分离是一种寻找条件独立的有效方法。,S,C,E,L,P(S)=0.4,P(C)=0.3,P(E|S,C)=0.9,串行连接,串行连接中，事件,A,通过事件,B,影响事件,C,，反之事件,C,也是通过事件,B,影响事件,A,。,但是，如果原因证据,B,是给定的，,A,并不能给,C,更多,的东西，或者说，从,A,那里得到,更多的,信息。,此时称，如果,B,是已知的，那么通道就被阻塞，,A,和,C,就是独立的了。则称,A,和,C,是被,B,结点,D,分离的。,A,B,C,分叉连接,如果，父结点,A,是已知的，没有更多的信息能够通过,A,影响到所有子结点。,同理，父结点,A,是已知时，子结点,B, ,F,是相互独立的。称子节点,B, , F,是被,A,结点,D,分离的。,F,C,B,A,汇集连接,如果不从父结点得到推断，子结点,A,就一无所知，那么，父结点是相互独立的，它们之间没有相互影响。,A,F,C,B,事件,e,直接影响节点,Z,事件,e,影响节点,Z,的后代节点,A,F,C,B,e,A,F,C,B,K,H,e,如果某事件影响了,A,，那么，各个父结点就不是相互独立的了。该事件可以直接影响,A,，也可以通过它的后代结点影响,A,。这种现象称作,条件依存,。,总之，如果子结点有了变化，或子结点的后代结点发生变化，信息是可以通过汇集连接传播的。,对于给定的结点集,，如果对贝叶斯网中的结点,V,i,和,V,j,之间的每个无向路径（即不考虑,DAG,图中弧的方向性的路径），在路径上都有某个结点,V,b,，如果有属性：,V,b,在,中，且路径上的两条弧都以,V,b,为尾（分叉连接）,V,b,在,中，路径上的一条弧以,V,b,为头，一条以,V,b,为尾（串行连接）,V,b,和它的任何后继都不在,中，路径上的两条弧都以,V,b,为头（汇集连接）,则称,Vi,和,Vj,被,Vb,结点阻塞。,如果,V,i,和,V,j,被证据集合,中的任意结点阻塞，则称,V,i,和,V,j,是被,集合,D,分离，结点,V,i,和,V,j,条件独立于给定的证据集合,，可形式化表示为：,或,V,b2,V,j,V,b3,V,i,V,b1,证据集,条件独立：,如具有以上三个属性之一，就说结点,Vi,和,Vj,条件独立于给定的结点集,。,阻塞：,给定证据集合,，当上述条件中的任何一个满足时，就说,Vb,阻塞相应的那条路径。,D,分离：,如果,Vi,和,Vj,之间所有的路径被阻塞，就叫证据集合,可以,D,分离,Vi,和,Vj,S,C,E,L,P(S)=0.4,P(C)=0.3,P(E|S,C)=0.9,5.3.2,贝叶斯网络的推理模式,设所有变量的集合为,X=X1,X2,Xn,，贝,叶斯网络推断的根本任务,就是给定证据变量集合,E=e,后，计算查询变量集,Q,的概率分布，即,P(Q,E=e),P(E=e),P(Q|E=e)=,贝叶斯网络通常使用因果或诊断规则与推理,因果规则：,X Cause Y with some probability,诊断规则 ：,Y is evidence of X with some probability,因果推理：,Given cause C, determine P(Query|C),诊断推理：,Given evidence E, determine P(Query|E),因果推理,已知父结点，计算子结点的条件概率,给定患者是一个吸烟者,(S),，计算他患肺气肿,(E),的概率,P(E|S),。,P(E|S)=P(E,C|S)+P(E,C|S),P(E,C|S)=P(E,C,S)/P(S),=P(E|C,S)P(C,S)/P(S),Bayes,=P(E|C,S)P(C|S),反向,Bayes,=P(E|C,S)P(C),CS,条件独立,同理可得,P(E,C|S)=P(E|C,S)P(C),因果推理主要操作,按照给定证据的,V,和它的所有双亲的联合概率，重新表达给定证据的询问结点的所求条件概率,知道所有的概率值可从,CPT,表中得到，推理完成,诊断推理,从一个子结点计算父结点的条件概率,不得肺气肿的不是矿工的概率,P(C|E),P(C|E)=P(E|C)P(C)/P(E),P(E|C)=P(E,S|C)+P(E,S|C),内容简介,5.1,概述,5.2,概率论基础,5.3,贝叶斯网络,5.4,主观贝叶斯方法,5.5,确定性方法,5.6,证据理论（,D-S theory,）,5.4,主观贝叶斯方法,使用概率来描述专家系统中的不确定性，必须将概率的含义加以拓展。,专家系统中，概率一般解释为专家对证据和规则的主观信任度，对概率推理起支撑作用的是贝叶斯理论。,一种不确定性推理模型,主观贝叶斯方法,既考虑了事件,A,的出现对其结果,B,的支持，又考虑了,A,的不出现对,B,的影响。,5.4.1,规则,(,知识,),的不确定性,在主观贝叶斯方法中，用下列产生式规则表示知识：,IF A THEN (LS,LN) B,式中（,LS,LN,）表示该知识的静态强度，成,LS,为式子成立的,充分性因子,，,LN,为式子成立的,必要性因子,，它们分别,衡量证据,(,前提,)A,对结论,B,的支持程度,和,A,对,B,的支持程度,。,LS,和,LN,取值范围为,0,+,),，其具体数值由领域专家决定。,主观贝叶斯方法的不精确推理过程,就是根据前提,A,的概率,P(A),，利用规则的,LS,和,LN,，把结论,B,的先验概率,P(B),更新为后验概率,P(B|A),的过程。,先验几率,(X)=,P(X),P(X),后验几率,(B|A)=,P(B|A),P(B|A),LS =,P(A|B),P(A|B),LN =,P(A|B),P(A|B),LS,表示,A,为真时，对,B,为真的影响程度，表示规则,A,B,成立的充分性,LN,表示,A,为假时，对,B,为真的影响程度，表示规则,A,B,的必要性,实际应用中概率值不可能求出，所以采用的都是专家给定的,LS,、,LN,值,O(B|A) = LS,*,O(B),O(B|A) = LN,*,O(B),以上两式就是修改的贝叶斯公式。,由这两式可知：,当,A,为真时，可利用,LS,将,B,的先验几率,O(B),更新为其后验几率,O(B|A),；,当,A,为假时，可利用,LN,将,B,的先验几率更新为其后验几率,O(B|A),。,LS,LS =,O(B|A),O(B),=,P(B|A),P(B|A),P(B),P(B),LS,越大，,O(B|A),就越大，,P(B|A),也越大，说明,A,对,B,的支持越强；,当,LS,时，,O(B|A) ,P(B|A) 1,，说明,A,的存在导致,B,为真，因此说,A,对,B,是充分的，称,LS,为充分性因子。,=,1 A,对,B,没影响,1 A,支持,B,1 A,支持,B,1,且,LN1,LS1,LS=LN=1,这些情况并非总能在现实世界中存在。,LS1,且,LN=1,的情形并不少见。,LS,因子表明当证据存在时，先验几率的变化有多大，,LN,因子表明当证据不存在时，先验几率的变化有多大。,LS,、,LN,的取值与证据间的关系,取 值,影 响,LS,0,A,为真时,B,为假，或者说,A,对,B,是必然的,0LS1,A,为真时对,B,是不利的,（即,A,不支持,B,，导致,B,为真的可能性下降）,1,A,为真时对,B,无影响,1LS,A,为真时对,B,是有利的,A,为真时对,B,是逻辑充分的，或者说,A,为真时必有,B,为真,LN,0,A,为假时,B,为假，或者说,A,对,B,是必然的,0LN1,A,为假时对,B,是不利的,1,A,为假时对,B,无影响,1LN,A,为假时对,B,是有利的,A,为假时对,B,是逻辑,例子,如果有石英硫矿带，那么必有钾矿带。,对于这条规则，,LS=300,LN=0.2,这意味着观测到石英硫矿带非常有用，而若不能观测到硫矿带则没有什么意义。,如果,LN1,，那么，缺乏硫矿带将强烈表明假设是错误的。,5.4.2,证据的不确定性,证据的不确定性度量用几率函数描述,(A)=,P(A),1-P(A),=,0,，当,A,假,，当,A,真,(0,),，一般情况,5.4.3,推理计算,1,、,A,必出现,，,P(A)=1,O(B|A)=LS X O(B),O(B|A)=LN X O(B),求得使用规则,AB,后，,O(B),的更新值,O(B|A),和,O(B|A),2,、,A,不确定,，即,P(A)1,时,A,是系统中的任意一个证据，是系统的初始条件或推理过程中出现的中间结果。,设,A,代表与,A,有关的所有证据（即,A,的前项）,例如，用户告知只有,60%,的把握说明证据是真的，这就表示初始证据为真的程度为,0.6,，即,P(A|A)=0.6,。,现在要在,0P(A|A) P(B,1,), P(B,2,)=0.02,，,P(B,1,)=0.04,（已知）,P(B,2,|A) = 0.02 + (,0.857,-0.02)(0.454-0.04)/(1-0.04) =,0.38,例,5.2,已知：证据,A,1,，,A,2,必然发生，且,P,（,B,1,）,0.03,规则如下：,R,1,：,A,1,B,1,LS=20 LN=1; R,2,：,A,2,B,1,LS=300LN=1,求,B,1,的更新值。,解：,（,1,）依,R,1,，,P,1,（,B,）,0.03,O,（,B,1,）,0.03/(1-0.03)=0.030927,O(B,1,|A,1,)=LSO(B,1,)=200.030927=0.61855,P(B,1,|A,1,)= 0.61855/(1+0.61855)=0.382,使用规则,R,1,后，,B,1,的概率从,0.03,上升到,0.382,（,2,）依,R,2,：,O(B,1,|A,1,A,2,)=300O(B,1,|A,1,)=185.565,P(B,1,|A,1,A,2,)= 185.565/(1+185.565)=0.99464,使用规则,R,2,后，,B,1,的概率从,0.382,上升到,0.99464,例,5.3,已知：证据,A,必然发生，且有,P(B,1,)=0.03,，,P(B,2,)=0.01,，规则如下：,R,1,:A,B,1,LS=20 LN=1,R,2,:B,1,B,2,LS=300 LN=0.001,求,B,2,的更新值。,解：,(1),依,R,1,可得：,LS X P(B,1,),(LS-1) X P(B,1,) +1,P(B,1,|A)=,20 X 0.03,(20-1) X 0.03+1,=,=0.3822,(2),依,R,2,可得：,LS X P(B,2,),(LS-1) X P(B,2,) +1,P(B,2,|B,1,)=,300 X 0.01,(300-1) X 0.01+1,=,=0.75188,(3),由于,P(B,1,|A)=0.3822 P(B,1,)=0.03,所以,P(B,2,)+,P(B,2,|B,1,)-P(B,2,),1-P(B,1,),P(B,1,|A)-P(B,1,),P(B,2,|A)=,= 0.01 +,0.752-0.01,1-0.03,(0.382-0.03),= 0.279,主观贝叶斯方法的优点,主观贝叶斯方法的计算公式大多是在概率论的基础上推导出来的，具有比较坚实的理论基础。,规则的,LS,和,LN,是由领域专家根据实践经验给出的，避免了大量的数据统计工作。此外，它既用,LS,指出了证据,A,对结论,B,的支持程度，又用,LN,指出了,A,对,B,的必要性程度，比较全面地反映了证据与理论间的因果关系，符合现实世界中某些领域的实际情况，使推出的结论具有比较准确的确定性。,主观贝叶斯方法不仅给出了在证据确定情况下有,B,的先验概率更新为后验概率的方法，而且还给出了在证据不确定情况下更新先验概率为后验概率的方法。由其推理过程还可以看出，它确实实现了不确定性的逐级传递。因此可以说主观贝叶斯方法是一种比较实用而又灵活的不确定性推理方法，它已成功地应用在专家系统中。,主观贝叶斯方法的缺点,要求领域专家在给出规则的同时，给出,B,的先验概率,P(B),，这是比较困难的,贝叶斯定理中关于事件间独立性的要求使主观贝叶斯方法的应用收到一定的限制,内容简介,5.1,概述,5.2,概率论基础,5.3,贝叶斯网络,5.4,主观贝叶斯方法,5.5,确定性方法,5.6,证据理论（,D-S theory,）,5.5.1 规则不确定性度量,知识用产生式规则表示，知识的不确定性则是以可信度,CF(B,A),表示，其一般形式为,I,f A then B (CF(B,A),A,是知识的前提条件，或称为证据,B,是结论,CF(B,A),是该条知识的可信度，称为可信度因子,CF(B,A)的取值范围,CF(B,A),的取值范围是,-1,1,，它指出当前提条件,A,所对应的证据为真时，它对结论,B,的支持程度。,CF(B,A)0,，则表示该证据增加了结论为真的程度，且,CF(B,A),的值越大，结论,B,越真,若,CF(B,A)=1,，则表示该证据使结论为真,若,CF(B,A)0,时，有,P(B|A)P(B),MD(B,A),为不信任增长度，表示因证据,A,的出现对假设,B,为假的信任增加的程度，即当,MD(B,A)0,时，有,P(B|A)0,时,MD(B,A)=0,，则,CF(B,A)= MB(B,A),MD(B,A)0,时,MB(B,A)=0,，则,CF(B,A)=- MD(B,A),若,P(B|A)=1,，即,A,为真则,B,为真时，则,MB(B,A)=1,，,MD(B,A) =0,，,CF(B,A)=1,若,P(B|A)=0,，即,A,为真则,B,为假时，则,MD(B,A)=1,，,MB(B,A)=0,，,CF(B,A)=-1,若,P(B|A)=P(B),，即,A,对,B,没有影响时，则,MD(B,A)=0,，,MB(B,A)=0,，,CF(B,A)=0,CF(B|A)的计算公式,CF(B|A) =,P(B|A)-P(B),P(B|A)-P(B),1-P(B),P(B),P(B|A)P(B),P(B|A)0,，表示,A,以,CF(A),程度为真,CF(A)0,，证据某种程度为真,CF(A)0,，证据某种程度为假,在可信度方法的不精确推理中，并没有考虑证据为假对结论,B,所产生的影响。,结论不确定性的合成算法（一）,多条知识支持同一结论时，结论不确定性的合成计算方法,由规则,A,1,B,可求得,CF,1,(B),，同时又有规则,A,2,B,可求得,CF,2,(B),，如何根据这两条规则计算最终合成后的可信度,CF(B),CF1(B)CF2(B),是同时发生，即可以是分别从两条完全独立的途径得到的知识。,分两步求解,第一：分别对每一条知识求出,CF(B),CF,1,(B) = max0,CF(A,1,) X CF(B,A,1,),CF,2,(B) = max0,CF(A,2,) X CF(B,A,2,),第二：用下述公式求出,A,1,A,2,对,B,的综合影响形成的可信度,CF(B),CF(B) =,CF,1,(B) + CF,2,(B) CF,1,(B)CF,2,(B),CF,1,(B) + CF,2,(B) + CF,1,(B)CF,2,(B),CF,1,(B) + CF,2,(B),CF,1,(B) 0 CF,2,(B) 0,CF,1,(B) 0 CF,2,(B) 0,CF,1,(B),与,CF,2,(B),符号不同,该公式不满足组合交换性,在已知结论原始可信度的情况下，结论可信度的更新计算方法,已知证据,A,的可信度,CF(A),，结论,B,的原有可信度,CF(B),，求,A,通过规则,AB,，作用到,B,后，,B,的可信度的更新值,CF(B|A),结论不确定性的合成算法（二）,由于证据,A,不是必然发生，所以必须对可信度的情况进行讨论。,CF(A)=1,时，,A,必然发生，即证据肯定出现,CF(B|A) =,CF(B) + CF,(B,A) (1 CF(B),CF(B) + CF(B,A) (1+ CF(B),CF(B) + CF(B,A),CF(B) 0 CF(B,A) 0,CF(B) 0 CF(B,A) 0,其他,0CF(A),1,时，,A,可能发生,CF(B) + CF(A) CF,(B,A) (1 CF(B),CF(B) + CF(A),CF (B,A),(1+ CF(B),CF(B) + CF(A),CF (B,A),CF(B) 0 CF(A) CF (B,A),0,CF(B) 0 CF(A) CF (B,A),0,其他,CF(B|A) =,CF(A) 0,时，,A,不可能发生，规则,AB,不可用，即认为不可能发生的事件对,B,没有影响。,例,5.4,已知,R,1,：,A,1,B,1,CF(B,1,A,1,)=0.8,R,2,：,A,2,B,1,CF(B,1,A,2,)=0.5,R,3,：,B,1,A,3,B,2,CF(B,2, B,1,A,3,)=0.8,CF(A,1,)=CF(A,2,)=CF(A,3,)=1,CF(B,1,)=CF(B,2,)=0,计算,CF(B,1,),、,CF(B,2,),（,1,）对知识,R,1,R,2,分别计算,CF,1,(B,1,),和,CF,2,(B,1,),CF,1,(B,1,) = max0,CF(A,1,) X CF(B,1,A,1,)=0.8,CF,2,(B,1,) = max0,CF(A,2,) X CF(B,1,A,2,)=0.5,（,2,）利用合成算法计算,B,1,的综合可信度,CF(B,1,)=CF,1,(B,1,) + CF,2,(B,1,) CF,1,(B,1,)CF,2,(B,1,),=0.8+0.5-0.8*0.5=0.9,（,3,）计算,B,1,A,3,的可信度,CF(,B,1,A,3,)=min(CF(,A,3,),CF(,B,1,)=0.9,（,4,）计算,B,2,的可信度,CF(B,2,) = max0,CF(B,1,A,3,) X CF(B,2, B,1,A,3,),=0.9*0.8=0.72,演讲完毕，谢谢观看！,内容总结,不确定性推理方法。将一枚硬币连掷两次，观察硬币落地后是花面向上还是字面向上。0P(A) 1。若二事件AB互斥，即AB=,则。0P(B|A) 1。多个变量组：d分离（d-separate）。Vb在中，且路径上的两条弧都以Vb为尾（分叉连接）。如具有以上三个属性之一，就说结点Vi和Vj条件独立于给定的结点集。已知父结点，计算子结点的条件概率。从一个子结点计算父结点的条件概率。一种不确定性推理模型主观贝叶斯方法。如果有石英硫矿带，那么必有钾矿带。这意味着观测到石英硫矿带非常有用，而若不能观测到硫矿带则没有什么意义。O（B1）0.03/(1-0.03)=0.030927。CF(B,A)是该条知识的可信度，称为可信度因子。0MB(B,A) 1。0MD(B,A) 1。多条知识支持同一结论时，结论不确定性的合成计算方法。演讲完毕，谢谢观看,