人工智能Bayes方法

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,主观,Bayes,方法,陈志华,主要内容,1.概率论基础,2.主观,Bayes,方法的基本理论,3.主观,Bayes,方法的基本模型,前言,主观,Bayes,方法,一种不确定性推理算法,以概率论中的,Bayes,公式为基础,首先应用于专家系统,PROSPECTOR,系统,和前述推理方法的区别,不确定性推理,当一个或多个新证据出现时，根据推理规则，计算,结论的可信度,推理前不知道结论的概率信息,主观,Bayes,方法（条件概率）,当一个事件发生后，先验概率如何转变为后验概率,推理前知道,结论的先验概率信息,规则的表示不一样,1.概率论基础,条件概率：,设,A，B,是两个随机事件，则,是在,B,事件已经发生的条件下，,A,事件发生的概率,。,乘法定理,:,全概率公式：设 事件满足：,两两互不相容，即当 时，有,样本空间,则对任何事件,B,有下式成立：,称为,全概率公式,。,根据全概率公式及乘法定理可以得到,Beyes,公式,:,2.基本理论,主观,Bayes,方法的基本思想,由于证据,E,的出现，使得,P(R),变为,P(R|E),主观,Bayes,方法,就是研究利用证据,E，,将先验概率,P(R),更新为后验概率,P(R|E),先验概率,P(R),即不考虑证据,E,出现的前提下，结论结论,R,成立的概,2.基本理论,一.知识不确定性的表示（产生式规则）,其中,LS:,充分性量度,LN:,必要性量度,P(R):R,的先验概率,二.基,本,本算法,证据,E,有三种情,形,形,1),肯定存在,，,，即,P(E)=1,2),肯定不存,在,在，,P(E)=0,3),不确定，0,P(E)1,，使,得,得,P(R|E)P(R),LS1,使得,P(R|E)1,，使,得,得,P(R|,E)P(R),LN1,使得,P(R|,E)P(R),例子,假设,有,有如,下,下规,则,则:,规则1:,IFE1THEN(10,1)R1(0.03),规则2:,IFE2THEN(20,1)R2(0.05),规则3:,IFE3THEN(1,0.002)R3(0.3),求,(1),当,当,E1,E2,E3,都存,在,在时,P(Ri|Ei),(2)当,E1,E2,E3,都不,存,存在,时,时,P(Ri|,Ei),分析,：,：,利用,公,公式,5,，,6,答案:,练习,设有,如,如下,推,推理,规,规则,：,：,R1:IFE1THEN(2,0.5)H1,R2:IFE2THEN(1,0.2)H2,R3:IFE3THEN(5,0.1)H3,并且,已,已知,P(H1)=0.2,P(H2)=0.1,P(H3)=0.4,计算,当,当证,据,据,E1,E2,E3,存在,或,或不,存,存在,时,时，,P(Hi|Ei),或,P(Hi|Ei),的值,各,各是,多,多少,？,？,(i=1,2,3),3),证据,E,不确,定,定,在现,实,实中,证,据,据往,往,往是不确,定,定的,即,无,无法,肯,肯定,它,它一,定,定存,在,在或,一,一定,不,不存,在,在,用户,提,提供,的,的原,始,始证,据,据不,精,精确,用户,的,的观,察,察不,精,精确,推理,出,出的,中,中间,结,结论,不,不精,确,确,假设,S,是对,E,的观,察,察,则,则,P(E|S),表示,在,在观,察,察,S,下,E,为真,的,的概,率,率,值,值,在,在,0,1；,此时0,P(E|S)1,，,，,故计,算,算后,验,验概,率,率,P(R|S),不能,使,使用,Bayes,公式,可以,采,采用,下,下面,的,的公,式,式修,正,正（杜达,公,公式）,（,式7,）,后验,概,概率,P(R|S),的计,算,算,-1,针对,杜,杜达,公,公式,，,，分,四,四种,情,情况,讨,讨论,1,）,E,肯定,存,存在,，,，即,P(E|S)=1,且,P(,E|S)=0,，杜,达,达公,式,式简,化,化为,：,：,注意,：,：同,时,时利,用,用了公式5,后验,概,概率,P(R|S),的计,算,算,-2,2,）,E,肯定,不,不存,在,在，,即,即,P(E|S)=0,P(,E|S)=1,，杜达公,式,式简化为,：,：,注意：同,时,时利用了公式6,后验概率,P(R|S),的计算,-3,3,）,P(E|S)=P(E),，即,E,和,S,无关,利用全概,率,率公式（,公,公式7）,，,，杜达公,式,式可以化,为,为：,后验概率,P(R|S),的计算,-4,当,P(E|S),为其它值（非0，,非,非1，非,P(E),）,）,时，则需,要,要通过分段线形,插,插值计算：,公式8,后验概率,P(R|S),的线性插,值,值图,1,杜达公式,的,的说明,P(E|S),由用户给,定,定，但是,P(E),和,P(E|S),很难区分,和,和取值,解决方法:替,代,代法,对于原始,证,证据，由,用,用户给定,可,可信度,C(E|S),，对应,P(E|S),C(E|S),取值从,-5,到,5,的整数,-5-4-3-2-1012345,P(E|S)=1,P(E|S)=0,此时公式8变换为,公,公式,9,公式,9,3.推,理,理模型,一.组,合,合证据不,确,确定性的,计,计算,组合证据,为,为多个证,据,据的合取时,即,E=E,1,ANDE,2,AND,E,n,组合证据,为,为多个证,据,据的析取时,即,E=E,1,OR E,2,OR E,n,二.证,据,据不确定,性,性的传递,(1),对,对于叶结,点,点证据,E,的传递,该公式基,于,于,R-E-S,的推理链,公式9,R,E,S,叶结点不,确,确定性的,传,传递,三.结,论,论不确定,性,性的合成,n,条规则都,支,支持同一,结,结论,R,这些规则,的,的前提条件,E,1,E,2,E,n,相互独立,每个证据,所,所对应的,观,观察为,S,1,S,2,S,n,先计算,O(R|S,i,)，,然后再计,算,算所有观,察,察下，,R,的后验几,率,率计算方,法,法,:(公式11),例 题,设有如下,规,规则：,规则,1:IF E1THEN(2,0.001)R,规则,2:IF E2THEN(100,0.001)R,且,O(R)=0.1,C(E1|S1)=2,C(E2|S2)=1,试画出推,理,理树，并,计,计算,O(R|S1,S2),R,E1,S1,E2,S2,推理树,P(R|S1,S2),O(R|Si),P(R|Si),公式,9,解题步骤,：,(1)先,计,计算,P(R|S1),并计算,O(R|S1);,利用公式2，公式5，公式9,(2),两条规则,支,支持同一,个,个结论，,计,计算,O(R|S1,S2);,利用公式,11,小 结,主观,Bayes,方法（条,件,件概率）,当一个事,件,件发生后,，,，先验概,率,率如何转,变,变为后验,概,概率,推理前知,道,道结论的,先,先验概率,信,信息,证据不确,定,定时，必须采用,杜,杜达等人,推,推导的公,式,式,:,P(R|S)=P(R|E)P(E|S)+P(R|E)P(E|S),传递公式,:,公式,9,和公式,10,设有如下,规,规则：,规则,1:IF E1THEN(2,0.1)R,规则,:IFE2THEN(10,1)R,且,P(R)=0.01,C(E1|S1)=2,试根据主,观,观,Bayes,方法，计,算,算,O(R|S1,S2),练习,练习,设有如下,规,规则：,规则,1:IF E1THEN(2,0.1)R,规则,2:IF E2THEN(100,0.1)R,且已知,O(R)=0.1,C(E1|S1)=3,C(E2|S2)=-1,试用主观,Bayes,方法计算,：,：,O(R|S1,S2)=?,演讲完毕,，,，谢谢观,看,看！,