第二章--不确定知识表示及推理与专家系统课件

第第 二二 章章不确定知识表示及推理与不确定知识表示及推理与专家系统专家系统7/16/20241内容内容2.1 概述概述2.2 概率模型概率模型2.3 主观主观Bayes方法方法2.4 可信度方法可信度方法2.5 专家系统概述专家系统概述2.6 专家系统的结构与工作原理专家系统的结构与工作原理2.7 专家系统的建立专家系统的建立2.8 专家系统的开发工具专家系统的开发工具2.9 专家系统应用举例专家系统应用举例7/16/202422.1 概述概述7/16/20243所所谓谓不不确确定定性性推推理理就就是是从从不不确确定定性性的的初初始始事事实实（证证据据）出出发发，通通过过运运用用不不确确定定的的知知识识，最最终终推推出出具具有有一一定定程程度度的的不不确确定定性性却却是是合合理或者近乎合理的结论的思维过程。理或者近乎合理的结论的思维过程。需要解决的问题需要解决的问题不确定性的表示不确定性的表示不确定性的匹配不确定性的匹配不确定性的更新算法不确定性的更新算法7/16/20244 证据的不确定性证据的不确定性一、不确定性的表示一、不确定性的表示证据通常有两类：证据通常有两类：一类为初始事实。这一类证据多来源于观察，因而通常具有不一类为初始事实。这一类证据多来源于观察，因而通常具有不确定性；确定性；另一类为推理过程中产生的中间结果。另一类为推理过程中产生的中间结果。证据不确定性用证据不确定性用C(E)表示，它代表相应证据的不确定性程度，表示，它代表相应证据的不确定性程度，即表示证据即表示证据E为真的程度。为真的程度。credibility n.可信性；确实性可信性；确实性如果如果E为初始事实，则为初始事实，则C(E)由用户给出。由用户给出。如果如果E为推理过程中产生的中间结果，则为推理过程中产生的中间结果，则C(E)可以通过不确定可以通过不确定性的更新算法来计算。性的更新算法来计算。知识的不确定性知识的不确定性7/16/20245规则：规则：IF E THEN H规规则则是是知知识识，E是是规规则则的的前前提提即即证证据据，H是是该该规规则则的的结结论论，也也可以是其他规则的证据。可以是其他规则的证据。EHC(E)C(H)f(E,H)规则的不确定性通常用一个数值规则的不确定性通常用一个数值f(E,H)表示，称为规则强度表示，称为规则强度。规规则则的的假假设设(结结论论)H也也可可以以作作为为其其他他规规则则的的证证据据，其其不不确确定定用用C(H)表示，表示，C(H)必须通过不确定性的更新算法来计算。必须通过不确定性的更新算法来计算。hypothesis hapss基本翻译n.假设网络释义Hypothesis:假设|假说|假定7/16/20246在确定一种量度方法及其范围时，应注意以下几点：在确定一种量度方法及其范围时，应注意以下几点：量度要能充分表达相应的知识和证据的不确定性程度。量度要能充分表达相应的知识和证据的不确定性程度。量度范围的指定应便于领域专家及用户对不确定性的估计。量度范围的指定应便于领域专家及用户对不确定性的估计。量量度度要要便便于于对对不不确确定定性性的的更更新新进进行行计计算算，而而且且对对结结论论算算出出的的不确定性量度不能超出量度的范围不确定性量度不能超出量度的范围 量度的确定应当是直观的，同时应有相应的理论依据。量度的确定应当是直观的，同时应有相应的理论依据。7/16/20247二、不确定性的匹配算法二、不确定性的匹配算法 设设计计一一个个数数用用来来计计算算匹匹配配双双方方相相似似的的程程度度，另另外外再再指指定定一一个个相相似似的的限限度度(称称为为阈阈值值)，用用来来衡衡量量匹匹配配双双方方相相似似的的程程度度是是否否落落在在指定的限度内。指定的限度内。如如果果落落在在指指定定的的限限度度内内，就就称称它它们们是是可可匹匹配配的的，相相应应的的知知识识可可被应用。被应用。否则就称它们是不可匹配的，相应的知识不可应用。否则就称它们是不可匹配的，相应的知识不可应用。7/16/20248三、不确定性的更新算法三、不确定性的更新算法 即在推理过程中如何考虑知识不确定性的动态积累和传递。即在推理过程中如何考虑知识不确定性的动态积累和传递。1、已知规则前提的不确定性、已知规则前提的不确定性C(E)和规则的强度和规则的强度f(E,H)，如何求，如何求假设假设H的不确定性的不确定性C(H)。即定义算法即定义算法g1，使，使C(H)=g1C(E),f(E,H)E1HC(E1)C(H)f(E1,H)E2HC(E2)C(H)f(E2,H)2、并行规则算法并行规则算法定义算法定义算法g2：C(H)=g2C1(H),C2(H)Credibility7/16/202493、证据证据合取合取的不确定性算法的不确定性算法C(E1 E2)=g3 C(E1),C(E2)C(E1 E2)=g4C(E1),C(E2)4、证据证据析取析取的不确定性算法的不确定性算法合取和析取的不确定性算法统称为组合证据的不确定性算法。合取和析取的不确定性算法统称为组合证据的不确定性算法。最大最小法最大最小法C(E1 E2)=min C(E1),C(E2)C(E1 E2)=max C(E1),C(E2)C(E E2)=C(E1)C(E2)C(E E2)=C(E1)C(E2)C(E1)C(E2)有界方法有界方法 概率方法概率方法C(E1 E2)=max 0,C(E1)+C(E2)1 C(E1 E2)=min 1,C(E1)+C(E2)7/16/202410设设A1、A2、A3、A4为原始证据，不确定性分别为：为原始证据，不确定性分别为：C(A1)、C(A2)、C(A3)、C(A4)求求A5、A6、A7的不确定性。的不确定性。举例举例A1A2ORA4A3ANDA5R1f1A6R2f2A7R3f3R4f47/16/202411由证据由证据A1和和A2的不确定性的不确定性C(A1)和和C(A2)由由A1和和A2析取的不确定性析取的不确定性C(A1 A2)和和规则规则R1的规则强度的规则强度f1根据算法根据算法4求出求出A1和和A2析取的不确定性析取的不确定性C(A1 A2)。根据算法根据算法1求出求出A5的不确定性的不确定性C(A5)。由证据由证据A3和和A4的不确定性的不确定性C(A3)和和C(A4)由由A3和和A4合取的不确定性合取的不确定性C(A3 A4)和和规则规则R2的规则强度的规则强度f2，根据算法根据算法3求出求出A3和和A4合取的不确定性合取的不确定性C(A3 A4)。根据算法根据算法1求出求出A6的不确定性的不确定性C(A6)。7/16/202412由由A5的不确定性的不确定性C(A5)和规则和规则R3的规则强度的规则强度f3由由A6的不确定性的不确定性C(A6)和规则和规则R4的规则强度的规则强度f4由由A7的两个根据独立证据分别求出的不确定性的两个根据独立证据分别求出的不确定性C(A7)和和C(A7)根据算法根据算法1求出求出A7的其中一个不确定性的其中一个不确定性C(A7)。根据算法根据算法1求出求出A7的另外一个不确定性的另外一个不确定性C(A7)。根据算法根据算法2求成求成A7最后的不确定性最后的不确定性C(A7)。7/16/2024132.2 概率方法概率方法7/16/202414一、基础一、基础 1、全概率公式、全概率公式P(Ai)0；两两互不相容，即当两两互不相容，即当i j时，有时，有设事件满足：设事件满足：，D为必然事件为必然事件则对任何事件则对任何事件B有下式成立：有下式成立：提供了一种计算提供了一种计算P(B)的方法。的方法。7/16/2024152、Bayes公式公式定理：设事件满足上述定理的条件，则对任何事件定理：设事件满足上述定理的条件，则对任何事件B有：有：该定理称为该定理称为Bayes定理，上式称为定理，上式称为Bayes公式。公式。设E 为随机试验，为样本空间，A，B 为任意两个事件，设P(A)0，称为在“事件A 发生”的条件下事件B 的条件概率。7/16/202416如果把全概率公式代入如果把全概率公式代入Bayes公式中，就可得到：公式中，就可得到：即：即：7/16/202417二、概率推理模型二、概率推理模型Bayes方法用于不精确推理的条件是已知：方法用于不精确推理的条件是已知：P(E)，P(H)，P(E|H)IF E THEN H若一组证据若一组证据E1,E2,En同时支持假设同时支持假设H时，则：时，则：对于对于H，E1,E2,En之间相互独立之间相互独立对于一般的不精确推理网络，必须做如下约定：对于一般的不精确推理网络，必须做如下约定：当一个证据当一个证据E支持多个假设支持多个假设H1,H2,Hn时，时，则：则：假设假设H1,H2,Hn 之间互不相容之间互不相容7/16/202418如果一个证据如果一个证据E支持多个假设支持多个假设H1,H2,Hn，即：，即：IF E THEN Hi并已知并已知P(Hi)和和P(E|Hi)，则，则如果有多个证据如果有多个证据E1,E2,Em和多个结论和多个结论H1,H2,Hn，则，则：?7/16/202419设已知：P(H1)=0.4,P(H2)=0.3,P(H3)=0.3 P(E1|H1)=0.5,P(E1|H2)=0.6,P(E1|H3)=0.3 P(E2|H1)=0.7,P(E2|H2)=0.9,P(E2|H3)=0.1=0.45 同理同理求：P(H1|E1E2),P(H2|E1E2),P(H3|E1E2)举例举例7/16/202420概率推理模型的优缺点概率推理模型的优缺点有有较较强强的的理理论论背背景景和和良良好好的的数数学学特特征征，当当证证据据及及结结论论都都彼彼此此独独立时，计算的复杂度比较低。立时，计算的复杂度比较低。它它要要求求给给出出结结论论Hi的的先先验验概概率率P(Hi)及及证证据据Ej的的条条件件概概率率P(Ej|Hi)，要获得这些数据是一件相当困难的工作。，要获得这些数据是一件相当困难的工作。Bayes公公式式的的应应用用条条件件很很严严格格，它它要要求求各各事事件件互互相相独独立立，若若证证据据之间存在依赖关系，就不能直接使用这个方法之间存在依赖关系，就不能直接使用这个方法7/16/2024212.3 主观主观Bayes方法方法7/16/202422EHP(E)P(H)LS,LNLS，LN(0)分别称为充分性量度和必要性量度，这两个数值分别称为充分性量度和必要性量度，这两个数值由领域专家给出。由领域专家给出。一、不确定性的表示一、不确定性的表示1、知识的不确定性表示、知识的不确定性表示IF E THEN(LS,LN)H(P(H)7/16/202423O等价于概率函数等价于概率函数P，定义如下：，定义如下：P越大则越大则O越大，越大，P和和O在概率含义上等价的，但取值范围不同：在概率含义上等价的，但取值范围不同：当当P0.5时，时，O0.5时，时，O1当当P=0.5时，时，O=1当当P=0时，时，O=0几率函数几率函数O(odds)7/16/202424H的先验几率的先验几率O(H)和后验几率和后验几率O(H|E)在某事件在某事件E的前提的前提下，事件发生下，事件发生H和和不发生不发生H的概率的概率的相对比值称作的相对比值称作几率几率O，其定义为：，其定义为：O(H/E)=7/16/202425同理可得：同理可得：O(H|E)=LNO(H)O(H|E)=LSO(H)！7/16/202426LS：规则规则的充分性量度的充分性量度 sufficiencyLS=1时，时，O(H|E)=O(H)，说明，说明E对对H没有影响；没有影响；LS1时时，O(H|E)O(H)，说说明明E支支持持H，且且LS越越大大，E对对H的的支支持持越越充充分分。可可见见，E的的出出现现对对H为为真真是是充充分分的的，故故称称LS为为充充分分性性度量。度量。LS1时，时，O(H|E)1时，时，O(H|E)O(H)，说明，说明 E支持支持H，且，且LN越大，越大，E对对H的支持越充分。的支持越充分。当当LN1时，时，O(H|E)1且且LN1 LS1 LS=LN=1由由于于E和和 E不不可可能能同同时时支支持持H或或同同时时反反对对H，所所以以领领域域专专家家在在为为一条知识中的一条知识中的LS和和LN赋值时，不应该同时大于赋值时，不应该同时大于1或同时小于或同时小于1。7/16/2024292、证据证据的不确定性表示的不确定性表示在在主主观观Bayes方方法法中中，证证据据E的的不不确确定定性性由由用用户户根根据据观观察察S给给出出后后验概率验概率P(E|S)或后验几率或后验几率O(E|S)表示。表示。当当E为真时，为真时，P(E|S)=1，O(E|S)=当当E为假时，为假时，P(E|S)=0，O(E|S)=0 当当E不确定时，不确定时，0P(E|S)0，所以使用，所以使用CP公式的后一部分：公式的后一部分：7/16/202453求求O(H1|S2)因为因为C(E2|S2)=10，所以使用，所以使用CP公式的后一部分：公式的后一部分：7/16/202454求求O(H1|S1S2)7/16/202455求求O(H2|S1S2)为了确定应用为了确定应用EH公式的哪一部分，需要判断公式的哪一部分，需要判断P(H1|S1S2)与与P(H1)的关系。的关系。P(H1|S1S2)P(H1)，必须用必须用EH公式的后半部分公式的后半部分：7/16/2024567/16/202457求求O(H2|S3)因为因为C(E3|S3)=-20，表表示示证证据据的的存存在在增增加加结结论论为为真真的的程程度度，CF(H，E)的值越大结论的值越大结论H越真；越真；CF(H，E)=1，表示证据存在结论为真；，表示证据存在结论为真；CF(H，E)0证据的出现越是支持证据的出现越是支持H为真，就使为真，就使CF(H,E)的值越大；的值越大；反之，使：反之，使：CF(H,E)0 当证据肯定为真时：当证据肯定为真时：CF(E)=1 当证据以某种程度为假时：当证据以某种程度为假时：CF(E)0，即证据以某种程度为真，则，即证据以某种程度为真，则CF(H)=CF(H,E)CF(E)若若CF(E)=1，即证据为真时，则，即证据为真时，则CF(H)=CF(H,E)；若若CF(E)0，即证据以某种程度为假，则，即证据以某种程度为假，则CF(H)=0；在在可可信信度度方方法法的的不不精精确确推推理理中中，并并没没有有考考虑虑证证据据为为假假时时对对结结论论H所产生的影响。所产生的影响。7/16/202473IF E1 THEN H (CF(H,E1)IF E2 THEN H (CF(H,E2)3、多个独立证据推出同一假设的合成算法、多个独立证据推出同一假设的合成算法先分别求两条规则得出的结论的可信度。先分别求两条规则得出的结论的可信度。CF1(H)=CF(H,E1)max0,CF(E1)CF2(H)=CF(H,E2)max0,CF(E2)利用下式求出利用下式求出E1和和E2对对H的综合影响所形成的的综合影响所形成的CF1,2(H)。CF1(H)0,CF2(H)0：CF1,2(H)=CF1(H)+CF2(H)-CF1(H)CF2(H)CF1(H)0,CF2(H)0：CF1,2(H)=CF1(H)+CF2(H)+CF1(H)CF2(H)CF1(H)和和CF2(H)异号：异号：CF1,2(H)=CF1(H)+CF2(H)7/16/202474在在MYCIN系系统统的的基基础础上上形形成成的的专专家家系系统统工工具具EMYCIN，将将其其修修改为：改为：在在组组合合两两个个以以上上的的独独立立证证据据时时，可可先先组组合合其其中中两两个个，再再将将结结果果与第三个证据组合，如此下去，直到组合完毕为止。与第三个证据组合，如此下去，直到组合完毕为止。当当CF1(H)0,CF2(H)0 时：时：CF1,2(H)=CF1(H)+CF2(H)-CF1(H)CF2(H)当当CF1(H)0,CF2(H)0：CF1,2(H)=CF1(H)+CF2(H)+CF1(H)CF2(H)当当CF1(H)和和CF2(H)异号异号 时：时：7/16/202475即：已知规则即：已知规则IF E THEN H CF(H,E)及及CF(H)，求，求CF(H|E)4、在在已已知知结结论论原原始始可可信信度度的的情情况况下下，结结论论可可信度的更新计算方法信度的更新计算方法这时分三种情况进行讨论。这时分三种情况进行讨论。7/16/202476 CF(H)0,CF(H,E)0：CF(H|E)=CF(H)+CF(H,E)-CF(H,E)CF(H)CF(H)0,CF(H,E)0：CF(H|E)=CF(H)+CF(H,E)+CF(H,E)CF(H)CF(H)和和CF(H,E)异号：异号：当当CF(E)=1时，即证据肯定出现时时，即证据肯定出现时7/16/202477 CF(H)0,CF(H,E)0：CF(H|E)=CF(H)+CF(H,E)CF(E)-CF(H)CF(H,E)CF(E)CF(H)0,CF(H,E)0：CF(H|E)=CF(H)+CF(H,E)CF(E)+CF(H)CF(H,E)CF(E)CF(H)和和CF(H,E)异号：异号：当当0CF(E)1时时7/16/202478当当CF(E)0时时在在MYCIN系统中就规定，当系统中就规定，当CF(E)0.2时，规则时，规则IF E THEN H不可使用。不可使用。结结论论可可信信度度的的合合成成算算法法和和更更新新算算法法本本质质上上是是一一致致的的，但但对对不不同同前前提提条条件件，使使用用不不同同的的方方法法，解解题题的的效效果果或或难难易易程程度度不不同同。有有些些题题目目使使用用合合成成法法求求解解就就比比较较容容易易，而而有有些些题题目目就就需需要要使使用用更更新法。新法。规则不可使用，对结论规则不可使用，对结论H的可信度无影响。的可信度无影响。7/16/202479R1：IF A1 THEN B1 CF(B1,A1)=0.8R2：IF A2 THEN B1 CF(B1,A2)=0.5R3：IF B1 A3 THEN B2 CF(B2,B1 A3)=0.8并且已知：并且已知：CF(A1)=CF(A2)=CF(A3)=1而对而对B1，B2一无所知。一无所知。求求CF(B1)和和CF(B2)。三、可信度方法应用举例三、可信度方法应用举例1、多条知识下，合成法求结论可信度举例、多条知识下，合成法求结论可信度举例举例举例17/16/202480解：由于对B1，B2的初始可信度一无所知，使用合成算法计算A1B1R1A2R2A3B2R3对知识R1和R2，分别计算CF(B1)CF1(B1)=CF(B1,A1)max0,CF(A1)=0.81=0.8CF2(B1)=CF(B1,A2)max0,CF(A2)=0.51=0.5利用合成算法计算B1的综合可信度CF1,2(B1)=CF1(B1)+CF2(B1)-CF1(B1)CF2(B1)=0.8+0.5-0.80.5=0.9计算B2的可信度CF(B2)CF(B2)=CF(B2,B1A3)max0,CF(B1A3)=0.8 max0,minCF(B1),CF(A3)=0.8 max0,min0.9,1=0.8 max0,0.9=0.80.9=0.72 7/16/202481R1：IF E1 THEN H CF(H,E1)=0.8R2：IF E2 THEN H CF(H,E2)=0.6R3：IF E3 THEN H CF(H,E3)=0.5R4：IF E4(E5 E6)THEN E1 CF(E1,E4(E5 E6)=0.7R5：IF E7 E8 THEN E3 CF(E3,E7 E8)=0.9在系统运行中已从用户处得：在系统运行中已从用户处得：CF(E2)=0.8，CF(E4)=0.5，CF(E5)=0.6，CF(E6)=0.7，CF(E7)=0.6，CF(E8)=0.9求：求：CF(H)举例举例27/16/202482解：由已知知识建立推理网络如图：解：由已知知识建立推理网络如图：E1HR1E2R2E3R3E4E5E6R4E8E7R57/16/202483由R4：CF(E1)=CF(E1,E4(E5E6)max0,CF(E4(E5E6)=0.7max0,minCF(E4),CF(E5 E6)=0.7max0,minCF(E4),maxCF(E5),CF(E6)=0.7max0,minCF(E4),max0.6,0.7=0.7max0,minCF(E4),0.7=0.7 max0,min0.5,0.7=0.7 max0,0.5=0.7 0.5=0.35由R5：CF(E3)=CF(E3,E7E8)max0,CF(E7E8)=0.9max0,minCF(E7),CF(E8)=0.9max0,min0.6,0.9 =0.9max0,0.6=0.90.6=0.547/16/202484由R1：将R1和R2两条知识合成：CF1,2(H)=CF1(H)+CF2(H)-CF1(H)CF2(H)=0.28+0.48-0.280.48=0.6256 CF1(H)=CF(H,E1)max0,CF(E1)=0.8max0,0.35=0.80.35=0.28由R2：CF2(H)=CF(H,E2)max0,CF(E2)=0.6max0,0.8=0.60.8=0.48由R3：CF3(H)=CF(H,E3)max0,CF(E3)=-0.5max0,0.54=-0.50.54=-0.277/16/202485将将CF1,2(H)和和CF3(H)合成合成7/16/202486规则可信度为：规则可信度为：2、多条知识下，更新法求结论可信度举例、多条知识下，更新法求结论可信度举例证据可信度为：证据可信度为：CF(A)=CF(B)=CF(C)=CF(D)=0.5X,Y的初始可信度为：的初始可信度为：CF0(X)=0.1,CF0(Y)=0.2要求用要求用MYCIN的方法计算：的方法计算：结论结论X的可信度的可信度CF(X)结论结论Y的可信度的可信度CF(Y)R1：AXCF(X,A)=0.8R2：BXCF(X,B)=0.6R3：CXCF(X,C)=0.4R4：X DY CF(Y,X D)=0.3举例举例37/16/202487解：考虑解：考虑X,Y具有初始可信度，故用更新法计算结论可信度。具有初始可信度，故用更新法计算结论可信度。先计算先计算X的可信度更新值：的可信度更新值：CF(A)=CF(B)=CF(C)=CF(D)=0.50P(H|S1)=P(H)+P(H|E)-P(H)1/5 C(E|S1)O(H|E)=LS O(H)=450 4/6=300P(H|S1)=0.758O(H)=7/16/2024144第二步:计算P(H|S2)C(E|S2)=-30P(H|E2)=LNO(H)=0.012P(H|E2)=0.1672与第一步类似，可求得P(H|S3)=0.998第三步：计算O(H|S1&S2&S3)=3.132P(H|E2)=O(H|S1)=同理，O(H|S2)=0.200和O(H|S3)=4997/16/2024145若若Ei还还以以不不同同的的LS,LN与与其其他他的的Hi有有关关系系，则则可可以以求求出出各各Hi的的O，对应最大，对应最大O的的Hi就是最可能出现的就是最可能出现的Hi该该诊诊断断专专家家系系统统先先向向用用户户提提问问，读读取取Ei存存在在的的明明显显程程度度C(Ei|Si)，根根据据已已有有的的知知识识库库计计算算出出各各个个O(Hi|S1&S2&SN)，然然后后按按Hi出现的出现的O大小对大小对Hi进行排序，显示给系统的使用者。进行排序，显示给系统的使用者。主主观观Bayes方方法法对对Ei出出现现和和不不出出现现时时对对Hi的的影影响响都都给给予予考考虑虑，所所以以理理论论模模型型精精确确，而而且且实实际际计计算算表表明明该该推推理理方方法法的的灵灵敏敏度度很很高高，即对不同的程度即对不同的程度C(Ei|Si)，O(Hi|S1&S2&SN)的变化很大的变化很大其其缺缺点点是是对对每每一一个个Hi，专专家家都都要要给给出出一一个个P(Hi)，而而每每一一个个Ei和和Hi之间专家还要给出一个之间专家还要给出一个LS和和LN，这是比较麻烦的事情。，这是比较麻烦的事情。但但LS和和LN的的大大小小只只有有相相对对意意义义，专专家家可可以以逐逐步步给给出出并并修修正正所所给给的数据。的数据。7/16/2024146