贝叶斯可靠性评估课件

贝叶斯可靠性评估贝叶斯可靠性评估第一节第一节 贝叶斯统计简介贝叶斯统计简介 1.贝叶斯的基本出发点贝叶斯的基本出发点 2.先验分布和后验分布先验分布和后验分布 3.贝叶斯推断贝叶斯推断 4.经验贝叶斯方法经验贝叶斯方法第二节第二节 常见故障分布下常见故障分布下的贝叶斯推断的贝叶斯推断 1.二项分布的二项分布的贝叶斯贝叶斯估计估计 2.指数分布的指数分布的贝叶斯贝叶斯估计估计Thomas BayesThomas Bayes (1702 1761)第一节第一节 贝叶斯统计简介贝叶斯统计简介1.1 1.1 贝叶斯的基本出发点贝叶斯的基本出发点贝叶斯学派的最基本的观点是：任一未知量都可看作一个贝叶斯学派的最基本的观点是：任一未知量都可看作一个随机变量，应该用一个概率分布去描述其未知状况。在抽随机变量，应该用一个概率分布去描述其未知状况。在抽样前就有关于目标变量的先验信息的概率陈述。这个概率样前就有关于目标变量的先验信息的概率陈述。这个概率分布被称为先验分布，简称先验分布被称为先验分布，简称先验(Prior)(Prior)。总体信息总体信息 样本信息样本信息 经典统计学经典统计学总体信息总体信息 样本信息样本信息 先验信息先验信息 贝叶斯统计学贝叶斯统计学总体分布和总总体分布和总体所属分布簇体所属分布簇给出的信息给出的信息 从总体中抽从总体中抽取的样本给取的样本给出的信息出的信息 把数据把数据(样本样本)看成是来看成是来自具有一定概率分布的自具有一定概率分布的总体，所研究的对象是总体，所研究的对象是这个总体而不局限于数这个总体而不局限于数据本身。据本身。根据样本的信根据样本的信息来推断总体的特征息来推断总体的特征在抽样之前有关统在抽样之前有关统计问题的一些信息，计问题的一些信息，一般说来，先验信一般说来，先验信息主要来源于经验息主要来源于经验和历史资料和历史资料 重视先验信息的收重视先验信息的收集、挖掘和加工，集、挖掘和加工，并使之数量化，形并使之数量化，形成先验分布，然后成先验分布，然后结合样本数据，得结合样本数据，得到分布后验。到分布后验。贝叶斯可靠性评估贝叶斯可靠性评估第一节第一节 贝叶斯统计简介贝叶斯统计简介 1.贝叶斯的基本出发点贝叶斯的基本出发点 2.先验分布和后验分布先验分布和后验分布 3.贝叶斯推断贝叶斯推断 4.经验贝叶斯方法经验贝叶斯方法第二节第二节 常见故障分布下常见故障分布下的贝叶斯推断的贝叶斯推断 1.二项分布的二项分布的贝叶斯贝叶斯估计估计 2.指数分布的指数分布的贝叶斯贝叶斯估计估计1.2 1.2 先验分布与后验分布先验分布与后验分布 贝叶斯公式贝叶斯公式 贝叶斯公式的事件形式贝叶斯公式的事件形式：设事件：设事件 互不相容，互不相容，并且并且 (必然事件必然事件)，则对于任一事件，则对于任一事件 ，有，有下面通过贝叶斯公式密度形式，介绍贝叶斯方法的一般步下面通过贝叶斯公式密度形式，介绍贝叶斯方法的一般步骤：骤：1.密度函数记为密度函数记为 ，它表示在随机变量，它表示在随机变量 给定某个给定某个值时，总体指标值时，总体指标 的条件分布。的条件分布。2.2.根据根据 的先验信息确定的先验信息确定 的先验分布的先验分布 。3.3.从贝叶斯观点来看，样本从贝叶斯观点来看，样本 的产生要分两步的产生要分两步:首先设想从先验分布首先设想从先验分布 中产生一个参数中产生一个参数 ；第二步在；第二步在给定给定 下，从总体分布下，从总体分布 中产生一个样本中产生一个样本 该样本发生的概率与如下联合概率函数成正比，该样本发生的概率与如下联合概率函数成正比，这个函数常称为似然函数，记为这个函数常称为似然函数，记为 。4.样本和参数的联合分布为样本和参数的联合分布为1.2 1.2 先验分布与后验分布先验分布与后验分布 5.现在的任务是要对未知参数现在的任务是要对未知参数 作出统计推断作出统计推断:在有样本观测值后，应根据联合分布在有样本观测值后，应根据联合分布 对对 作出作出推断，为此需要把推断，为此需要把 作如下分解：作如下分解：中不含中不含 的任何信息。因此能用来对的任何信息。因此能用来对 作出推断的作出推断的仅仅是条件分布仅仅是条件分布 ，其计算公式为，其计算公式为1.2 1.2 先先验分布与后验分布验分布与后验分布 1.2 1.2 先先验分布与后验分布验分布与后验分布这就是贝叶斯公式的密度函数形式。在样本这就是贝叶斯公式的密度函数形式。在样本 给定下，给定下，的条件分布被称为的条件分布被称为 的后验分布。的后验分布。6.当当 是离散随机变量时，先验分布可用先验分布列是离散随机变量时，先验分布可用先验分布列 表示。这时后验分布也是离散的，表示。这时后验分布也是离散的，例例 14.1 设事件设事件 的概率为的概率为 ，即，即 。为了估计。为了估计而作而作 次独立观测，其中事件次独立观测，其中事件 出现次数为出现次数为 ，显，显然，然，服从二项分布服从二项分布 ，即，即 的先验分布取的先验分布取 于是样本于是样本 与参数与参数 的联合分布为的联合分布为再计算再计算 的边际分布的边际分布 1.2 先验分布与后验分布先验分布与后验分布最后得到最后得到 的后验分布的后验分布该分布恰好是参数为该分布恰好是参数为 和和 的贝塔分布，记的贝塔分布，记为为 。1.2 先验分布与后验分布先验分布与后验分布共轭先验分布共轭先验分布 设设 是总体分布中的参数是总体分布中的参数(或参数向量或参数向量)，是是 的先验的先验密度函数，假如由抽样信息算得的后验密度函数与密度函数，假如由抽样信息算得的后验密度函数与 有相同的函数形式，则称有相同的函数形式，则称 是是 的共轭先验分布。应该的共轭先验分布。应该指出，共轭先验分布是对某一分布中的参数而言的。指出，共轭先验分布是对某一分布中的参数而言的。1.2 先验分布与后验分布先验分布与后验分布共轭先验分布的优点是计算方便，后验分布的一些参数，共轭先验分布的优点是计算方便，后验分布的一些参数，特别是后验均值可得到很好的解释；缺点是有时会出现误特别是后验均值可得到很好的解释；缺点是有时会出现误用用。超参数的确定超参数的确定 先验分布中所含的未知参数称为超参数。下面结合贝先验分布中所含的未知参数称为超参数。下面结合贝塔分布来介绍几种超参数的确定方法。塔分布来介绍几种超参数的确定方法。1.2 先验分布与后验分布先验分布与后验分布例例 14.2 14.2 二项分布中成功概率二项分布中成功概率 的共轭先验分布是贝塔的共轭先验分布是贝塔分布分布 ，其中，其中 是两个超参数。下面介绍确定是两个超参数。下面介绍确定 的几种常用方法：的几种常用方法：1 1、先验矩方法、先验矩方法 若用先验信息能获得成功概率若用先验信息能获得成功概率 的若干估计值，记为的若干估计值，记为 ，一般它们可从历史数据整理加工中获得，由此，一般它们可从历史数据整理加工中获得，由此可计算前两阶先验矩可计算前两阶先验矩 ：然后令其分别等于贝塔分布的前两阶矩，解之，可得然后令其分别等于贝塔分布的前两阶矩，解之，可得1.2 先验分布与后验分布先验分布与后验分布2 2、先验分位数方法、先验分位数方法假如根据先验信息可以确定贝塔分布的两个分位数，则可假如根据先验信息可以确定贝塔分布的两个分位数，则可利用这两个分位数来确定利用这两个分位数来确定 。譬如用上、下四分位数。譬如用上、下四分位数 来确定来确定 ，分别满足如下两个方程分别满足如下两个方程1.2 先验分布与后验分布先验分布与后验分布从这两个方程解出从这两个方程解出 ，即可确定超参数。，即可确定超参数。3 3、先验均值和先验分位数方法、先验均值和先验分位数方法若能得到先验均值若能得到先验均值 和先验分布的和先验分布的 分位数分位数 ，则可列，则可列出下列方程出下列方程用数值方法求解上述方程组，即可得到超参数用数值方法求解上述方程组，即可得到超参数 的的数值解。数值解。1.2 先验分布与后验分布先验分布与后验分布后验的核后验的核 在给定样本分布在给定样本分布 和先验分布和先验分布 后，可用贝叶斯后，可用贝叶斯公式计算公式计算 的后验分布的后验分布由于由于 不依赖于不依赖于 ，在计算，在计算 的后验分布中仅起到一的后验分布中仅起到一个正则化因子的作用。假如把个正则化因子的作用。假如把 省略，把贝叶斯公式省略，把贝叶斯公式改写为如下等价形式改写为如下等价形式(4)(4)右端称为后验分布的核，一旦核知道了右端称为后验分布的核，一旦核知道了,后验便知道了后验便知道了,因此经常通过后验核的计算来简化后验分布的计算。因此经常通过后验核的计算来简化后验分布的计算。1.2 先验分布与后验分布先验分布与后验分布。这部分讲一个这部分讲一个例子来说明。例子来说明。贝叶斯可靠性评估贝叶斯可靠性评估第一节第一节 贝叶斯统计简介贝叶斯统计简介 1.贝叶斯的基本出发点贝叶斯的基本出发点 2.先验分布和后验分布先验分布和后验分布 3.贝叶斯推断贝叶斯推断 4.经验贝叶斯方法经验贝叶斯方法 第二节第二节 常见故障分布下常见故障分布下的贝叶斯推断的贝叶斯推断 1.二项分布的二项分布的贝叶斯贝叶斯估计估计 2.指数分布的指数分布的贝叶斯贝叶斯估计估计 从贝叶斯观点看，后验分布从贝叶斯观点看，后验分布 集总体信息、样本集总体信息、样本信息和先验信息于一体，全面描述了参数信息和先验信息于一体，全面描述了参数 的概率分布。的概率分布。因此有关参数因此有关参数 的点估计、区间估计、假设检验等统计的点估计、区间估计、假设检验等统计推断应该从后验分布推断应该从后验分布 按需要提取有关信息。下面按需要提取有关信息。下面分别介绍贝叶斯点估计和区间估计。分别介绍贝叶斯点估计和区间估计。贝叶斯点估计贝叶斯点估计 参数参数 的点估计可选用后验分布的点估计可选用后验分布 的某个位置特的某个位置特征数。常用的有如下三种形式：征数。常用的有如下三种形式：1.1.后验期望后验期望 2.后验中位数后验中位数3.后验众数后验众数1.3 贝叶斯推断贝叶斯推断一般场合下，这三种贝一般场合下，这三种贝叶斯估计是不同的。当叶斯估计是不同的。当后验密度函数对称时，后验密度函数对称时，这三种贝叶斯估计重合，这三种贝叶斯估计重合，譬如后验分布为正态分譬如后验分布为正态分布。布。例例 14.5 为估计不合格品率为估计不合格品率 ，今从一批产品中随机抽取，今从一批产品中随机抽取 件，其中件，其中 不合格品数服从二项分布不合格品数服从二项分布 。若取贝。若取贝塔分布塔分布 作为的先验分布，且超参数作为的先验分布，且超参数 已知，则已知，则后验分布仍为贝塔分布后验分布仍为贝塔分布 。这时不合格品。这时不合格品率率 的后验众数估计的后验众数估计 和后验期望估计和后验期望估计 分别为分别为这两个贝叶斯估计是不同的。这两个贝叶斯估计是不同的。估计量的评价估计量的评价 1.3 贝叶斯推断贝叶斯推断评价一个贝叶斯估计评价一个贝叶斯估计 的好坏，最好的方法是考察的好坏，最好的方法是考察均方差。具体定义如下：均方差。具体定义如下：设参数设参数 的后验分布为的后验分布为 ，的贝叶斯估计为的贝叶斯估计为 ，则则 的后验期望的后验期望称为称为 的后验均方差。当的后验均方差。当 为后验期望估计为后验期望估计 时，后验均方差即为后验方差，即时，后验均方差即为后验方差，即其平方根其平方根 称为后验标准差。称为后验标准差。1.3 贝叶斯推断贝叶斯推断 的后验均方差有如下分解的后验均方差有如下分解可见，可见，的后验均值估计的后验均值估计 是使后验均方差达是使后验均方差达到最小的估计，所以实际中常取后验均值作为到最小的估计，所以实际中常取后验均值作为 的贝叶的贝叶斯估计。斯估计。注意注意:评价贝叶斯估计的时候不用评价贝叶斯估计的时候不用“无偏性无偏性”?因为贝叶斯推断是基于后验分布的统计推断，这意味因为贝叶斯推断是基于后验分布的统计推断，这意味着只考虑已出现的数据着只考虑已出现的数据(样本观测值样本观测值)，而推断与未出现，而推断与未出现的数据无关的数据无关。1.3 贝叶斯推断贝叶斯推断贝叶斯区间估计贝叶斯区间估计 设参数设参数 的后验分布为的后验分布为 ，对给定样本，对给定样本 和概率和概率 ，若存在这样的，若存在这样的两个统计量两个统计量 与与 ，使得，使得 则称区间则称区间 为参数为参数 的可信水平为的可信水平为 的贝叶斯可的贝叶斯可信区间，或简称为信区间，或简称为 的的 可信区间。可信区间。1.3 贝叶斯推断贝叶斯推断如满足如满足则则 称为称为 的的 (单侧单侧)可信下限；相应的满足可信下限；相应的满足则则 称为称为 的的 (单侧单侧)可信上限。可信上限。可信区间和可信水平与经典统计的置信区间和置可信区间和可信水平与经典统计的置信区间和置 信水平的区别与联系？信水平的区别与联系？可信区间不止一个，常用的有最大后验密度可信区间与可信区间不止一个，常用的有最大后验密度可信区间与等尾可信区间等等。等尾可信区间等等。1.3 贝叶斯推断贝叶斯推断最大后验密度可信区间最大后验密度可信区间 设参数设参数 的后验分布为的后验分布为 ，对于给定可信水平，对于给定可信水平 ，如果存在区域，如果存在区域 满足下面两个条件满足下面两个条件 1 1 2 2 任给任给 ，总有不等式，总有不等式 则则称称 是是 的的最最大大后后验验密密度度区区域域估估计计。如如果果 又又是是一一个个区区间，则称为最大后验密度间，则称为最大后验密度(HPD)(HPD)可信区间。可信区间。1.3 贝叶斯推断贝叶斯推断示例：示例：设设 是来自是来自 的一个样本，未知参数是的一个样本，未知参数是 ，求，求 的区间估计。的区间估计。采用贝叶斯假设，这时采用贝叶斯假设，这时于是于是 的后验分布是逆伽玛分布。将密度写为如下形式的后验分布是逆伽玛分布。将密度写为如下形式1.3 贝叶斯推断贝叶斯推断其中其中 注意到注意到 的密度是非对称的，因此对称地截的密度是非对称的，因此对称地截取分位点并不能得到最大后验密度区域。对于可信水平取分位点并不能得到最大后验密度区域。对于可信水平 ,该区域为由满足下列等式的该区域为由满足下列等式的 和和 构成的区间构成的区间(1)(1)(2)(2)这一结果与经典方法常见的置信区间不同。这一结果与经典方法常见的置信区间不同。1.3 贝叶斯推断贝叶斯推断假设检验假设检验 假设检验是统计推断中的一类重要问题。贝叶斯学派假设检验是统计推断中的一类重要问题。贝叶斯学派在处理这类问题上直截了当。假设检验问题如下在处理这类问题上直截了当。假设检验问题如下 这里这里 是参数空间是参数空间 中不相交的两个非空子集。在获中不相交的两个非空子集。在获得后验分布得后验分布 后，对原假设后，对原假设 和备择假设和备择假设 ，分，分别计算后验概率别计算后验概率然后比较然后比较 与与 的大小，当后验概率比的大小，当后验概率比(或称后验机会比或称后验机会比)1.3 贝叶斯推断贝叶斯推断 时接受原假设时接受原假设 ；当；当 时接受时接受备择假设备择假设 ；当；当 时，不宜作出判断，时，不宜作出判断，尚需进一步抽样或进一步搜集先验信息。尚需进一步抽样或进一步搜集先验信息。例子：例子：1.3 贝叶斯推断贝叶斯推断贝叶斯可靠性评估贝叶斯可靠性评估第一节第一节 贝叶斯统计简介贝叶斯统计简介 1.贝叶斯的基本出发点贝叶斯的基本出发点 2.先验分布和后验分布先验分布和后验分布 3.贝叶斯推断贝叶斯推断 4.经验贝叶斯方法经验贝叶斯方法第二节第二节 常见故障分布下常见故障分布下的贝叶斯推断的贝叶斯推断 1.二项分布的二项分布的贝叶斯贝叶斯估计估计 2.指数分布的指数分布的贝叶斯贝叶斯估计估计经验贝叶斯方法经验贝叶斯方法 经验贝叶斯方法经验贝叶斯方法(简称简称EBEB方法方法)是是Robbins(1955)Robbins(1955)提出的，提出的，原意是折衷经典学派和贝叶斯学派，原意是折衷经典学派和贝叶斯学派，Neyman(1962)Neyman(1962)曾称之曾称之为统计判决的一大突破。为统计判决的一大突破。EB方法的基本思想方法的基本思想 用历史样本估计先验分布，以代替真正的先验分布，用历史样本估计先验分布，以代替真正的先验分布，进行进行BayesBayes分析。具体说来，分析。具体说来，EBEB方法即承认参数是随机变量，方法即承认参数是随机变量，但但又以经典观点利用历史数据及当前数据来得到参数的又以经典观点利用历史数据及当前数据来得到参数的BayesBayes解。解。1.4 经验贝叶斯方法经验贝叶斯方法 表示历史数据表示历史数据 与参数与参数 ，而，而 表示当前数据表示当前数据 与相应的未知参数与相应的未知参数 。这里。这里 的母体分布类型一样，但因的母体分布类型一样，但因 不一样，而不是同不一样，而不是同一母体，而一母体，而 服从同一未知的先验分布服从同一未知的先验分布 ，问题是建立一个依赖于问题是建立一个依赖于 的统计量来估计的统计量来估计 记其估计为记其估计为 ，当然希望，当然希望 尽可能接近已尽可能接近已知知 时时 的的Bayes解。解。1.4 经验贝叶斯方法经验贝叶斯方法具体步骤具体步骤 记样本为记样本为 ，其母体的密度为，其母体的密度为 ，未知的先验分，未知的先验分布函数记为布函数记为 ，其密度为，其密度为 ，则，则 的边缘的边缘密度密度 为为 EB方法认为样本是从方法认为样本是从 抽取的，故可由抽取的，故可由 估估计计 或其特征，由于假设已知或其特征，由于假设已知 ，则可由上式估，则可由上式估计计 或其特征，再由现在样本去获得或其特征，再由现在样本去获得 的的Bayes解。解。1.4 经验贝叶斯方法经验贝叶斯方法线性线性EB方法方法 令令 的的EB估计估计 是样本是样本 的线性函数的线性函数 若研究的概率分布满足假定若研究的概率分布满足假定 。可以证明可以证明 这样，用过去样本这样，用过去样本 的均值的均值 及样本方差及样本方差 估计估计1.4 经验贝叶斯方法经验贝叶斯方法 及及 ，得到，得到 的的EB估计估计显然，泊松分布，二项分布，指数分布满足前述假定。显然，泊松分布，二项分布，指数分布满足前述假定。对二项分布对二项分布 为成功数，为成功数，为可靠性，则令为可靠性，则令 ，有，有1.4 经验贝叶斯方法经验贝叶斯方法故故 ，因此，因此例例 进行五组成败型试验，每组试验进行五组成败型试验，每组试验 次，试验成次，试验成功次数依次为功次数依次为18,20,17,18,1618,20,17,18,16，现试验，现试验 次，成功次，成功 次数次数 ，求，求 的的LEBLEB估计估计 。解解：每组试验的成功概率：每组试验的成功概率1.4 经验贝叶斯方法经验贝叶斯方法因此因此 1.4 经验贝叶斯方法经验贝叶斯方法贝叶斯可靠性评估贝叶斯可靠性评估第一节第一节 贝叶斯统计简介贝叶斯统计简介 1.贝叶斯的基本出发点贝叶斯的基本出发点 2.先验分布和后验分布先验分布和后验分布 3.贝叶斯推断贝叶斯推断 4.经验贝叶斯方法经验贝叶斯方法第二节第二节 常见故障分布下常见故障分布下的贝叶斯推断的贝叶斯推断 1.二项分布的二项分布的贝叶斯贝叶斯估计估计 2.指数分布的指数分布的贝叶斯贝叶斯估计估计 如果成败型试验结果为如果成败型试验结果为(n,rn,r)，成功概率，成功概率 的先验分的先验分布取为布取为 ，则则 的后验分布是的后验分布是 定理定理 设设 是自然数，则是自然数，则假定先验分布的超参数假定先验分布的超参数 已知，且已知，且 ，则，则 的的可信可信水平为水平为 的等尾可信区间为的等尾可信区间为 2.1 二项分布的二项分布的Bayes估计估计相应的相应的 (单侧单侧)可信下限与可信下限与(单侧单侧)可信上限分别为可信上限分别为2.1 二项分布的二项分布的Bayes估计估计例例 某一成败型产品，从历史资料算得某一成败型产品，从历史资料算得 ，现在，现在又进行了又进行了1010次试验，次试验，9 9次成功，次成功，1 1次失败，试计算成功概率次失败，试计算成功概率(可靠度可靠度)的的0.90.9的可信区间。的可信区间。解：已知解：已知 ,所以所以 查查F分布表，得分布表，得将上式代入将上式代入可信区间估计公式，得可信区间估计公式，得2.1 二项分布的二项分布的Bayes估计估计2.2 指数分布的指数分布的Bayes估计估计电子产品的使用寿命往往服从指数分布，它的分布函数电子产品的使用寿命往往服从指数分布，它的分布函数相应的可靠度相应的可靠度如何从试验数据中求出如何从试验数据中求出 的置信限？这是可靠性统计的典的置信限？这是可靠性统计的典型问题。注意到寿命试验往往难以观测到全体试验样品的型问题。注意到寿命试验往往难以观测到全体试验样品的失效数据，如果能得到定数截尾的前失效数据，如果能得到定数截尾的前 个失效时刻个失效时刻 就是样本的前就是样本的前 个顺序统计量，似然函数个顺序统计量，似然函数其中其中 。若采用共轭先验分布，则相应的先验分布是若采用共轭先验分布，则相应的先验分布是 ，即，即此时，后验分布此时，后验分布 2.2 指数分布的指数分布的Bayes估计估计由此得到由此得到 的贝叶斯估计与的贝叶斯估计与 的后验分布分别为的后验分布分别为因此，得到因此，得到 的后验期望的后验期望2.2 指数分布的指数分布的Bayes估计估计