实验数据处理方法第一部分概率论基础

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,实验数据处理方法第一部分：概率论基础,第三章,概率分布的基本性质,本章内容：,随机变量的概率分布函数的基本性质：平均值、方差、协方差矩阵、炬、,1,第三章概率分布的基本性质,3.1 概率密度函数,（Probability Density Function),2,3.1 概率密度函数,（Probability Density Function),定义：,X：连续型随机变量；,：,样本空间（X的值域）,X的值落入区间,x,x+dx,的概率：,其中：,f(x),被称为随机变量X的概率密度函数（,p.d.f,），表示单位长度下的概率。,归一化条件（normalization condition）：,表示：在样本空间内，随机变量X总会取某一值,性质：,1. 对所有的,x,值,f(x),是单值函数,f(x,),是非奇异的,3,第三章概率分布的基本性质,3.2 累积分布函数,（Cumulative distribution function),4,3.2 累积分布函数（Cumulative distribution function),x,f,(,x,),F,(,x,),1,x,min,x,max,简称分布函数,定义：,其中：,x,min,是随机变量X的取值下限,意义：,表示随机变量X的取值小于某一值,x,的概率，即,性质：,1、,2、,F,(,x,min,),=,0,F,(,x,max,),=,1,3、若,x,1,x,2, 则,F,(,x,1,),F,(,x,2,),即,F,(,x,)是单调升函数,4、,离散型随机变量可以定义累积分布函数,5、,，即x取特定值的几率为0。,5,3.2 累积分布函数（Cumulative distribution function),1,一个均匀分布的例子,时钟角度X的,p.d.f.,f,(,x,)（a）,和分布函数,F,(,x,)（b）,0,360,1/360,f(x),x,(a),0,360,F(x),x,(b),f(x),x,x,min,x,0,x,1,x,2,x,max,随机变量,X,的取值,x,在区间,x,1,x,2,的概率是概率密度函数,f,(,x,)曲线下相应区间的面积,6,第三章概率分布的基本性质,3.3 概率密度函数的性质(Properties of the Probability),7,3.3 概率密度函数的性质,(Properties of the probability),f(x)包含了随机变量X的所有信息，其性质确定了X的分布,最可几值(mode)：使,f,(,x,)取极大的,x,值，,x,p,中位值 (median)：,F,(,x,median,),=,1/2,平均值(mean)：,Mode（极大值）,Median(中位值）,Mean(平均值）,x,f(x),统计物理,中，麦克斯韦速度分布律给出：,8,3.3 概率密度函数的性质,(Properties of the probability),一、函数的期望值（Expectation),定义：,f,(,x,)：随机变量X的概率密度函数,g,(,x,)：随机变量X的函数,g,(,x,),的期望值（对,g,(,x,)的加权平均值）,：,E,g,(,x,)是一个常数，与,x,无关，是函数,g,(,x,)的,平均值,或,中值,的一个量度,f,(,x,),对应于量子力学或统计物理中的态密度（如麦克斯韦分布、玻色爱因斯坦分布、费米狄拉克分布）,g,(,x,)可以理解为一个物理量算符,9,3.3 概率密度函数的性质,(Properties of the probability),一、函数的期望值（Expectation),定义：,积分学第一中值定理（Mean Value Theorem）,对连续函数,g,(,x,),，在区间,a, b,上存在,，使得,g,(,)称为,g,(,x,),的积分中值，或平均值。实际上就是算术平均值，对离散的函数,g,，就很容易看出来。,这意味着可以找到一个点，使得g(x)下的面积等价于一个矩形面积，但这,不是统计学中通常定义的平均值,（见下面）。,x,g(x),Mean(中值平均值）,10,3.3 概率密度函数的性质,(Properties of the probability),一、函数的期望值（Expectation),定义：,积分学第二中值定理,对连续函数,f,(,x,),和,g,(,x,),，在区间,a, b,上存在,，使得,g,(,)称为,g,(,x,),的积分中值（加权平均值），,f,(,x,)为权函数。,第一中值定理是第二中值定理在,f,(,x,)=1时的特例。,概率论中的平均值特指自变量,x,的加权平均值，即,g,(,x,)=,x,平均值可以指x,2,的、x,3,的等等任意函数的平均值。,11,3.3 概率密度函数的性质(Properties of the probability),如果把求平均值的运算E看作一个算符，它具有,性质,：,若,a,是常数，则,E(,a)=a,E,ag,(,x,),=a,E,g,(,x,),E,a,1,g,1,(,x,),+a,2,g,2,(,x,),=a,1,E,g,1,(,x,),+a,2,E,g,2,(,x,),即，E是线性算符,函数的方差（Variance）,定义：,意义：,g(x),在其期望值周围的离散程度,12,3.3 概率密度函数的性质(Properties of the probability),二、随机变量的平均值和方差（Mean Value and Variance),如取g(x)=x，则得随机变量X的平均值和方差,平均值：,方差：,：,随机变量X的,标准,偏差（Standard Deviation）,平均值与方差之间的关系：,2,=E,(,x-,),2,=E,(,x,2,-2x+,2,),=E,(,x,2,),-,2,=E,(,x,2,),-,E,(,x,),2,2,=E,(,x,2,),-,E,(,x,),2,方差（Variance，Dispersion）物理意义：,随机变量概率密度函数f(x)在期望值周围的离散程度，亦即由于随机的统计性所造成的随极变量的取值在期望值附近的起伏的大小。,实验上常把物理量的测量结果表示成：,13,3.3 概率密度函数的性质(Properties of the probability),三、矩（moment),定义：,对正整数k(k=1,2,)，,分别称为随机变量X的k阶原点矩和中心矩。,k阶原点矩,k阶中心矩,显然，随机变量X的平均值和方差分别为,1阶原点矩,2阶中心矩,14,3.3 概率密度函数的性质(Properties of the probability),1,=0,1,0,2,=0,2,0,2,0,则,x,i,和,x,j,的变化趋势相同,如果,0,则,x,i,和,x,j,的变化趋势相反,x,i,x,j,x,j,x,i,x,i,x,j,x,i,x,i,x,j,x,j,23,3.5 多个随机变量的分布,四、独立变量(Independent variables),如果随机向量 的联合概率密度函数可写为,则称随机变量,x,1,x,2,x,n,是相互独立的,对于相互独立的随机变量，它们的协方差和相关系数为零，即不相关；,反之，不成立。,24,3.5 多个随机变量的分布,五、边缘概率密度函数，条件概率密度函数,边缘概率密度函数,概率密度函数 在某一子空间上的投影称为随机向量 对这一子空间的边缘概率密度函数,例：随机向量 对分量,x,1,的边缘密度函数定义为：,如果,x,1,x,2,x,n,是相互独立的，则有,h,1,=f,1,(,x,1,),h,2,=f,2,(,x,2,),.,即：相互独立的随机变量的联合概率密度函数可因式分解为对各分量的边缘概率密度函数之积,条件概率密度函数,（Marginal and Conditional p.d.f),25,3.5 多个随机变量的分布,例子：邱洛（Chew-Low）图和达里兹（Daliz）图,26,3.5 多个随机变量的分布,六、联合特征函数,随机向量 的联合特征函数的定义：,如果,x,1,x,2,x,n,是相互独立的，则有,其中，,(t,i,)为随机变量x,i,的特征函数,证明：考虑两个变量的情况：如果x,1,和x,2,为相互独立的随机变量，则有,由联合特征函数可得到：,27,第三章概率分布的基本性质,3.6 随机变量的线性函数,28,3.6 随机变量的线性函数,设,g(x,1,x,2,x,n,),是,n,个随机变量的线性函数：,求,g(x,1,x,2,x,n,),的期望值和方差,1、期望值：,2、方差：,29,3.6 随机变量的线性函数,若,x,1,x,2,x,n,是相互独立的随机变量，,V,ij,=0,则,例：n个相互独立的随机变量,x,1,x,2,x,n,具有相同的平均值,和方差,2,:,定义算术平均值:,求 的期望值和方差,30,第三章概率分布的基本性质,3.7 变量变换,(Change of variables),31,3.7 变量变换,(Change of variables),X: 连续型的随机变量, PDF:,f(x),y = y,(,x,)：,x,的函数, 也是随机变量. 求,y,(,x,)的概率密度函数,g,(,x,),1、若随机变量,x,和,y,是一一对应的:,2、,若随机变量,x,和,y,不是一一对应的:,x,dx,y,dy,x,dx,2,y,dy,dx,1,x, x+dx,y, y+dy,即有n个区间,x,x+dx,y,y+dy,X的取值在,x, x+dx,的概率=Y的取值在,y, y+dy,的概率：,取绝对值是为了保证g(y)是非负的,f,(,x,),dx=g,(,y,),dy,需要对这n个区间求和,32,3.7 变量变换,(Change of variables),3、推广到n个随机变量的情况:,Jacobian行列式,33,第三章概率分布的基本性质,3.8 误差传播,(Propagation of errors),34,3.8 误差传播,(Propagation of errors),实验测量的物理量可分为:,直接测量量:,其值是用实验仪器直接测量的,间接测量量:,其值是用直接测量量的结果是通过适当的公式推断出来的,如何通过直接测量量的误差推导出间接测量量的误差?,误差传播公式,一、单一函数的情况,设y是随机变量(直接测量量) 的函数:,求y的方差,协方差矩阵,平均值:,35,3.8 误差传播,(Propagation of errors),36,3.8 误差传播,(Propagation of errors),误差传播定律：,如果,x,1,x,2,x,n,是相互独立的，则有,将方差用,2,代替，则得,例：算术平均值的方差,37,3.8 误差传播,(Propagation of errors),二、多个函数的情况，矩阵表示,设有一组m个函数,y,1,y,2,y,m,都依赖于n维随几向量(,x,1,x,2,x,n,),y,k,=y,k,(,x,1,x,2,x,n,),=y,k,(,x,), k=,1,2,m,随机向量,y,1,y,2,y,m,的协方差矩阵元,误差传播定律的一般形式,38,3.8 误差传播,(Propagation of errors),变量,y,1,y,2,y,m,的误差为对角元素的平方根,依赖于随即向量X的协方差项,如果,x,i,是相互独立的，,矩阵表示：,39,3.8 误差传播,(Propagation of errors),三、几种常见到的函数的误差传播公式,40,第三章概率分布的基本性质,3.9 分离型随机变量的概率分布,41,3.9 分离型随机变量的概率分布,概率分布：一组概率值p,r,表示，p,r,满足归一化条件：,p,r,:分离型随即变量取值为r的概率,期望值和方差的定义：与连续型的随机变量类似，积分,求和,概率产生函数（probability generating function),特征函数,利用该函数可计算变量r的各阶矩：,42,第三章概率分布的基本性质,3.10 样本,(Sampling),43,3.10 样本,(Sampling),一、总体和样本（universe and sample),总体（或母体）：,研究对象的所有可能的观测结果,在物理实验中，总是用一些随机变量来描述某一物理系统，这些变量的概率密度函数描述了总体的特征,如果能在相同的条件下对描述物理系统的随机变量进行无限多次的测量，则可用概率密度函数来概括所有可能的实验结果；,样本（sample)：,在实际实验中，测量的次数总是有限的，若实验的次数为n，对某个物理量的测量值为,x,1,x,2,x,n,，则称这组测量值构成了容量为n的样本。,样本只是总体的一个子集,希望能从该样本推断出总体的特征,;,样本是随机的,:,不同的样本对总体的特性的推断有差异,但基本类似,.,44,3.10 样本(Sampling),二、样本的特性,希望用实验样本推断出所研究的总体的特性,样本平均值：,样本方差：,样本相对于其平均值的离散程度,是随机变量x,i,的函数,也是随机变量,如果从总体中抽取几组容量都为,n,的样本，每组样本的平均值和方差将是不同的；,样本平均值和方差将具有自己的分布，其分布依赖于总体的分布和样本的容量；,45,3.10 样本(Sampling),特例：总体满足正态分布，则样本平均值和方差具有以下的性质：,样本平均值和方差是相互独立的随机变量；,样本平均值服从正态分布；,样本方差服从,2,分布,三、由样本得出的推论,实验的目的就是要用有限的样本的特性推断出总体的特性，希望样本能在某些方面代表所研究的总体的特性。,样本平均值和方差可用于估计总体的平均值,和方差,2,46,3.10 样本(Sampling),因此,如果选择容量足够大的样本,则对总体参数的估计值可达到要求的精度,估计式的一致性(consistency),当n很大时，样本的特性应趋近于总体的特性,广义的收敛定律,直观理解：,1、样本平均值的期望值和方差：,因此，当n很大时，V(x),0,2、s,2,的期望值和方差,47,3.10 样本(Sampling),四、大数定理(Law of Large Numbers),是大数定理的一个结果,大数定理:,设x,1,x,2,是一组具有相同分布的独立的随机变量（平均值都为,）,对于其中的前n个变量，定义算术平均值为,给定任意的两个正整数和,存在着正整数N,使得当 时, 的概率小于,给出了当n很大时,算术平均值的行为,大数定理与随机变量的方差没有关系,即使方差不存在,该定理也成立,48,3.10 样本(Sampling),如果,x,i,的方差存在，利用切比雪夫不等式,当,n,时， 的概率可以任意小,49,