4.2 离散无记忆信源r(d)的计算万方通信

,单击此处编辑母版标题,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第,4,章,信息率失真函数,2024/9/13,1,4.1,基本概念,4.2,离散无记忆信源,R(D),的计算,4.3,连续无记忆信源,R(D),的计算,4.4,信道容量和信息率失真函数的比较,2024/9/13,2,4.2,离散无记忆信源,R(D),的计算,参量表达式法求,R(D),及,P(Y/X),，具体推导略，见,p,111,页。,例：已知离散无记忆信源,2024/9/13,3,4.2,离散无记忆信源,R(D),的计算,解：,（,1,）,（,2,）,2024/9/13,4,R(D),随,D,的变化曲线,H(p),D,max,=,p,2024/9/13,5,结论：,对于,n,元等概信源,，有 ，当失真函数为,对称失真,时，,即,此时,下式成立,：,可直接当结论来应用,2024/9/13,6,4.1,基本概念,4.2,离散无记忆信源,R(D),的计算,4.3,连续无记忆信源,R(D),的计算,4.4,信道容量和信息率失真函数的比较,2024/9/13,7,例：求,d(x,y)=(y-x),2,的,D,max,和信息率失真函数,R(D),。,解：连续信源的,D,max,，,均方失真的连续信源的,R(D),因为离散信源：,可直接当结论来应用,2024/9/13,8,例：设某连续信源,X,服从高斯分布，均值,=0,，方差,2,，失真函数为均方失真即,d(x,y)=(y-x),2,求它的信息率失真函数,R(D),和,Dmax,。,解：,因此，需求,D,max,：,代入得,2024/9/13,9,上题的扩展：若连续信源服从（,，,2,）的高斯分布，则再求上题。,解：,代入得,先求,D,max,：,2024/9/13,10,结论：,若失真函数为均方失真，即,d(x,y)=(x-y),2,时,连续信源的信息率失真函数 ，且,同理：当失真函数为绝对失真即,d(x,y)=|x-y|,时，指数分布的连续信源，当概率密度函数为,2024/9/13,11,4.1,基本概念,4.2,离散无记忆信源,R(D),的计算,4.3,连续无记忆信源,R(D),的计算,4.4,信道容量和信息率失真函数的比较,2024/9/13,12,4.4,信道容量和信息率失真函数的比较,相同点,：二者都是求平均互信息的极值,不同点,：,1,、,（,1,）信道容量：选择某一信源分布的情况下，求平均互信息的极大值。,依据：平均互信息,I,是信源概率分布,p(x,i,),的严格上凸函数。,（,2,）信息率失真函数：求选择某一试验信道（转移概率分布）的情况下，依据保真度准则，求平均互信息的极小值。,依据：平均互信息,I,是信道转移概率分布,p(y,j,/x,i,),的严格下凸函数。,2024/9/13,13,4.4,信道容量和信息率失真函数的比较,2,、,（,1,）信道容量,C,一旦求出来，则与信源分布无关（只是证明存在这样的满足信道容量的信源分布），只和信道转移概率分布,p(y,j,/x,i,),有关。,即信道容量和信源特性无关，反映信道特性。,（,2,）信息率失真函数,R(D),一旦求出来，则与信道转移概率分布无关（只是证明存在达到最小信息率的试验信道），只和信源概率分布,p(x,i,),有关。,即信息率失真函数和信道特性无关，反映信源特性。,2024/9/13,14,3,、,（,1,）信道容量是通过信道编码增加信息冗余度来提高通信的可靠性，是信息传输的理论基础。,（,2,）信息率失真函数是通过信源编码减少信息冗余度来提高通信有效性，是信源压缩的理论基础。,4.4,信道容量和信息率失真函数的比较,2024/9/13,15,保真度准则下的信源编码定理,设有某一信源的信息率失真函数为,R(D),，选择有限的失真函数,d,，对于任意,允许的平均失真度,D,，当压缩后的信息率,RR(D),则一定存在某种编码方法，使,译码后的平均失真度,=D,反之，若压缩后的信息率,R=D,2024/9/13,16,Thank You!,2024/9/13,17,