第1章信息论基础

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第1章,信息论基础,第1章 信息论基础,内容提要,信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。,1.1 信息的概念,消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。,物质、能量和信息是构成客观世界的三大要素。,信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。,信息论,是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。,通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。,对于信息论的研究，一般划分为三个不同的范畴：,广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。,实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。,狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。,1.2,信息传输系统,通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。,各种通信系统，一般可概括为图1.1所示的统计模型：,干扰源,信道,信道译码器,信道编码器,信源译码器,信源编码器,信宿,信源,等效信源,等效信宿,等效无干扰信道,图,1-1,信息传输系统模型,这个模型包括以下五个部分：,3.,信道,信道是信息传输和存储的媒介。,4.,译码器,译码是编码的逆变换，分为信道译码和信源译码。,5.,信宿,信宿是消息的接收者。,1.,信源,信源是产生消息的源。,2.,编码器,编码器是将消息变成适合于信道传送的信号的设备。,编码器,信源编码器，提高传输效率,信道编码器，提高传输可靠性,1.3,离散信源及其数学模型,信源是产生消息的源，,根据,X,的不同情况，信源可分为以下类型：,根据信源的统计特性，离散信源又分为两种：,离散信源,消息集,X,为离散集合。,波形信源,时间和空间都连续的信源。,连续信源,时间离散而空间连续的信源。,无记忆信源,X,的各时刻取值相互独立。,有记忆信源,X,的各时刻取值互相有关联。,1.3.1,离散无记忆信源,离散无记忆信源,(,Discrete Memoryless Source,，,简记为,DMS),输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：,q(x,i,),：信源输出符号消息,x,i,的先验概率；,满足：0,q(x,i,),1,，,1,i,k,1.3.2,离散无记忆的扩展信源,实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由,N,个符号组成，若这,N,个符号取自同一符号集,a,1,a,2,a,k,，,并且先后发出的符号彼此间统计,独立，我们将这样的信源称作,离散无记忆的,N,维扩展信源,。其数学模型为,N,维概率空间：,x,为各种长为,N,的符号序列，,x,=,x,1,x,2,x,N,，,x,i,a,1,a,2,a,k,，,1,i,N,，,序列集,X,=,a,1,a,1,a,1,a,1,a,1,a,2,a,k,a,k,a,k,，,共有,m=k,N,种序列，,x,X,。,序列的概率,q,(,x,),=,q,(,x,1,x,2,x,N,)=,1.3.3,离散平稳有记忆信源,中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依赖性我们称作有记忆。,用联合概率空间,X,q,(,X,),来描述离散有记忆信源的输出,。信源在,i,时刻发出什么符号与,i,时刻以前信源所发出的符号有关，即由条件概率,p,(,x,i,x,i,-1,x,i,-2,),确定。,如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为,平稳信源,。,对于离散平稳有记忆信源，有：,p,(,x,1,=,a,1,)=,p,(,x,2,=,a,1,)=,p,(,x,2,=,a,2,x,1,=,a,1,)=,p,(,x,3,=,a,2,x,2,=,a,1,)=,p,(,x,3,x,2,x,1,)=,p,(,x,4,x,3,x,2,)=,p,(,x,i,+,L,x,i,+,L,-1,x,i,+,L,-2,x,i,)=,p,(,x,j,+,L,x,j,+,L,-1,x,j,+,L,-2,x,j,)=,随机事件集,X,x,1,，,x,2,，,，,x,i,，,，,x,I,，,Y,y,1,，,y,2,，,，,y,j,，,，,y,J,，,1,i,I,，,1,j,J，,将,X,，,Y,中的随机事件,x,i,，,y,j,出现的概率记为,p,(,x,i,),，,p,(,y,j,),称为,先验概率,/,无条件概率,。,在,XY,二维空间上，将两个事件,x,i,y,j,同时出现的概率记为,p,(,x,i,y,j,),称为,联合概率,。,将,X,发生,x,i,后，,Y,又发生,y,j,的概率记为,p,(,y,j,|x,i,),，,将,Y,发生,y,j,后，,X,又发生,x,i,的概率记为,p,(,x,i,|y,j,),称为,条件概率,。,复习概率论基础知识,无条件概率、条件概率和联合概率应满足的一些性质及关系,X,与,Y,相互独立时：,【,例】,系里有教师100人，其中男教师占40%，女教师占60%，老、中、青年龄段的教师分别是10人、20人和70人。男教师中老、中、青分别占20%、30%和50%，女教师中老、中、青分别为2人(占1/30)、8人(占4/30)和50人(占5/6)。老教师中80%是男性，20%是女性；中年教师中60%是男性，40%是女性；青年教师中2/7是男性，5/7是女性。,设：,“教师性别”,为,X,事件集，,“教师年龄”,为,Y,事件集。,则：事件集,X,x,1,，,x,2,，事件,x,1,表示男教师，,x,2,表示女教师；,事件集,Y,y,1,，,y,2,，,y,3,，,事件,y,1,表示老年教师，,y,2,表示中年教师，,y,3,表示青年教师。,2),条件概率：,p,(,y,1,|,x,1,),20%,0.2,p,(,y,2,|,x,1,),30%,0.3,p,(,y,3,|,x,1,),50%,0.5,p,(,y,1,|,x,2,),1/,30,p,(,y,2,|,x,2,),4/30,p,(,y,3,|,x,2,),5/6,p,(,x,1,|,y,1,),80%,0.8,p,(,x,2,|,y,1,),20%,0.2,p,(,x,1,|,y,2,),60%,0.6,p,(,x,2,|,y,2,),40%,0.4,p,(,x,1,|,y,3,),2/7,p,(,x,2,|,y,3,),5/7,根据题意,1.各事件的概率,1),先验概率/无条件概率：,p,(,x,1,),40%,0.4,p,(,x,2,),60%,0.6,p,(,y,1,),10/100,0.1,p,(,y,2,),20/100,0.2,p,(,y,3,),70/10,0.7,“,女性老年教师,”,p,(,x,2,y,1,),p,(,x,2,),p,(,y,1,|,x,2,)0.61/300.02,p,(,y,1,),p,(,x,2,|,y,1,),0.10.20.02,“,女性中年教师,”,p,(,x,2,y,2,),p,(,x,2,),p,(,y,2,|,x,2,)0.64/300.08,p,(,y,2,),p,(,x,2,|,y,2,),0.20.40.08,“,女性青年教师,”,p,(,x,2,y,3,),p,(,x,2,),p,(,y,3,|,x,2,)0.65/60.5,p,(,y,3,),p,(,x,2,|,y,3,),0.75/70.5,2.,XY,二维空间的联合概率,“,男性老年教师,”,p,(,x,1,y,1,),p,(,x,1,),p,(,y,1,|,x,1,),0.40.2,0.08,p,(,y,1,),p,(,x,1,|,y,1,),0.10.80.08,“,男性中年教师,”,p,(,x,1,y,2,),p,(,x,1,),p,(,y,2,|,x,1,),0.40.3,0.12,p,(,y,2,),p,(,x,1,|,y,2,),0.20.60.12,“,男性青年教师,”,p,(,x,1,y,3,),p,(,x,1,),p,(,y,3,|,x,1,),0.40.50.2,p,(,y,3,),p,(,x,1,|,y,3,),0.72/70.2,3.,验证概率的归一性,(,i,=1,2,j,=1,2,3),4.,无条件概率与联合概率的关系,(,i,=1,2,j,=1,2,3),*,1.3.4,马尔可夫信源,离散有记忆信源，,r,时刻发出的符号,x,r,与前,m,个时刻发出的符号,x,r-1,，,x,r-2,，,，,x,r-m,（称做,m,阶）有关，可用,m,阶状态描述。,r,时刻状态,e,r,=,x,r-1,x,r-2,x,r-m,=,s,i,，其中，,x,i,a,1,a,2,a,k,s,i,s,1,s,2,s,k,m,。信源发出符号,x,r,后，,(r,1),时刻状态,e,r,+1,=,x,r,x,r,-1,x,r-m,+,1,=,s,j,信源状态,e,r,=,s,i,=,x,r-1,x,r-2,x,r-m,x,r,x,r-m,x,r-2,x,r-1,信源,当状态转移概率和已知状态下发符号的概率与时刻无关，即,p,(,e,r,1,=,s,j,e,r,=,s,i,)=,p,(,s,j,s,i,),和,p,(,x,r,=,a,l,e,r,=,s,i,),p,(,a,l,s,i,),时，称为时齐的,/,齐次的。,状态转移概率和已知状态下发符号的概率为,p,(,e,r,1,=,s,j,e,r,=,s,i,),和,p,(,x,r,=,a,l,e,r,=,s,i,),。,齐次时（与时间无关）状态转移图：,s,1,s,2,s,i,s,i,1,s,k,m,1,s,k,m,马尔可夫信源输出的消息序列与信源的状态满足下列条件：,(1)某一时刻信源的输出只与当时的信源状态有关，而与以前的状态无关。,p,(,x,r,=,a,l,e,r,=,s,i,e,r,-1,=,s,t,e,r,-2,=,s,n,)=,p,(,x,r,=,a,l,e,r,=,s,i,)，,满足 。,(2)某一时刻信源所处的状态只由当前的输出符号和前一时刻的状态唯一决定。,当时齐马尔可夫信源达到平稳分布时，满足,p,(,e,r,+1,=,s,j,x,r,=,a,l,e,r,=,s,i,)=,由于信源符号数为,2,，因此二进制一阶信源仅,2,个状态：,s,1,=0,，,s,2,=1,。由条件概率求得信源状态转移概率和信源状态转移图：,【,例,】,设有一个二进制一阶马尔可夫信源，其信源符号集为,X,0,，,1,，条件概率为：,p,(0,0),0.25,p,(0,1),0.50,p,(1,0),0.75,p,(1,1),0.50,平稳后各状态的概率分布：,p,(,s,1,)1/4,p,(,s,1,)+1/2,p,(,s,2,),p,(,s,2,)3/4,p,(,s,1,)+1/2,p,(,s,2,),p,(,s,1,)+,p,(,s,2,)1,p,(,s,1,)=2/5=0.4,p,(,s,2,)=3/5=0.6,s,1,s,2,00.5,10.75,00.25,10.5,p,(,s,1,s,1,),0.25,p,(,s,1,s,2,),0.5,p,(,s,2,s,1,),0.75,p,(,s,2,s,2,),0.5,【例】设有一个二进制二阶马尔可夫信