信息论与编码(第二版)陈运主编课件第二章

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论与编码,Information Theory and coding,内蒙古工业大学,电子信息工程系,复习,信源熵及性质,互信息量,信源,X,信宿,Y,有扰信道,C,干扰源,N,研究信源中各个消息之间的关系,平均互信息,一、平均互信息量的定义,互信息量在联合概率空间,P(XY),统计平均。,平均交互信息量；交互熵,同理，,X,对,Y,的平均互信息：,平均互信息量的定义,(2.1.45),信道中流通信息量的整体测度。,平均互信息量的定义,二、平均互信息的物理意义,平均互信息量是收到,Y,前、后关于,X,的不确定度减少的量，即由,Y,获得的关于,X,的平均信息量。,1,损失熵,表示收到,Y,后，对,X,仍存在不确定度，代表信道中损失的信息。,平均互信息量是发送,X,前、后，关于,Y,的平均不确定度减少的量。,2,平均互信息的物理意义,噪声熵,表示发出,X,后，对,Y,仍存在不确定度，由于,信道中的噪声引起的。,平均互信息量等于通信前、后，整个系统不确定度减少的量。,平均互信息的物理意义,3,三、平均互信息的性质,对称性,1,非负性,2,说明：从,X,中提取关于,Y,的信息量与由,Y,中提取到,X,的信息量是相同的，是信息流通的总体测度。,说明：信道每传递一条消息，总能提供一定的信息量。,极值性,1,3,2,极值性,凸函数性,4,上凸函数,1,下凸函数,2,屡次处理信息量将减少。,数据处理定理,X,Y,Z,5,例,2.1.4,信源,X,接入图示信道,0.98,0.8,0.2,0.02,1,2,3,等概率信源的熵最大。,4,5,6,7,三、各种熵之间的关系,H(X),H(Y),信源熵，无条件熵,H(X/Y),疑义度，损失熵,H(Y/X),噪声熵,H(XY),联合熵,I(X;Y),平均互信息量，交互熵,X Y,X Y,X Y,X Y,X Y,作业,作业：,2-11,H(X),，,H(Y),，,H(X/Y),，,H(XY),，,H(Z),，,I(X;Y),。,