第11讲信源编码三个基本编码ppt课件

上传人:Xgjmqtw****nqtwad... 文档编号:252596519 上传时间:2024-11-18 格式:PPT 页数:35 大小:450.17KB
返回 下载 相关 举报
第11讲信源编码三个基本编码ppt课件_第1页
第1页 / 共35页
第11讲信源编码三个基本编码ppt课件_第2页
第2页 / 共35页
第11讲信源编码三个基本编码ppt课件_第3页
第3页 / 共35页
点击查看更多>>
资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第5章:信源编码,第5章:信源编码,1,通信系统的性能指标主要是,有效性,、,可靠性,、,安全性,和,经济性,,除了经济性外,这些指标正是信息论研究的对象。,编码的目的是为了,优化通信系统,,使这些指标达到最佳;,按不同的编码目的,编码分为三类:,信源编码,、,信道编码,和,安全编码,/密码。,通信系统的性能指标主要是有效性、可靠性、安全性和经济性,除了,2,信源编码的基本途径有两个:,使序列中的各个符号尽可能地互相独立,即解除相关性;,使编码中各个符号出现的概率尽可能地相等,即概率均匀化,。,第11讲信源编码三个基本编码ppt课件,3,信源编码的分类:离散信源编码、连续信源编码和相关信源编码三类。,离散信源编码,:独立信源编码,可做到无失真编码;,连续信源编码,:独立信源编码,只能做到限失真信源编码;,相关信源编码,:非独立信源编码。,信源编码的分类:离散信源编码、连续信源编码和相关信源编码三类,4,信源编码的基础是信息论中的两个编码定理:,无失真编码定理,只适用于离散信源,限失真编码定理,对于连续信源,只能在失真受限制的情况下进行,限失真编码,信源编码的基础是信息论中的两个编码定理:,5,5.1.4,赫夫曼编码,5.1.3,费诺编码,5.1.5,游程编码,5.1.6,冗余位编码,5.1.1 码字唯一可译的条件,5.1.2,香农编码,5.1 离散信源编码,5.1.4 赫夫曼编码5.1.3 费诺编码5.1.5 游程编,6,即时码,:如果一个码的任何一个码字都不是其他码字的前缀,则称该码为前缀码、异前置码也称为即时码。,k,i,称为码字长度或简称码长,m,为码符号数,即时码:如果一个码的任何一个码字都不是其他码字的前缀,则称该,7,判断以下码字是否可分离?,例,判断以下码字是否可分离?例,8,对离散无记忆信源,消息长度为,L,,符号熵为,H(X),对信源进行,m,元变长编码,一定存在无失真的信源编码方法,,满足:,其码字平均长度,K,满足:,其码字平均信息率,R,对离散无记忆信源,消息长度为L,符号熵为H(X),对信源进行,9,5.1.4,赫夫曼编码,5.1.3,费诺编码,5.1.5,游程编码,5.1.6,冗余位编码,5.1.1 码字唯一可译的条件,5.1.2 香农编码,5.1.4 赫夫曼编码5.1.3 费诺编码5.1.5 游程编,10,例,设一单符号离散无记忆信源,试对该信源编二进制香农码。,5.1.2 香农编码,例设一单符号离散无记忆信源试对该信源编二进制香农码。5.1.,11,二进制香农码的编码步骤如下:,(1)将信源符号按概率,从大到小,的顺序排列,p,(,x,1,),p,(,x,2,),p,(,x,n,),(2)令,p,(,x,0,)=0,用,p,a,(,x,j,),,j,=,i,+1 表示第,i,个码字的,累加概率,,则,二进制香农码的编码步骤如下:(2)令 p(x0)=0,用 p,12,(3)确定满足下列不等式的整数,k,i,,并令,k,i,为第,i,个码字的长度,log,2,p,(,x,i,),k,i,1 log,2,p,(,x,i,),(4)将,p,a,(,x,j,)用二进制表示,并取小数点后,k,i,位作为符号,x,i,的编码。,(3)确定满足下列不等式的整数 ki,并令 ki 为,13,计算出给定信源香农码的,平均码长,由离散无记忆信源熵定义,可计算出,信源熵,为:,计算出给定信源香农码的平均码长,14,信息率,为,编码效率,为信源熵和信息率之比,信息率为,15,5.1.4,赫夫曼编码,5.1.3 费诺编码,5.1.5,游程编码,5.1.6,冗余位编码,5.1.1 码字唯一可译的条件,5.1.2,香农编码,5.1.4 赫夫曼编码5.1.3 费诺编码5.1.5 游程编,16,例:设有一单符号离散信源,对该信源编二进制费诺码。,例:设有一单符号离散信源,17,(2)按编码进制数将概率分组,使每组概率尽可能接近或相等。如,编二进制码就分成两组,,编,m,进制码就分成,m,组。,(1)将概率按从大到小的顺序排列,p,(,x,1,),p,(,x,2,),p,(,x,n,),(2)按编码进制数将概率分组,使每组概率尽可能接近或相等。,18,(3)给每一组分配一位码元。,(4)将每一分组再按同样原则划分,重复步骤 2 和 3,直至概率不再可分为止。,(3)给每一组分配一位码元。,19,该信源的,熵,为,平均码长,为,对上述信源采用费诺编码的,信息率,为,编码效率,为,第11讲信源编码三个基本编码ppt课件,20,5.1.4 赫夫曼编码,5.1.3,费诺编码,5.1.5,游程编码,5.1.6,冗余位编码,5.1.1 码字唯一可译的条件,5.1.2,香农编码,5.1.4 赫夫曼编码5.1.3 费诺编码5.1.5 游程编,21,赫夫曼(,Huffman,)编码是一种效率比较高的变长无失真信源编码方法。,5.3.1 二进制哈夫曼编码,5.3.2,m,进制哈夫曼编码(自学),赫夫曼(Huffman)编码是一种效率比较高的变长,22,例:设单符号离散无记忆信源如下,要求对信源编二进制哈夫曼码。,(1)将信源符号按概率从大到小的顺序排列,令,p,(,x,1,),p,(,x,2,),p,(,x,n,),5.3.1 二进制哈夫曼编码,例:设单符号离散无记忆信源如下,要求对信源编二进制哈,23,(2),信源的第一次缩减信源,:,给两个概率最小的信源符号,p,(,x,n,1,)和,p,(,x,n,)各分配一个码位“0”和“1”,将这两个信源符号合并成一个新符号,并用这两个最小的概率之和作为新符号的概率,结果得到一个只包含(,n,1)个信源符号的新信源,用,S,1,表示。,(2)信源的第一次缩减信源:给两个概率最小的信源符号 p(,24,(3)将缩减信源,S,1,的符号仍按概率从大到小顺序排列,重复步骤(2),得到只含(,n,2)个符号的缩减信源,S,2,。,(3)将缩减信源 S1 的符号仍按概率从大到小顺序排列,重复,25,(4)重复上述步骤,直至缩减信源只剩两个符号为止,此时所剩两个符号的概率之和必为 1。然后从最后一级缩减信源开始,依编码路径,向前返回,,就得到各信源符号所对应的码字。,(4)重复上述步骤,直至缩减信源只剩两个符号为止,此时所剩,26,信源熵,为,平均码长,为,编码效率,为,若采用定长编码,码长,K,=3,则编码效率,编码效率提高了 12.7%。,第11讲信源编码三个基本编码ppt课件,27,缩减信源时,若合并后的新符号概率与其他符号概率相等,从编码方法上来说,这几个符号的次序可任意排列,编出的码都是正确的,但得到的,码字不相同,。不同的编法得到的,码字长度,k,i,也不尽相同,。,第11讲信源编码三个基本编码ppt课件,28,例:单符号离散无记忆信源,,,用两种不同的方法对其编二进制哈夫曼码。,方法一:,合并后的新符号排在其它相同概率符号的后面。,例:单符号离散无记忆信源,29,方法二:,合并后的新符号排在其它相同概率符号的前面。,方法二:合并后的新符号排在其它相同概率符号的前面。,30,编法一的平均码长为,编法二的平均码长为,可见 ,本例两种编法的平均码长相同,所以编码效率相同。,编法一的平均码长为,31,讨论,:,码字长度的方差,2,:长度,k,i,与平均码长,之差的平方的数学期望,即,编法一码字长度方差:,编法二码字长度方差:,讨论:,32,比 较,相同点:,香农编码、费诺编码、哈夫曼编码属于,无失真信源编码,。,香农编码、费诺编码、哈夫曼编码主要针对,无记忆,信源。,香农码、费诺码、哈夫曼码都考虑了信源的统计特性,使经常出现的信源符号对应较短的码字,使信源的平均码长缩短,从而实现了对信源的压缩;,比 较,33,不同点,:,香农码有系统的、惟一的编码方法,但在很多情况下编码效率不是很高;,费诺码和哈夫曼码的编码方法都不惟一;,费诺码比较适合于对分组概率相等或接近的信源编码,费诺码也可以编,m,进制码,但,m,越大,信源的符号数越多,可能的编码方案就越多,编码过程就越复杂,有时短码未必能得到充分利用;,结论,:,哈夫曼码对信源的统计特性没有特殊要求,编码效率比较高,对编码设备的要求也比较简单,因此综合性能优于香农码和费诺码。,不同点:,34,作业:5.1 5.2,作业:5.1 5.2,35,
展开阅读全文
相关资源
正为您匹配相似的精品文档
相关搜索

最新文档


当前位置:首页 > 办公文档 > PPT模板库


copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!