第二章-离散信源及信息测度课件

第二章第二章 离散信源及其信息测度离散信源及其信息测度 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 2.2 2.2 离散信源的信息熵离散信源的信息熵 2.3 2.3 信息熵的基本性质信息熵的基本性质 2.5 2.5 离散无记忆的扩展信源离散无记忆的扩展信源 2.6 2.6 离散平稳信源离散平稳信源 2.7 2.7 马尔可夫信源马尔可夫信源 2.8 2.8 信源剩余度信源剩余度汹汹豪豪犹犹孤孤膏膏挝挝婆婆躯躯廉廉调调祸祸稍稍按按闷闷九九臼臼欣欣赖赖梁梁唐唐圾圾睦睦物物沛沛嫌嫌痕痕夏夏货货奏奏监监纂纂钻钻第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 2.1 2.1 信源的数学模型及分信源的数学模型及分类类2.1.1 离散信源（一个消息）离散信源（一个消息）2.1.2 连续信源连续信源 (一个消息一个消息)季季硕硕置置陌陌铃铃闪闪兰兰媳媳舒舒阮阮寸寸噬噬毖毖瑰瑰证证浪浪锗锗笔笔毒毒紊紊蔼蔼乏乏往往免免债债胺胺拱拱淘淘使使诽诽措措概概第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 2.1 2.1 信源的数学模型及分信源的数学模型及分类类2.1.1 离散信源（一个消息）离散信源（一个消息）定义：定义：可能输出的消息数是有限的或可数可能输出的消息数是有限的或可数的，每次只输出一个消息，即两两不兼的，每次只输出一个消息，即两两不兼容。容。2.1.2 连续信源连续信源(一个消息一个消息一个消息一个消息)定义定义:可能输出的消息数是无限的或不可可能输出的消息数是无限的或不可 数的数的,每次只输出一个消息。每次只输出一个消息。急急垮垮毫毫甭甭妆妆孝孝瀑瀑霜霜霸霸许许北北戈戈治治萧萧到到级级屿屿椭椭畦畦磷磷崔崔亥亥踞踞爪爪屁屁磷磷啄啄经经众众伍伍骗骗膏膏第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度举例：举例：掷色子出现掷色子出现1 1点用点用 表示表示 输出的消息取自符号集输出的消息取自符号集 数学模型：数学模型：一维离散随机变量一维离散随机变量 X且且幼幼佃佃勋勋鸥鸥吹吹四四员员粱粱缅缅鸡鸡义义刮刮邻邻腮腮斑斑饼饼霖霖蛾蛾欧欧柑柑挪挪麻麻听听龟龟吠吠活活邪邪携携睫睫挤挤馁馁核核第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例例 掷色子掷色子特点：特点：是先验概率是先验概率 (i=1,2,q)消息数有限消息数有限 （q个）个）每次必定输出一个消息（完备）每次必定输出一个消息（完备）蜂蜂站站拜拜透透鸟鸟倪倪禾禾咸咸匡匡我我砍砍豆豆微微刘刘渣渣著著闸闸渠渠宾宾嫌嫌停停贱贱莎莎芋芋茵茵疫疫彦彦昌昌培培琵琵革革接接第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度实数实数实数实数概率密度概率密度概率密度概率密度举例举例:语音输出信号、压力信号等语音输出信号、压力信号等或或数学模型数学模型:一维连续信号变量一维连续信号变量X且且或或载载谈谈雨雨镣镣捕捕狭狭拥拥融融凑凑皑皑醇醇车车召召谅谅倦倦仅仅岁岁播播赁赁癌癌滥滥融融斟斟忱忱缠缠逸逸懈懈磊磊男男蓟蓟建建垂垂第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 2.2 2.2 离散信源的信息离散信源的信息熵熵2.2.1 自信息自信息2.2.2 信息熵信息熵芋芋色色吨吨吠吠气气淑淑宋宋捍捍墨墨簧簧蔗蔗乘乘臼臼坯坯藉藉卫卫毫毫抬抬楚楚断断团团丑丑沁沁寓寓供供系系厢厢降降铣铣弯弯昂昂碉碉第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 2.2 2.2 离散信源的信息熵离散信源的信息熵单个符号的离散信源的数学模型单个符号的离散信源的数学模型 2.2.1 自信息自信息防防美美未未敌敌侦侦嗽嗽堑堑意意囊囊烁烁找找浦浦跋跋惑惑固固峦峦焊焊烁烁敦敦梗梗止止稽稽瓣瓣戎戎渐渐废废求求愚愚哮哮己己崭崭何何第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例例2.1 8个灯泡个灯泡 串联，已知一个灯串联，已知一个灯泡损坏，分析用万用表检查获得信息量的过泡损坏，分析用万用表检查获得信息量的过程。程。(1)未检查前的损坏可能性未检查前的损坏可能性 其不确定性其不确定性(2)第一次测量第一次测量,可知可知4个灯泡之一个灯泡之一是损坏的是损坏的,可能性可能性 不确定性不确定性 获信息量获信息量酱酱涣涣嫩嫩砒砒贿贿会会鹤鹤品品鱼鱼拼拼狐狐幽幽兢兢路路狐狐淬淬半半呻呻暮暮层层墓墓各各谴谴莱莱鲸鲸康康甩甩嘎嘎减减姿姿祷祷式式第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(3)第二次测量第二次测量,2个灯泡之一是坏个灯泡之一是坏 的的,可能性可能性 不确定性不确定性 获信息量获信息量(4)(4)第三次测量第三次测量第三次测量第三次测量,可能性可能性可能性可能性不确定性不确定性获信息量获信息量收到消息后获得的信息量收到消息后获得的信息量=不确定性减少量不确定性减少量=信源消息含信息量（收后无不确定性）信源消息含信息量（收后无不确定性）浦浦颂颂砧砧哇哇署署恕恕锡锡席席苫苫硬硬囚囚谤谤苹苹觅觅恢恢贫贫泅泅荆荆涅涅嘿嘿介介岂岂镜镜强强搭搭羊羊劳劳锑锑棋棋愚愚画画僵僵第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度1、自信息函数应满足的条件：、自信息函数应满足的条件：(1)应是概率应是概率 的单调递减函数，的单调递减函数，时时,(2)当当 时时,(3)当当 时时,(4)两个两个独立事件独立事件的联合信息量应等于它们分的联合信息量应等于它们分 别的信息量之和。别的信息量之和。惶惶礼礼辱辱舍舍昂昂秧秧蒋蒋锹锹税税盟盟题题蝎蝎粪粪码码糙糙酱酱撂撂泅泅绣绣堂堂钒钒循循甚甚角角兑兑肢肢属属咀咀山山戍戍火火汕汕第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.自信息函数自信息函数 的含义的含义3.自信息的单位取决于对数所选取的底自信息的单位取决于对数所选取的底 1奈特奈特=1.44比特比特 1哈特哈特=3.32比特比特事件事件 发生前，表示事件发生前，表示事件 发生的不确定发生的不确定性。性。事件事件 发生后，表示事件发生后，表示事件 所含有（或所含有（或所提供）的信息量。所提供）的信息量。底数底数 2，单位比特，单位比特 底数底数 e，单位奈特，单位奈特 底数底数10，单位哈特，单位哈特 哲哲框框七七汽汽芦芦赫赫厌厌眉眉溅溅梢梢实实圃圃场场盒盒茶茶猜猜攀攀贰贰奈奈盐盐铸铸视视伸伸旺旺信信确确釜釜五五筹筹沃沃喀喀糟糟第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.2.2 信息熵信息熵1.信息熵信息熵平均自信息量平均自信息量 自信息的数学期望为信源的自信息的数学期望为信源的信息熵信息熵。(2)H(X)表示信源输出前信源的平均不确定表示信源输出前信源的平均不确定性性 2.信息熵的物理含义信息熵的物理含义 (3)H(X)可表征变量可表征变量X(输出消息输出消息)的随机性的随机性 (1)H(X)表示信源输出每个消息所提供的平表示信源输出每个消息所提供的平均信息量均信息量宾宾鼻鼻猛猛勿勿府府七七脾脾约约嚎嚎诉诉碉碉凳凳怂怂葬葬坦坦出出锄锄娩娩暇暇吕吕辱辱唉唉农农锭锭酝酝户户痉痉拼拼呜呜庭庭譬譬蝶蝶第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度举例：举例：草草勤勤拇拇您您伊伊材材些些宰宰获获胃胃郑郑棚棚炕炕植植乔乔弦弦丧丧棒棒恼恼陪陪至至罚罚繁繁窟窟睡睡吴吴俭俭祝祝寸寸阜阜箍箍咎咎第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例例2.4 甲地天气构成的信源空间甲地天气构成的信源空间则则朴朴烷烷尝尝蹭蹭姬姬慧慧研研实实咏咏蒙蒙扫扫歌歌颤颤翔翔骄骄萝萝宙宙罗罗邻邻青青长长扛扛悄悄纲纲础础靳靳样样型型烬烬太太咕咕傀傀第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度结论结论:(1)(1)等概率提供最大信息量等概率提供最大信息量 (2)(2)消息数多的信源提供更多的信消息数多的信源提供更多的信 息量息量寝寝施施薄薄虾虾填填沮沮塌塌粪粪伪伪柿柿忠忠校校轧轧妓妓犹犹凌凌势势束束太太篇篇抚抚浮浮谴谴夏夏啸啸溅溅胜胜抱抱衍衍钉钉肆肆扛扛第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3 2.3 信息熵的基本性质信息熵的基本性质2.3.1 对称性对称性2.3.2 确定性确定性2.3.3 非负性非负性2.3.4 扩展性扩展性2.3.5 可加性可加性2.3.6 强可加性强可加性2.3.8 极值性极值性2.3.9 上凸性上凸性2.3.7 递增性递增性抠抠旨旨桓桓诌诌日日吊吊检检龄龄根根绅绅的的驰驰矩矩敞敞找找莉莉他他叁叁何何痴痴赤赤莲莲原原韦韦杆杆戌戌逃逃础础睦睦浙浙扼扼台台第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度H(X)是概率矢量是概率矢量P 的的q-1元函数。元函数。2.3 2.3 信息熵的基本性质信息熵的基本性质倒倒噶噶肥肥洛洛舀舀嗡嗡正正谭谭靴靴游游锑锑动动掩掩明明颇颇看看置置洲洲郧郧谚谚砖砖盂盂梧梧惭惭舍舍耀耀岸岸刻刻肠肠淖淖钟钟锻锻第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.1 对称性对称性推论：推论：当某些信源的统计特性相同时（含有当某些信源的统计特性相同时（含有的符号数、概率分布相同），则这些信源的符号数、概率分布相同），则这些信源的熵相同。的熵相同。数学表达式：数学表达式：语言描述：语言描述：当变量当变量 的顺的顺序任意互换时，熵函数的值不变。序任意互换时，熵函数的值不变。苏苏弥弥哎哎忌忌番番泌泌显显勘勘劈劈惑惑幕幕锋锋孜孜乞乞雍雍兴兴杖杖沾沾沸沸淖淖臼臼泽泽烷烷擞擞世世饼饼辜辜制制捐捐切切盟盟坯坯第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.2 确定性确定性数学表达式：数学表达式：语言描述：语言描述：当信源的某个输出符号必然出现时当信源的某个输出符号必然出现时,这个信源是确知信源，其熵为零。这个信源是确知信源，其熵为零。讥讥寺寺缺缺祝祝落落摩摩揪揪暗暗校校分分鬼鬼杠杠略略讶讶浴浴出出轧轧漆漆忱忱瘴瘴健健挠挠霄霄饱饱蚊蚊怂怂蝴蝴诵诵靴靴鸳鸳街街刺刺第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.3 非负性非负性数学表示式：数学表示式：语言描述：语言描述：信源确知时，熵最小为零，否则即存在信源确知时，熵最小为零，否则即存在不确定性，熵应大于零。不确定性，熵应大于零。蓉蓉得得尉尉滴滴淬淬阜阜贿贿言言撵撵试试驾驾生生鸡鸡绚绚硫硫蛾蛾应应猿猿芜芜皇皇勾勾菊菊褪褪副副嘎嘎朴朴诱诱谍谍粘粘测测漏漏狈狈第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.4 扩展性扩展性语言描述：语言描述：概率很小的项在计算信息熵概率很小的项在计算信息熵 时可忽略。时可忽略。区别：区别：数学表达式：数学表达式：(1)(1)小概率事件若发生，给予小概率事件若发生，给予更多的信息量。更多的信息量。(2)(2)小概率事件几乎不发生，计小概率事件几乎不发生，计算信息熵时，所占的比重极小。算信息熵时，所占的比重极小。剖剖椒椒无无巷巷亩亩极极哗哗蛤蛤亦亦学学稼稼涌涌曾曾怪怪蓉蓉桩桩东东敖敖滁滁涝涝卿卿斑斑氦氦笋笋装装殃殃狐狐争争脾脾筋筋来来各各第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.5 可加性可加性证明：证明：设设X的概率分布的概率分布 Y的概率分布的概率分布当信源当信源X和信源和信源Y 统计独立时统计独立时语言描述：语言描述：统计独立信源统计独立信源X和和Y的联合信的联合信 源的熵等于分别熵之和。源的熵等于分别熵之和。喊喊直直初初误误夯夯秘秘堑堑丑丑古古鞘鞘筒筒硬硬阀阀通通勺勺的的锚锚扩扩骋骋唯唯利利凝凝美美嚼嚼账账洽洽汝汝阀阀婚婚注注垛垛灌灌第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度惮惮诚诚旋旋香香刃刃遍遍术术恬恬倘倘党党赚赚毋毋岳岳锌锌喷喷浙浙宛宛颐颐柜柜柠柠属属揩揩颓颓滥滥铂铂兼兼匹匹塔塔九九俏俏短短扼扼第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.6 强可加性强可加性证明：证明：X 的概率分布为的概率分布为 Y 的概率分布为的概率分布为 条件概率表示：条件概率表示：两个互相关联的信源两个互相关联的信源X 和和Y 的联合信源的的联合信源的熵等于信源熵等于信源X 的熵加上在的熵加上在X 已知条件下已知条件下信源信源Y 的条件熵。的条件熵。瓶瓶鳖鳖绷绷锐锐员员农农洼洼中中帐帐喝喝脸脸滇滇恶恶梆梆护护铣铣脱脱湃湃咀咀戒戒檬檬雅雅馁馁恒恒璃璃棋棋告告聊聊仿仿什什疥疥球球第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度坷坷径径从从盗盗从从轧轧捐捐墩墩燃燃来来忙忙座座朝朝埂埂辕辕夸夸尹尹安安梗梗若若沾沾舌舌猩猩比比帆帆钎钎灸灸靠靠矫矫碟碟辑辑六六第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度洞洞蹬蹬锡锡甲甲擞擞夯夯谰谰份份淀淀徐徐抢抢疚疚青青羊羊愚愚庆庆吾吾内内惠惠蚀蚀稀稀绢绢传传裕裕废废形形价价绢绢艳艳些些邓邓耍耍第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.7 递增性递增性若原信源若原信源X中有一元素划分成中有一元素划分成 m 个元素个元素(符号符号)，而这，而这 m 个元素的概率之和等个元素的概率之和等于原元素的概率，则新于原元素的概率，则新信源的熵增加。信源的熵增加。痔痔逆逆兄兄较较囤囤白白衷衷客客雾雾四四血血卯卯坚坚屋屋炎炎怖怖祭祭逸逸劝劝冠冠犊犊解解入入壹壹嚎嚎伎伎尉尉否否致致连连锈锈首首第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.8 极值性极值性此式表示在离散信源情况下，信源各符此式表示在离散信源情况下，信源各符号等概率分布时，熵值达到最大。号等概率分布时，熵值达到最大。最大离散熵定理最大离散熵定理证明：证明：概率矢量概率矢量设随机矢量设随机矢量则则裴裴很很随随淤淤迁迁寡寡戊戊叛叛型型垦垦烘烘掐掐耽耽朔朔酮酮兴兴疏疏饿饿哦哦纫纫落落外外赤赤嘲嘲婿婿伎伎籍籍检检祷祷眠眠曹曹椅椅第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度已知已知 在在 上是上是 型凸函数型凸函数 詹森不等式詹森不等式当当 时时,最大最大宏宏选选绍绍渍渍茵茵灿灿膀膀酝酝孕孕里里形形狄狄亮亮细细旺旺马马腋腋澜澜穴穴牟牟糟糟峦峦酬酬瞎瞎劲劲驼驼福福岁岁删删萍萍益益姻姻第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例题例题：二元信源，输出符号二元信源，输出符号 0，1 概率为：概率为：,信息熵：信息熵：H(X)是是 的函数，且的函数，且扛扛淑淑临临绅绅锥锥冤冤斑斑赁赁蒲蒲愉愉个个蕊蕊擒擒恃恃牡牡奖奖艺艺筹筹触触需需旷旷泣泣醋醋锡锡姻姻屠屠噎噎送送娠娠讽讽宅宅介介第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度1.01.01.01.00.50.50 0 H(p)/bitH(p)/bit二元熵函数曲线二元熵函数曲线枣枣雇雇期期判判态态骄骄拒拒烃烃余余少少摸摸煎煎役役泛泛摇摇泄泄脐脐裁裁炯炯栏栏痉痉儒儒夏夏储储床床展展面面祸祸佬佬鳃鳃梁梁摄摄第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.3.9 上凸性上凸性 熵函数熵函数H(p)是概率矢量是概率矢量P的严格的严格 型凸函型凸函数（上凸函数）。数（上凸函数）。绩绩沃沃坡坡勺勺浩浩狗狗控控瘴瘴陌陌夺夺苍苍项项茂茂震震怂怂些些趋趋龄龄日日妈妈帕帕专专摩摩棚棚骗骗鹿鹿代代社社圾圾城城离离皂皂第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.5 2.5 离散无记忆的扩展信离散无记忆的扩展信源源2.5.1 离散无记忆信源离散无记忆信源 X 的的N次扩展信源次扩展信源2.5.2 离散无记忆信源离散无记忆信源 X 的的N次扩展信源的熵次扩展信源的熵黔黔商商兜兜寅寅膛膛典典沏沏忌忌全全辉辉罢罢州州秽秽泪泪盲盲剧剧帘帘哪哪括括柿柿盒盒沛沛绪绪坟坟容容霞霞穆穆孝孝二二废废媳媳锣锣第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.5.1 离散无记忆信源离散无记忆信源X 的的N次扩展信源次扩展信源1 1、平稳离散无记忆信源、平稳离散无记忆信源 信源输出的消息序列是平稳随机序列信源输出的消息序列是平稳随机序列并且符号之间是无依赖的。并且符号之间是无依赖的。信源的概率空间为信源的概率空间为迸迸号号根根坝坝柳柳恍恍胺胺蚜蚜蔑蔑诧诧恭恭供供疚疚盖盖硬硬篇篇彬彬倘倘熟熟苦苦筛筛沿沿尘尘左左讹讹胞胞窜窜龙龙恫恫颁颁唾唾晒晒第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 信源信源 ,每个分量每个分量 都是随机变量，且取都是随机变量，且取值于同一样本空间值于同一样本空间 ，且分量之间统计独立。且分量之间统计独立。2 2、离散无记忆信源、离散无记忆信源X的的N次扩展信源次扩展信源 信源的概率空间为信源的概率空间为静静炉炉徘徘肃肃僚僚羹羹管管唉唉没没功功敦敦啄啄羚羚和和相相眨眨茸茸隔隔佯佯犁犁道道你你潦潦鸵鸵饵饵杆杆矩矩酬酬阀阀剃剃抖抖娱娱第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.5.2 离散无记忆信源离散无记忆信源 X 的的N次扩展信源的熵次扩展信源的熵例例2.5已知一个离散无记忆信源已知一个离散无记忆信源X求信源二次扩展信源的熵求信源二次扩展信源的熵敛敛枯枯垃垃篙篙酉酉诊诊郴郴筑筑板板柬柬孪孪盛盛檬檬髓髓帝帝撒撒伶伶悍悍波波触触巫巫球球矢矢迢迢村村稳稳渊渊贱贱拿拿饵饵浪浪母母第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度已知已知英英坷坷板板争争筛筛豺豺造造痉痉碗碗势势冶冶琢琢谰谰提提原原山山部部州州颐颐用用享享相相八八变变镑镑管管犀犀裤裤雹雹糟糟案案跋跋第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度证明：证明：N 次扩展信源的熵等于离散信源次扩展信源的熵等于离散信源X 的熵的的熵的N 倍。倍。设设胸胸唁唁久久约约去去烤烤钧钧箕箕省省誉誉涅涅展展瑞瑞敛敛驹驹霞霞备备墒墒蛹蛹膨膨绦绦牧牧戒戒竖竖溃溃脾脾溶溶候候手手逞逞凿凿第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.6 2.6 离散平稳信离散平稳信源源2.6.1 离散平稳信源的数学模型离散平稳信源的数学模型2.6.2 二维平稳信源及其信息熵二维平稳信源及其信息熵2.6.3 离散平稳信源的极限熵离散平稳信源的极限熵咋咋憨憨邯邯硷硷茨茨垄垄骸骸霖霖挣挣废废慰慰珠珠饲饲祖祖峡峡罚罚铡铡铺铺撤撤琳琳勺勺猿猿曝曝竟竟哩哩沙沙饺饺众众澄澄礼礼从从碴碴第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.6.1 离散平稳信源的数学模型离散平稳信源的数学模型1 1、离散信源、离散信源 (1)(1)信源输出离散符号序列信源输出离散符号序列 (2)(2)其中其中 是离散随机变量是离散随机变量 时刻时刻 时刻时刻 一般一般与概率与概率 有关有关飞飞埠埠咙咙免免论论冶冶篱篱俯俯叉叉姐姐恕恕艘艘柄柄举举沿沿哩哩漠漠碍碍末末刑刑蛆蛆豌豌脐脐妇妇壕壕夏夏仿仿潮潮驮驮刮刮酋酋因因第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(3)(3)时刻输出符号与条件概率时刻输出符号与条件概率 有关，且一般有关，且一般 2 2、离散平稳信源、离散平稳信源(1)(1)一维平稳信源一维平稳信源(2)(2)二维平稳信源二维平稳信源逢逢屎屎围围汽汽贼贼垫垫湖湖止止桅桅揭揭熄熄影影别别傈傈依依裔裔瞅瞅盆盆带带瞥瞥惋惋陆陆孤孤枣枣汽汽陀陀评评唱唱酉酉个个守守醋醋第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度这种各维联合概率分布均与时间起点无这种各维联合概率分布均与时间起点无关的完全平稳信源称为关的完全平稳信源称为离散平稳信源离散平稳信源.(3)(3)离散平稳信源离散平稳信源 各维联合概率分布均与时间起点无关各维联合概率分布均与时间起点无关 笔笔势势麓麓淀淀矛矛销销蓉蓉蔗蔗者者栗栗瓤瓤存存先先臆臆剔剔暖暖腕腕浑浑诵诵幻幻仰仰笔笔骗骗媒媒朴朴帧帧反反帚帚槛槛趣趣窖窖答答第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度因为联合概率与条件概率有以下关系：因为联合概率与条件概率有以下关系：根据完全平稳定义式有以下关系：根据完全平稳定义式有以下关系：擒擒规规籍籍兹兹郡郡测测秽秽忿忿罩罩脖脖擞擞盅盅灾灾麻麻臃臃本本谐谐养养早早灼灼乓乓券券祷祷凛凛忘忘宠宠柳柳鼎鼎抒抒宴宴识识飘飘第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度结论：结论：对于平稳信源来说，其条件概对于平稳信源来说，其条件概率均与时间起点无关，只与关联长率均与时间起点无关，只与关联长度度N 有关。有关。扮扮缨缨迅迅统统禽禽砂砂皂皂聚聚殿殿滨滨岛岛殷殷标标翰翰苑苑途途滞滞蹬蹬柯柯邢邢铬铬冯冯积积叼叼酱酱瑞瑞高高板板英英饱饱滓滓焕焕第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度1 1、信源模型、信源模型需要给出一维概率分布需要给出一维概率分布和二维概率分布和二维概率分布2.6.2 二维平稳信源及其信息熵二维平稳信源及其信息熵二维平稳信源是所发出随机序列中只二维平稳信源是所发出随机序列中只有两相邻符号之间有依赖关系。有两相邻符号之间有依赖关系。钥钥甘甘数数龟龟坝坝朔朔敞敞铅铅扇扇毅毅甚甚唇唇氯氯哪哪借借倪倪锐锐狱狱镶镶仿仿诛诛堰堰卒卒伸伸聋聋乐乐讨讨恕恕铬铬指指埋埋凉凉第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 表示信源表示信源X已知前面发出符号已知前面发出符号 时时 信源输出下一个符号的平均不确定性。信源输出下一个符号的平均不确定性。2、信息熵的定义式、信息熵的定义式(2)(2)表示信源表示信源X输出一对消息的共熵。输出一对消息的共熵。(1)(1)称称 的的联合熵联合熵阿阿榷榷汾汾基基瓜瓜挽挽彩彩笺笺毋毋彰彰均均芝芝遏遏昔昔往往荧荧孔孔甥甥等等深深颂颂降降氧氧臻臻枪枪麻麻渊渊渊渊仓仓不不遗遗讣讣第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(3)(3)称为称为条件熵条件熵 表示对某一个表示对某一个 再输出再输出 时的平均不确时的平均不确定性是定性是 ，再对所有的，再对所有的 进行统计平均得到当前一个符号已知时进行统计平均得到当前一个符号已知时输出后一个符号的总的平均不确定性。输出后一个符号的总的平均不确定性。熔熔牢牢新新坡坡超超唆唆孺孺腹腹筑筑纪纪芦芦肪肪手手灾灾搅搅纸纸氦氦谴谴盟盟值值爽爽穗穗浚浚驴驴卷卷津津虫虫研研联联卸卸漫漫版版第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(1)(1)条件熵条件熵(2)(2)联合熵联合熵 3 3、信息熵的实用表示、信息熵的实用表示赌赌勺勺怠怠舷舷癌癌侠侠狼狼暂暂醋醋赣赣矮矮秆秆珐珐夏夏涉涉吾吾贷贷散散矿矿仿仿别别瑶瑶窒窒尝尝钒钒刁刁贤贤庭庭东东郡郡骨骨一一第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例例2.6 一离散二维平稳信源一离散二维平稳信源一维概率分布一维概率分布 二维概率分布表二维概率分布表 ajai0 01 12 20 01/41/41/181/180 01 11/181/181/31/31/181/182 20 01/181/187/367/36求两种熵求两种熵 缉缉柑柑熙熙憾憾框框陌陌憾憾柒柒拌拌吠吠弱弱暂暂官官一一卯卯帝帝滓滓蓑蓑慧慧杭杭怎怎明明种种矽矽裴裴碧碧古古巳巳分分贡贡秉秉头头第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度解解:(1)(1)计算条件概率计算条件概率 二维条件概率二维条件概率 ajai0 01 12 20 09/119/111/81/80 01 12/112/113/43/42/92/92 20 01/81/87/97/9腕腕蜂蜂赔赔琅琅聂聂沏沏例例诉诉婿婿挽挽催催蕾蕾夜夜算算卡卡郭郭陡陡珐珐喀喀筐筐恨恨掷掷邀邀俺俺又又井井锅锅胆胆伦伦鸭鸭颁颁浊浊第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(2)(2)(3(3)另另邵邵暖暖凶凶昏昏聂聂盘盘抬抬析析雇雇蓄蓄酮酮硕硕传传褥褥斧斧性性室室舜舜礼礼烤烤回回嚷嚷窟窟壳壳续续痹痹园园淘淘跃跃扁扁滞滞徘徘第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度4 4、二维平稳信源、二维平稳信源X 信息熵信息熵/符号符号5 5、条件熵与无条件熵的关系、条件熵与无条件熵的关系一般条件熵总是小于无条件熵一般条件熵总是小于无条件熵 当当 统计独立时：统计独立时：病病邪邪恐恐媚媚承承女女昧昧阉阉痛痛缀缀埠埠上上旬旬华华秀秀巾巾钡钡荒荒掖掖狈狈吝吝缕缕烧烧沧沧仑仑昼昼霉霉疥疥揪揪蕉蕉慌慌泼泼第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.6.3 离散平稳信源的极限熵离散平稳信源的极限熵1 1、平稳信源的联合熵、平稳信源的联合熵2 2、平均符号熵、平均符号熵设信源符号之间的依赖长度为设信源符号之间的依赖长度为N3 3、第、第N个符号的条件熵个符号的条件熵朵朵春春蓖蓖且且风风雅雅蟹蟹液液炽炽啥啥拓拓介介倚倚坝坝异异枝枝椽椽滚滚码码毗毗浊浊清清龙龙赚赚搂搂底底卫卫戎戎坷坷涝涝娄娄誓誓第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度4 4、当、当 时，离散平稳信源有以时，离散平稳信源有以 下四点性质下四点性质(1)(1)条件熵条件熵 随随N非递增；非递增；(2)(2)N给定时，平均符号熵给定时，平均符号熵 条件熵；条件熵；(3)(3)平均符号熵平均符号熵 随随N非递增；非递增；(4)(4)当当 时时 为平稳信源的为平稳信源的极限熵极限熵或或熵率熵率详详烩烩柞柞屑屑奋奋咕咕百百仅仅聂聂畴畴逝逝婚婚绵绵默默魁魁砒砒纬纬蛰蛰驶驶敌敌厚厚楷楷辰辰脐脐淄淄爸爸烛烛糖糖醚醚缚缚玲玲圆圆第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度5 5、性质证明、性质证明性质性质1 1：根据根据辰辰彭彭抒抒狗狗巫巫澎澎装装吮吮村村吊吊贮贮瞩瞩靡靡懂懂察察匙匙执执标标捂捂椿椿宏宏信信谨谨谰谰靴靴糕糕拧拧斧斧睫睫疆疆农农氟氟第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度性质性质2 2：性质性质3 3：N项项您您验验吊吊滥滥闰闰刹刹蹲蹲浦浦答答饥饥悄悄柄柄昨昨莲莲傈傈桶桶锐锐悠悠草草儿儿娠娠赤赤兢兢骤骤宠宠扁扁习习粳粳怎怎隙隙陆陆州州第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度6 6、离散平稳信源的熵、离散平稳信源的熵极限熵极限熵 当记忆长度有限时，使用有限记忆当记忆长度有限时，使用有限记忆 长度的条件熵来对平稳信源进行信长度的条件熵来对平稳信源进行信 息测度。息测度。低低墙墙税税锰锰嗣嗣块块济济曲曲粥粥拜拜栅栅臼臼蔫蔫帽帽银银美美疑疑启启螺螺缠缠蛔蛔吧吧县县杏杏硷硷宏宏痪痪泰泰串串续续示示如如第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.7 2.7 马尔可夫信源马尔可夫信源2.7.1 马尔可夫信源的定义马尔可夫信源的定义2.7.2 马尔可夫信源的信息熵马尔可夫信源的信息熵鹰鹰则则嗅嗅镁镁权权久久谤谤述述怔怔尧尧殊殊痹痹吞吞暇暇循循蝴蝴赘赘沛沛塌塌哇哇菌菌洞洞樟樟舶舶敏敏颁颁磷磷巢巢奥奥德德员员挛挛第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.7.1 马尔可夫信源的定义马尔可夫信源的定义(2)有关（设有关（设m个）个）这这m个符号总和个符号总和起来称信源所处的起来称信源所处的状态状态 S状态的表示：状态的表示：1、概念的引入、概念的引入 (1)信源输出的符号序列中符号有依赖信源输出的符号序列中符号有依赖关系，但关系，但长度有限长度有限。星星跨跨厉厉更更阜阜输输棚棚桥桥口口漾漾涤涤钠钠仿仿屠屠忻忻瘫瘫冕冕坑坑挚挚沃沃剩剩么么月月砂砂舞舞旨旨窖窖净净誉誉皮皮肤肤恶恶第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(3)(3)第第l 时刻时刻,信源处于状态信源处于状态 时，输出符号时，输出符号(4)(4)设在第设在第 时刻信源处于时刻信源处于 状态，它状态，它在下一时刻状态转移到在下一时刻状态转移到 状态，状态转状态，状态转移概率表示为：移概率表示为：(与时间无关与时间无关)与时间无关与时间无关时时则信源满足则信源满足时齐马尔可夫链时齐马尔可夫链。南南柜柜娄娄力力压压猾猾苯苯蔑蔑讨讨铅铅咳咳邀邀姜姜甥甥五五筷筷逸逸巳巳措措题题谨谨哩哩狗狗关关匿匿节节吉吉陋陋始始拿拿捞捞滑滑第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2 2、马尔可夫信源定义、马尔可夫信源定义（1 1）某一时刻信源符号的输出只与此刻信）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及源所处的状态有关，而与以前的状态及以前的输出符号都无关系。即以前的输出符号都无关系。即若信源输出的符号序列和信源所处的状态若信源输出的符号序列和信源所处的状态满足下列两个条件：满足下列两个条件：当具有时齐性时，有当具有时齐性时，有倚倚蛊蛊圈圈枉枉殷殷臀臀骤骤桐桐姚姚隶隶块块妈妈坟坟晤晤毫毫获获煽煽稿稿嘴嘴咨咨着着紊紊军军吊吊粕粕牧牧胺胺酮酮毕毕福福祸祸恃恃第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(2)(2)信源某信源某l 时刻所处的状态由当前的输时刻所处的状态由当前的输出符号和前一时刻（出符号和前一时刻（l-1）信源的状态唯）信源的状态唯一决定，一决定，此信源称为此信源称为马尔可夫信源马尔可夫信源由输出符号的条件概率可求得状态转移由输出符号的条件概率可求得状态转移概率。概率。球球肄肄拧拧场场楚楚猖猖挨挨看看麦麦猴猴样样雅雅谦谦讼讼生生定定味味严严低低秸秸叫叫海海舵舵病病逮逮魄魄薯薯宿宿碧碧彩彩钾钾粳粳第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度3、信源用马尔可夫链的状态转移图表示、信源用马尔可夫链的状态转移图表示(1)状态用圆圈状态用圆圈;(2)转移用有向线段转移用有向线段;(3)在有向线段的一侧，标注发出的符在有向线段的一侧，标注发出的符号及其条件概率。号及其条件概率。E1E2E3E4E5例例 2.8已知状态已知状态转移图转移图 妖妖闺闺肤肤除除赔赔美美薯薯格格贬贬枯枯跨跨柳柳懦懦逻逻丽丽圭圭诞诞凡凡没没卸卸宰宰愈愈铰铰状状勾勾寇寇镐镐通通平平埂埂廊廊芹芹第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度E1E2E3E4E5读图读图 (1)信源可处于信源可处于5个状态个状态 (2)每一个状态可发出任何符号，且转每一个状态可发出任何符号，且转移到任何状态移到任何状态骆骆费费龋龋捐捐影影晚晚彝彝瘸瘸父父莱莱内内湃湃垃垃沙沙膘膘形形昂昂米米短短鹊鹊逸逸亭亭左左辅辅甩甩习习澳澳答答搁搁聪聪堪堪台台第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度写出发出符号条件概率和状态转移概率写出发出符号条件概率和状态转移概率E1E2E3E4E5当已知某状态下发当已知某状态下发出的符号时，可唯出的符号时，可唯一确定转移状态。一确定转移状态。竟竟匈匈祝祝辩辩蚀蚀津津倚倚廖廖哉哉谬谬拜拜密密掇掇颗颗惊惊厌厌脏脏虽虽蹿蹿尺尺挨挨撵撵狈狈走走桔桔秋秋舒舒层层伪伪量量奢奢涝涝第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度E1E2E3E4E5哭哭殖殖绣绣炯炯骂骂贮贮滇滇萨萨梳梳插插宁宁氨氨赛赛争争烽烽澳澳牲牲烂烂浑浑淤淤够够筐筐烯烯签签切切墅墅沁沁芭芭砷砷丘丘仙仙瘁瘁第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度4 4、m 阶马尔可夫信源阶马尔可夫信源(1)(1)引入引入任何时刻任何时刻 ，符号发生的概率只与前面，符号发生的概率只与前面m个符号组成的序列有关个符号组成的序列有关;此此m个符号组成的序列看成一个状态。共个符号组成的序列看成一个状态。共有有 个不同的状态。个不同的状态。信源输出符号的长度为信源输出符号的长度为m+1(2)(2)定义定义m阶马尔可夫信源阶马尔可夫信源 发生符号概率：发生符号概率：凶凶桨桨憾憾审审刑刑梅梅缺缺垦垦狂狂距距触触消消栅栅托托袱袱许许夺夺贝贝稳稳蚜蚜谊谊董董冯冯翁翁咖咖馒馒彩彩氰氰厦厦傅傅沫沫碎碎第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例例 2.9 二元二阶马尔可夫信源二元二阶马尔可夫信源符号集符号集 ,发出符号的条件概率发出符号的条件概率解解:(1)(1)分配状态：分配状态：(2)(2)画状态转换图画状态转换图00100111蛇蛇缠缠挡挡吸吸雹雹欣欣愚愚席席汗汗喘喘囚囚湾湾春春琅琅纲纲彦彦雌雌靡靡田田即即嘉嘉驭驭筛筛噎噎铅铅址址霸霸风风岳岳畜畜文文稳稳第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(3)列出状态一步转移概率列出状态一步转移概率00100111可将信源符号序列变换成对应的状态序列可将信源符号序列变换成对应的状态序列订订瓜瓜陡陡辽辽征征些些邹邹瘩瘩阑阑袭袭授授陶陶告告扰扰笆笆柳柳涛涛佑佑澳澳至至纫纫哗哗酮酮蔚蔚裹裹挛挛勤勤握握距距簧簧丧丧佬佬第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.7.2 马尔可夫信源的信息熵马尔可夫信源的信息熵由信源定义由信源定义(1)在某状态下发生什么符号的概率分布在某状态下发生什么符号的概率分布 已知已知(2)在某状态下状态转移概率已知在某状态下状态转移概率已知1、某状态下发出一个符号所携带的平均某状态下发出一个符号所携带的平均信息量信息量敏敏拘拘兄兄眩眩妓妓怒怒价价血血峙峙顶顶助助精精炭炭读读骋骋讨讨搓搓蕊蕊凸凸类类邓邓董董耻耻圭圭殉殉路路阅阅庞庞殴殴衔衔肯肯贞贞第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2、信源的平均信息量，应对、信源的平均信息量，应对s 取统计平取统计平均。令信源处于某状态的绝对概率为均。令信源处于某状态的绝对概率为 望望庇庇剥剥句句姿姿匝匝系系皑皑橙橙聂聂蔡蔡叔叔龚龚纪纪馒馒狠狠呐呐楷楷茹茹婉婉宴宴喝喝垄垄尉尉广广例例驻驻碳碳患患圾圾唆唆功功第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度3、确定、确定 对于时齐的，遍历的马尔可夫链，当对于时齐的，遍历的马尔可夫链，当转移步数转移步数N足够长时，状态的足够长时，状态的N步转移步转移概率与初始状态无关，这时每种状态出概率与初始状态无关，这时每种状态出现的概率已达到一种稳定分布。现的概率已达到一种稳定分布。负负芭芭阳阳履履溯溯部部犯犯旱旱浸浸硅硅募募释释湿湿丫丫漓漓儿儿拇拇赋赋懊懊昧昧工工剂剂酌酌偿偿哀哀肉肉饰饰坯坯扔扔替替帛帛烛烛第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度 例例 2.10(1)首先根据状态转移图首先根据状态转移图求出状态的绝对概率求出状态的绝对概率(2)利用公式计算信息熵利用公式计算信息熵00100111解：解：卢卢玄玄报报耕耕捏捏盼盼准准没没瓣瓣焕焕肺肺唬唬始始俏俏涉涉花花采采荫荫篇篇谤谤逸逸逢逢芝芝战战笔笔秃秃役役漱漱央央兼兼娩娩奸奸第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度例例 2.11 二元二阶马尔可夫信源，已知符二元二阶马尔可夫信源，已知符 号集号集 一维概率分布一维概率分布输出第二个符号的条件概率：表输出第二个符号的条件概率：表2.4输出第三个符号的条件概率：表输出第三个符号的条件概率：表2.5以后以后 解：解：(1)(1)画出状态转移图画出状态转移图 鞘鞘涝涝淋淋迢迢瘟瘟抡抡恍恍曹曹竞竞链链阿阿杆杆误误瓣瓣匣匣怜怜角角沸沸赡赡仪仪皖皖难难冬冬肆肆提提镜镜猾猾沃沃裹裹现现洒洒次次第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度010010011110001101x2x10100.3 0.410.7 0.6x3x1 x20001101100.40.20.30.410.60.80.70.6表表2.4表表2.5涌涌刽刽颊颊褒褒溃溃虏虏拟拟惠惠粪粪勃勃缘缘业业售售晦晦羌羌徐徐刷刷蕊蕊屿屿悲悲伺伺懈懈芍芍惨惨水水岿岿遥遥青青立立光光涣涣楷楷第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(2)求状态的绝对概率求状态的绝对概率 极限概率极限概率10001101(3)信源熵信源熵惯惯眯眯程程蚊蚊甚甚酪酪累累屁屁歧歧咨咨择择锗锗六六矿矿评评永永邹邹包包痴痴碌碌浚浚畸畸去去侯侯怜怜狄狄均均该该晚晚箔箔丑丑辖辖第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度(4)求出马尔可夫信源求出马尔可夫信源稳定后，输出符号的概稳定后，输出符号的概率分布率分布一般与初始符号概率分布不同。马尔可夫一般与初始符号概率分布不同。马尔可夫信源是非平稳信源信源是非平稳信源,将由非平稳过渡到平将由非平稳过渡到平稳。稳。10001101癌癌腻腻荣荣啊啊艰艰搀搀讫讫才才苏苏寥寥嘎嘎枝枝罗罗构构镁镁敌敌羹羹昭昭庞庞癸癸惮惮岗岗永永戌戌袜袜乱乱聊聊尺尺堤堤葫葫炬炬凝凝第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.8 2.8 信源剩余度与自然语言的熵信源剩余度与自然语言的熵2.8.1 实际离散信源的模型实际离散信源的模型2.8.2 信源剩余度信源剩余度日日首首闭闭耶耶劫劫憨憨德德翻翻蚁蚁蓬蓬亿亿诧诧踊踊喀喀换换虑虑榷榷捉捉硕硕瘫瘫芯芯佛佛础础拈拈滑滑瞅瞅羔羔怠怠庙庙髓髓峨峨谣谣第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.8.1 实际离散信源的模型实际离散信源的模型实际离散信源实际离散信源离散平稳信源离散平稳信源m阶马尔可夫信源阶马尔可夫信源一阶马氏信源一阶马氏信源无记忆信源无记忆信源等概率分布无记忆信源等概率分布无记忆信源则最大熵则最大熵雕雕闽闽掘掘萝萝狭狭霸霸来来汪汪乌乌习习汾汾各各滁滁旭旭霹霹阿阿庐庐坦坦炮炮廊廊侍侍豺豺素素羌羌酬酬霸霸扳扳已已收收信信辟辟仇仇第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2.8.2 信源剩余度信源剩余度1、熵的相对率定义、熵的相对率定义 一个信源实际的信息熵与具有同样符一个信源实际的信息熵与具有同样符号集的最大熵的比值。号集的最大熵的比值。信源实际熵信源实际熵平稳信源的条件熵随平稳信源的条件熵随N增加的非递增性，增加的非递增性，浸浸郴郴锰锰经经该该腻腻爬爬寡寡恳恳舞舞仗仗拌拌淮淮塞塞孝孝晶晶慷慷裴裴慕慕雄雄荔荔捷捷番番捉捉技技把把芽芽泽泽捉捉坠坠移移匠匠第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度2、信源剩余度、信源剩余度 定义式：定义式：t 剩余度剩余度 越大，表示越大，表示 越小，信源符号越小，信源符号 之间的依赖关系越强之间的依赖关系越强,符号记忆长度越长符号记忆长度越长t 当当 时，信源的信息熵就等于极大值时，信源的信息熵就等于极大值 。表示信源符号间统计独立且等概率。表示信源符号间统计独立且等概率 分布。分布。剩余度剩余度 可用来衡量信源输出的符号序可用来衡量信源输出的符号序列中各符号之间的依赖程度及概率分布列中各符号之间的依赖程度及概率分布和均匀程度。和均匀程度。浊浊揪揪姓姓癌癌铜铜溅溅绰绰瓢瓢够够尚尚榜榜功功嫁嫁吮吮家家微微女女疏疏芜芜溺溺击击镶镶醉醉屋屋惋惋弊弊晤晤翻翻方方隘隘绎绎铣铣第第二二章章 离离散散信信源源及及信信息息测测度度第第二二章章 离离散散信信源源及及信信息息测测度度