《离散信源》PPT课件.ppt

第 三 章 离 散 信 源 及 其 信 息 测 度 信 息 论 对 信 源 研 究 的 主 要 内 容 由 以 下 几 个方 面 组 成 ：（ 1） 信 源 的 建 模（ 2） 信 源 输 出 信 号 中 携 带 信 息 量 大 小 的 计 算（ 3） 信 源 输 出 的 有 效 表 示 第 一 节 信 源 的 数 学 模 型 及 分 类qix i ,.,2,1, 为 各 个 符 号 发 生 的 概 率且)( 1)(,0)( )(.)()( .1 21 21i qi ii qqxp xpxp xpxpxp xxxPX 5105（ 1） 为 了 使 电 视 图 像 获 得 良 好 的 清 晰 度 和 规 定的 适 当 的 对 比 度 ， 需 要 用 个 像 素 和 10个 不 同 亮度 的 电 平 ， 设 每 秒 传 递 30帧 图 像 ， 所 有 象 素 是 独 立 变化 的 ， 且 所 有 亮 度 电 平 等 概 率 出 现 ,求 传 递 此 图 像 所需 的 信 息 率 （ 比 特 /秒 ） （ 2） 设 某 彩 电 系 统 ， 除 了 满 足 对 黑 白 电 视 系 统的 上 述 要 求 外 ， 还 必 须 有 30个 不 同 的 色 彩 度 ， 试 证 明传 输 这 彩 色 系 统 的 信 息 率 大 约 是 黑 白 系 统 的 传 输 信 息率 的 2.5倍 。 1.概 念 信 源 先 后 发 出 的 一 个 个 消 息 符 号 彼 此 独 立 。 2.数 学 模 型 信 源 输 出 随 机 变 量 X， 可 能 的 取 值 qixi ,.,2,1, 1)(,0)( )(.)()( . 1 21 21 qi ii qqxpxp xpxpxp xxxPX 且 3.信 源 输 出 的 信 息 量 qi ii xpxpXH 1 )(log)()( NX1.求 N次 扩 展 信 源 X=X1 2,1,0 qx )1()0( 10 ppPX 2X 212 XXX 4,11,10,01,00 2 qx )1()1()11()0()1()10( )1()0()01()0()0()00( pppppp pppppp 3X 3213 XXXX 111,110,101,100,011,010,001,00083xq )1()111( )1()0()110( )1()0()101()1()0()100( )1()0()011( )1()0()010( )1()0()001( )0()000( 32 22 22 23 Ppppp pppppp pppppp ppppp NN XXXX .21 )(.)()( . 221 221 NNpppPXX NN 的 数 学 模 型 为 ： )()().()()( )1,0(,. 121 21 iKNkiNiii ikiNiii ppppp A 其 中 NX 一 次 信 源 输 出 符 号 集 为 ),.,( 21 qaaaA 进 一 步 推 广 ： )()().()()( ),.,( ,. 121 2121 iKNkiNiii qikiNiii ppppp aaaA 其 中N次 扩 展 信 源 NN XXXX .21 )(.)()( . 21 21 NNqqNN pppPXX 的 数 学 模 型 为 ： )( NXH )()( XNHXH N )(4/14/12/1 2321 XHPX ， 求 二 次 扩 展 信 源 的 熵 )(2)( 2 XHXH 9,3 2 qq 则解 ： 16/116/18/116/116/18/18/18/14/1 332313322212312111 PX symbolbitppXH iii /5.1)(log)()( 31 symbolbitppXH iii /3)(log)()( 912 5105 1011021 1)(,10/1.10/110/1 .)( i ii aPaaaaPX H(X)=log10=1哈 特 来 /象 素 =3.32比 特 /象 素 帧比 特 帧哈 特 来 /1066.1 /105 10log105)()( 65 5 XNHXH N ： 秒比 特 秒哈 特 来 /1098.4 /105.1 )(30 761 NXHR （ 2） 证 明 ： 色 彩 度 信 源 的 概 率 空 间 为 : 3013021 1)(,30/1.30/130/1 .)( i ii bPbbbbPY每 个 象 素 色 彩 度 含 有 的 信 息 量 为 ： H(Y)=log30=4.91比 特 /象 素亮 度 和 色 彩 度 同 时 出 现 ， 每 个 象 素 含 有 的 信 息 量 为 ： H(XY)=H(X)+H(Y)=log10+log30=8.23比 特 /象 素 传 输 这 彩 色 系 统 的 信 息 率 与 传 输 黑 白 系 统 的 信 息 率 之 比 就等 于 彩 色 系 统 每 象 素 含 有 的 信 息 量 与 黑 白 系 统 每 象 素 含 有 信 息量 之 比 ， 即 ： H(XY)/H(X)=2.5 则 证 明 传 输 这 彩 色 系 统 的 信 息 率 是 传 输 黑 白 系 统 的 信 息 率 的 2.5倍 。 5103 （ 1） 分 析 可 知 汉 字 字 集 是 等 概 率 分 布 的 ， 则 汉 字 字 集 信源 为 10000121 1)(,/1./1/1 .)( i iqi bPqqq bbbbPY 字比 特 /10329.110000log1000)()( 4 YNHYH N（ 2） 分 析 可 知 128112821 1)(,128/1.128/1128/1 .)( i ii aPaaaaPX每 个 象 素 亮 度 含 有 的 信 息 量 为 ： H(X)=log128=7比 特 /象 素 帧比 特 /101.2128log103)()( 65 XNHXH N 字158000)(/)( YHXH N 161161814121 21012)(XPX bitxpxpXH ii 8/1516log16116log1618log814log412log21)(log)()( 511 bpsR 150008000815 第 三 节 离 散 平 稳 有 记 忆 信 源一 .平 稳 有 记 忆 信 源 概 念 ),.,( 21 Nxxxp 二 .离 散 平 稳 信 源 的 熵 ： )(.)()( .2111 2111 qq qqpppPX 熵 H(X)可 用 联 合 熵 表 示 ： )(log)()()( 21 jiqi qj ji ppXXHXH 条 件 熵 为 )|(log)()|( 12 ijqi qj ji ppXXH ).()( 21 NXXXHXH )|()()( 12121 XXHXHXXH 由 )()|( 212 XHXXH )()()( 2121 XHXHXXH )( NXH N n nn NNNN NNNNN NNNNN XXH XXXXHXXXXHXXHXH XXXXHXXXXHXXXH XXXXHXXXH XXXHXH 1 1 1212211121 1212211221 121121 21 )|( ).|().|(.)|()(. ).|().|().( ).|().( ).()( ).()( 21 NN XXXHXH 平 均 每 个 符 号 携 带 的 熵 )(XHN ).(1)(1)( 21 NNN XXXHNXHNXH 当 N ,极 限 熵 （ 信 源 的 熵 率 ） 记 作 )(XH ).|(lim )|(1lim )(lim)( 1211 1 NNN Nn nnN NN XXXXH XXHN XHXH对 于 一 般 平 稳 信 源 ， 信 源 的 极 限 熵 一 定 存 在 。 熵 率 的 计 算 很 复 杂 ， 在 实 际 应 用 中 常 采 用 有 限 N下的 条 件 熵 作 为 极 限 熵 的 近 似 值 ， 即 ).|()|()( 1211 NNNN XXXXHXXHXH 设 某 二 阶 离 散 平 稳 信 源 X=X1X2的 原 始 信 源的 信 源 模 型 为 ： 36/119/44/1)( 321 xxxXPXX=X1X2中 前 后 两 个 符 号 的 条 件 概 率 为 ： 11/9)|(,8/1)|(,0)|( 11/2)|(,4/3)|(9/2)|( 0)|(,8/1)|(,9/7)|( 332313 322212 312111 xxpxxpxxp xxpxxpxxp xxpxxpxxp 信 源 X提 供 的 熵 序 列/412.2)|()()( 12121 bitXXHXHXXH symbolbitXXHXH /206.1)(21)( 212 极 限 熵 、 条 件 熵 都 小 于 原 始 信 源 的 熵符 号 之 间 存 在 相 关 性 symbolbitxpxpXH i ii /542.1)(log)()( 31 31 3112 /870.0)|(log)()|( i j ijji symbolbitxxpxxpXXH mq 75.0)0|1( 5.0)1|1()1|0( 25.0)0|0( p ppp 解 ： 221 kq则 令 状 态 S1=0,状 态 S2=1 S1=0 S2=10.750.500.25 0.50根 据 状 态 图 求 状 态 转 移 概 率 ：p(S1|S1)=0.25 p(S2|S1)=0.75 p(S1|S2)=0.50 p(S2|S2)=0.50则 状 态 转 移 矩 阵 为 ： 50.050.0 75.025.0 2121 ssSSP 5.0)10|1()01|1()10|0()01|0( 2.0)11|0()00|1( 8.0)11|1()00|0( pppp pp pp 8.02.000 005.05.0 5.05.000 002.08.0 43214321 SSSSSSSSP 则 令 ： 状 态 S1=00,状 态 S2=01， 状 态 S3=10， 状 态 S4=11则 状 态 图 ： 0.5S201 S310S100S4110.80.8 0.50.5 0.50.2 0.2 422 kq解 ： 信 源 符 号 个 数 q=2， k=2,故 状 态 数 is js )|( ij ssp)( jsp )(),.,(),( 21 rspspspW WWP NP 02/12/1 6/13/12/1 100P 12/76/14/1 9/536/74/1 02/12/102/12/1 6/13/12/1 10002/12/1 6/13/12/1 1002P 18/572/258/3 216/61108/378/3 12/76/14/102/12/1 6/13/12/1 10012/76/14/1 9/536/74/1 02/12/13P 218,72,31 321 )(02/12/1 6/13/12/1 100)( 321321 131 i i ).|()( 121 NN XXXXHXH 1211 ).|( mmm HXXXXHH 计 算 ： 1)( mHH 符 号 的 概 率出确 定 ， 则 在 此 状 态 下 输由假 如 状 态 121 . mm kkkkj aaaaS ).|(log)|(log 2111 mmm kkkkjk aaaapSap ).|()|( 2111 mmm kkkkjk aaaapSap )|(log).( 111 11,., jkjkkk jkkk SapSaaap mmm mm 左 端 ).|(log).( 1111 11,., kkkjkkk jkkk aaapSaaap mmmm mm 右 端 )|()( )|(log)|()( )|(log)|().( )|(log).|().( )|(log).( 111 1111 1 11111 1 111 11, ,., ,., ,., jj j jkjkjk j jkjkjkkk jkk jkjkkkjkkk jkk jkjkkk jkkk SXHSp SapSapSp SapSapSaap SapSaaapSaap SapSaaap mmm mmmm m mmmmm m mmm mm 左 端 1 211,., ,., ).|( .|(log).().( ).|(log).( 11 11 1111 1111 11 m mm kkkkkk kkkjjkkk kkkjkkk jkkkH XXXXH aaapaaap SSaaap aaapSaaap mmmm mmmm mmmm mm ）求 和 ， 则 ：对右 端 )|()(1 jj jm SXHSpH 是 马 尔 可 夫 链 的 稳 态 分 布 ,可 利 用 ： WP=W和 求 解 出 。 1)( jSp)( jSp表 示 信 源 处 于 状 态 Sj时 发 出 一 个 消 息 符 号 的 平 均 不确 定 性 )|( jSXH 5.0)10|1()01|1()10|0()01|0( 2.0)11|0()00|1( 8.0)11|1()00|0( pppp pp pp 8.02.000 005.05.0 5.05.000 002.08.0 43214321 SSSSSSSSP解 :由 例 7可 知 状 态 转 移 矩 阵 为 ： 64.016.010.010.0 25.025.010.040.0 40.010.025.025.0 10.010.016.064.08.02.000 005.05.0 5.05.000 002.08.08.02.000 005.05.0 5.05.000 002.08.02P由设 稳 态 分 布 为 ： )()()()( 4321 SpSpSpSpW则 利 用 WP=W和 可 知 ：1)(41 J JSp 7/1)()(,14/5)()( 3241 SpSpSpSp对 于 遍 历 性 马 尔 可 夫 信 源 有 j jj SXHSpH )|()(3 得 出 ： i jijij SapSapSXH )|(log)|()|( 符 号比 特 /80.0 )|(7/1)|(7/1)|(14/5)|(14/5 43213 SXHSXHSXHSXHH 由 则 有 ： 2.0log2.08.0log8.0)|(log)|()|( 111 i ii SapSapSXH 5.0log5.05.0log5.0)|(log)|()|( 222 i ii SapSapSXH 5.0log5.05.0log5.0)|(log)|()|( 333 i ii SapSapSXH 2.0log2.08.0log8.0)|(log)|()|( 444 i ii SapSapSXH 第 五 节 信 源 的 相 关 性 和 剩 余 度 max1211 )(.)|()|( HXHXXHXXH NNNN 为 极 限 熵 （ 实 际 熵 ） HHH , max max11 HH 符 号比 特 /881.0)(log)()( 21 i ii apapXH（ 2） 分 析 得 此 信 源 为 ， 它 的 的 状 态 集 为 ：A=S1=黑 ， S2=白 。 则 状 态 转 移 图 ：S1 S20.20.10.8 0.9解 ： （ 1） 假 设 黑 白 气 象 传 真 图 上 黑 白 消 息 出 现 的 前 后 没 有关 系 ， 则 等 效 于 一 个 离 散 无 记 忆 信 源 。 信 源 概 率 空 间 为 ： 1)(7.03.0)( xpxPX ，白黑 9.01.0 2.08.0 白黑白黑P此 马 尔 可 夫 信 源 是 遍 历 的 ， 稳 态 分 布 存 在 ，则 设 W=(p(S1) p(S2),根 据 WP=W可 得 ： 1)()( )p(S)p(S9.01.0 2.08.0)p(S)p(S 21 2121 SpSp以 及 3/2)( 3/1)( 21 Sp Sp 符 号比 特 /553.0 1.0log1.09.0log9.0)(8.0log8.02.0log2.0)( )|()( 21 212 SpSp SXHSpHH i ii 447.02log553.011 119.02log881.01)(1 max2 max1 HHH XH即 21