资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,内蒙古工业大学,信息工程学院电子系 宋丽丽,信息论与编码,Information Theory and coding,Email,：,2.3,连续信源,计算连续信源熵的两种方法：,将连续信源的时间抽样，幅度量化，变成离散消息，再用离散熵计算,只进行抽样，把抽样序列看作量化单位趋于,0,时的情况，然后定义计算信源熵。,1,2,连续信源的熵,一维概率密度函数边缘概率密度函数：,连续信源的数学描述,单变量连续信源的数学模型为：,并满足,连续信源的数学描述,中值定理,连续信源的熵的推导,p(x),如图,把,X,分成,n,个小区间，等宽,那么变量落在第i个区间的概率为:,连续信源的熵的推导,连续信源熵相对熵定义：,为了在形式上与离散信源熵统一,熵差仍然具有信息的特征,1,2,求均匀分布的连续信源熵,例,例题,连续信源熵,相对熵,离散信源熵,绝对熵,连续信源熵的说明,连续信源熵不是实际输出的信息量，因为丢掉了一项无限大量。,但是，在讨论熵差时，两个无限大量可以对消，所以熵差具有信息的特征,连续信源的联合熵、条件熵,2.3.2,几种特殊连续信源的熵,均匀分布的连续信源的熵,1,，,，,均匀分布的连续信源的熵,结论：均匀分布的连续信源熵,取决于边界,高斯分布的连续信源的熵,2,高斯分布的连续信源的熵,结论,高斯信源的熵仅与方差有关,。,原因,指数分布的连续信源的熵,3,取决于均值,2.3.3,连续信源熵的性质及,最大连续熵定理,连续信源熵可为负值,连续信源熵的可加性,推广到,N,个变量的情况,1,2,连续信源熵的性质,3,连续信源熵的性质,对称性：,数据处理定理：,连续信源熵的性质,最大连续熵定理,限峰值功率的最大熵定理,假设代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。,1,4,连续信源熵的性质,可以证明,限平均功率的最大熵定理,平均功率为,P,，均值,m,受限，当信源概率密度函数为,正态分布,时，具有最大熵。,2,均值受限条件下的最大熵定理,连续信源输出非负信号的均值受限条件下，,指数分布,的连续信源具有最大熵。,3,连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵,。,第二章 小结,作业 2.221,
展开阅读全文