信息论基础-实验报告.docx

信息论基础实验报告课程名称：信息论基础姓 名：学 院：计算机学院专 业：计算机系统结构学 号：2015 年 7 月 18 日信源熵值的计算一、 实验目的 1 进一步熟悉信源熵值的计算2 熟悉 vs2010 使用二、实验原理信息论中，熵：随机变量不确定性的度量。设X为一离散型随机变量，其取之空间为X，概率密度函数为p(x) = Pr(X = x), xX则离散型随机变量X的熵H(X)定义为H(X) = -xXpxlogpx其中log的底为2，此时熵的单位为比特。流程：第一步：打开一个名为“zhangdongdong”的TXT文档，读入一篇英文歌词see you again存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数(遇到小写字母都将其转化为大写字母进行计数)，每出现一次该字符的计数器+1。第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值程序流程图： 开始-打开文档将英文字母读入数组-计算每个字母及空格出现次数，算出频率-求出信息熵-输入结果三、实验内容1、写出计算自信息量的C 程序2、已知：信源符号为英文字母（不区分大小写）和空格。输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。四、实验环境Microsoft Windows 7VS2010五、编码程序六、运行结果其中文档内容如下：七、实验总结在实验中，我进一步了解到信源熵的计算，理论和实践的结合让我对这个知识点了解的更加深刻了。