信息论基础教程 内容简介
本书系统地讲述了信息论的基本理论，共分8章，内容包括：信息的基本概念及信息度量、信源和信息熵、信道与信道容量、信源编码和信道编码定理与常用编码方法、网络信息论以及保密通信的信息理论。对于前6章内容在附录中提供相应内容的MATLAB仿真源程序供教学使用。
本书力求内容精炼、完备、准确，强调掌握信息论的基本理论以及在通信中的指导作用，在不影响内容完整性的前提下省略了部分繁琐的定理证明，可作为高等院校电气信息类专业本科生教材，也可供从事相关专业的科研和工程技术人员参考。
信息论基础教程 目录
前言
第1章 绪论
1.1 信息的概念
1.2 信息论研究的内容
1.3 通信系统模型
1.4 信息论发展简史和现状
第2章 信源和熵
2.1 信源特性和分类
2.2 离散信源的熵
2.2.1 信息量的定义
2.2.2 熵
2.2.3 条件熵和联合熵
2.3 熵函数的数学特性
2.4 离散随机变量之间的互信息
2.4.1 互信息量
2.4.2 条件互信息量和联合互信息量
2.4.3 平均互信息量
2.5 信息不增性原理
2.6 平稳离散信源
2.6.1 平稳信源的定义
2.6.2 平稳信源的熵
2.6.3 信源的冗余度
2.7 马尔可夫信源
2.7.1 马尔可夫信源的定义
2.7.2 马尔可夫信源的熵
2.8 连续随机变量的熵和互信息
2.8.1 连续随机变量的相对熵和绝对熵
2.8.2 *大相对熵
2.8.3 熵功率
习题
第3章 信道与信道容量
3.1 信道的数学模型和分类
3.2 离散无记忆信道的信道容量
3.2.1 信道容量的定义
3.2.2 离散无噪声信道
3.2.3 准对称与对称离散无记忆信道容量
3.2.4 可逆矩阵信道的信道容量
3.3 信源与信道的匹配
3.4 信道的组合
3.4.1 积信道（独立并行信道）
3.4.2 和信道（并信道）
3.4.3 输人并接信道
3.4.4 级联信道
3.5 时间离散的无记忆连续信道
3.5.1 可加噪声信道
3.5.2 平均功率受限可加噪声信道
3.5.3 香农公式
3.5.4 平行可加高斯信道的容量
习题
第4章 离散信源的无失真编码
4.1 编码器
4.2 等长码和等长信源编码定理
4.3 变长码
4.4 变长信源编码定理
4.5 变长码的编码方法
4.5.1 费诺（Fano）码
4.5.2 霍夫曼（Huffman）码
4.5.3 r进制霍夫曼码
习题
第5章 信道编码
5.1 错误概率和译码规则
5.2 错误概率与编码方法
5.3 信道编码定理与逆定理
5.3.1 信道编码定理
5.3.2 信道编码定理的逆定理
5.4 常用信道编码方法
5.4.1 检错和纠错的基本原理
5.4.2 奇偶校验码
5.4.3 线性分组码
5.4.4 汉明码
5.4.5 循环码
5.4.6 卷积码
习题
第6章 限失真信源编码
6.1 引言
6.2 率失真函数的定义
6.2.1 失真函数
6.2.2 率失真函数的定义
6.3 率失真函数的性质
6.4 率失真函数的计算
6.5 连续信源的率失真函数
6.5.1 连续信源的率失真函数及其计算
6.5.2 高斯信源的率失真函数及其计算
6.6 限失真信源编码定理
6.6.1 信源编码定理及其逆定理
6.6.2 编码定理的意义
习题
第7章 网络信息论
7.1 网络信道分类
7.1.1 多源接入信道
7.1.2 广播信道
7.1.3 中继信道
7.1.4 串扰信道
7.1.5 双向信道
7.1.6 反馈信道
7.1.7 多用户通信网信道
7.2 相关信源编码
7.2.1 基本概念
7.2.2 相关信源独立编码
7.2.3 相关信源协同编码
7.3 典型网络信道
7.3.1 多源接入信道
7.3.2 高斯多源接入信道
7.3.3 中继信道
7.3.4 广播信道
7.3.5 反馈信道
习题
第8章 保密通信的信息理论
8.1 保密通信基础知识
8.1.1 保密学的发展史
8.1.2 基本概念
8.2 保密系统的数学模型
8.2.1 保密通信系统
8.2.2 密码学中熵的概念
8.2.3 理想保密性
8.3 数据加密标准（DES）
8.3.1 替代密码与置换密码
8.3.2 DES密码算法
8.3.3 DES密码的安全性
8.4 国际数据加密算法（IDEA）
8.4.1 算法原理
8.4.2 加密解密过程
8.4.3 算法的安全性
8.5 公钥加密方法
8.5.1 公钥密码体制的基本原理
8.5.2 RSA密码体制
8.5.3 报文摘要MD5
8.6 信息安全与数字签名
8.6.1 信息安全的基本概念
8.6.2 数字签名
习题
附录
附录A 信道编码定理的证明
附录B MATLAB源程序
参考文献
信息论基础教程 节选
第1章 绪论
信息论是长期的通信工程实践与概率论、随机过程和数理统计这些数学学科相结合而逐步发展起来的一门科学。随着信息概念的不断深化，它在科学技术上的重要性早已超越了狭义的通信工程的范畴，在许多领域中日益受到科学工作者们的重视。
本章首先引出信息的概念，进而讨论信息论研究的内容、历史发展与现状，*后介绍了本教材后文的内容结构。
1.1 信息的概念
在信息论中，信息是*基本、*重要的概念。那什么是信息呢?
信息概念的定义很多，但直到现在，还没形成完整、明确、为世人所普遍公认的定义。信息是客观事物状态和特征的反映，具有形式和内容之分。不同的定义从不同的侧面、不同的层次上揭示了信息的特性。通常有三类定义：广义信息、技术术语信息和统计信息。
广义信息是将信息的形式和内容等全部包含在内的*广泛意义上的信息。信息是在人类社会互通情报的实践过程中产生的，人们总能感受到信息的存在，常把“消息”、“情况”、“情报”等认为就是信息，是形式和内容的统一。当人们接到一个电话，或从收音机里听到气象预报，或看了电视里的新闻之后，就从“消息”中获得了信息。这种对信息的理解，我们可以把它称为广义信息。
技术术语信息是计算机所处理的海量对象，如音频和视频数据、文档资料等，在技术层面上统称为信息。信息作为技术术语被广泛使用是在计算机，特别是微处理器得到广泛应用以后，其特点是把信息的形式或载体与具体包含的内容分离开来。虽然信息形式和内容之间存在着联系，但计算机处理的技术角度只关心信息的形式或载体，不考虑信息的内容。
……
