信息论与编码 内容简介
本书系统地讨论了Shannon 信息理论中的基本概念和相关问题，介绍了信道，信源编码的一般原理和基本方法，全书主要内容共分为8章：包括绪论，离散无记忆信源熵，离散无记忆信道与互信息，信道与信道容量等。
信息论与编码 目录
第1章 绪论
1.1 信息的定义与性质
1.1.1 信息的定义
1.1.2 信息的性质
1.2 信息论的主要研究内容
1.3 信道编码的研究内容与发展简史
1.4 信源编码的研究内容与发展简史
1.4.1 数据压缩的必要性
1.4.2 数据压缩的可能性和基本方法
1.4.3 信源编码研究的发展简史与现状
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源
2.2 自信息和熵
2.2.1 自信息
2.2.2 信源的信息熵
2.3 熵函数的性质
2.4 联合事件的熵及其关系
2.4.1 联合事件的概率空间与概率关系
2.4.2 联合熵、无条件熵和条件熵.
2.4.3 各种熵之间的关系
2.5 连续信源的信息测度
2.5.1 连续信源的差熵
2.5.2 差熵的基本性质
习题2
第3章 离散无记忆信道与互信息
3.1 单符号离散无记忆信道及其转移概率
3.2 信道疑义度
3.3 范诺不等式
3.4 互信息的定义
3.4.1 符号间的互信息
3.4.2 平均互信息
3.5 平均互信息的基本性质
3.6 平均互信息的凸性
3.7 信息系统的可靠性和有效性问题
3.8 连续信道的平均互信息
3.8.1 单符号连续信道的平均互信息
3.8.2 连续信道平均互信息的性质
习题3
第4章 信道与信道容量
4.1 信道的描述和分类
4.1.1 信道的描述
4.1.2 信道的分类
4.1.3 离散无记忆信道
4.1.4 高斯白噪声加性波形信道
4.2 信道容量的定义
4.2.1 信息传输率
4.2.2 信道容量
4.3 离散信道的信道容量
4.3.1 对称信道的信道容量
4.3.2 准对称信道的信道容量
4.3.3 可逆矩阵信道的信道容量
4.4 离散无记忆信道容量的迭代算法
4.5 连续信道的信道容量
4.5.1 单符号高斯加性信道
4.5.2 高斯白噪声加性信道的信道容量
习题4
第5章 有噪信道编码
5.1 *简单的编码方法
5.2 联合e典型序列
5.3 有噪信道编码与Shannon第二编码定理
5.4 Shannon理论对信道编码的指导意义
5.4.1 二进制离散无记忆信道下的极限
5.4.2 AWGN信道下的理论极限
5.5 线性分组码
5.5.1 线性分组码的编码
5.5.2 *小距离译码
5.5.3 伴随式译码
5.5.4 分组码*小距离的边界
5.6 卷积码
5.7 Turho码
习题5
第6章 离散信源及其信息冗余
6.1 信源的描述与分类
……
第7章 无失真信源编码
第8章 限失真信源编码
附录A 凸函数与颜森不等式
附录B 线性代数基础
部分习题参考答案
信息论与编码 节选
第1章 绪论
信息科学和工程以信息为研究对象，以信息的运动规律和利用信息的原理为主要研究内容，以扩展人类的信息处理能力为主要研究目标，是当代具有强大生命力和推动力的新兴学科。作为半个多世纪科学技术进步的主要标志之一，信息科学和工程广泛地应用于通信理论与技术、计算机科学与技术、电子工程、遥感遥测技术和人工智能等各个领域。信息科学和工程的一个重要的基础理论——信息论，是在长期的信息与通信工程实践中，与概率论、随机过程和数理统计等近代数学学科相结合而建立并发展起来的，它主要研究各类电子信息系统和通信系统中信息的描述、传输和处理的一般规律与基本关系。研究信息系统的有效性和可靠性理论的目的是实现系统的*优化。在今天的“信息化社会”中，信息理论对于各类实用信息系统的研制与应用都具有重要的指导作用。作为信息论的主要分支，信源编码着重研究信源的统计特性和信源的编码理论与数据压缩技术，是提高信息系统有效性的技术手段；信道编码研究如何检测和纠正信息通过有噪信道传输后发生的错误，是提高信息系统可靠性的技术手段。信道编码、信源编码是各类电子信息系统研究和开发中的关键技术课题。
本章我们首先引出信息理论中*基本、*重要的概念——信息，简述信息理论及其主要应用领域——信源编码的主要研究内容、历史发展及现状。
……
