香农三大定理

香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准则下的有失真信源编码定理。具体如下：

一：香农第一定理(可变长无失真信源编码定理)设信源S的[shāng]H(S)，无噪离散信道的信道容量为C，于是，信源的输出可以进行这样的编码，使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数，要使传输的平均速率大于(C/H(S))是不可能的。

二：香农第二定理(有噪信道编码定理)设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的***中(含有rN个长度为N的码符号序列)，找到M(M<=2°(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则，使信道输出端的最小平均错误译码概率Pmin达到任意小。

公式：C=B*log2(1+S/N)注：B为信道带宽；S/N为信噪比，通常用分贝(dB)表示。三：香农第三定理(保失真度准则下的有失真信源编码定理)设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D>=0，和任意小的a>0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M<=EXP(N[R(D)+a]，而编码后码的平均失真度D'(W)<=D+a。