信息论

信息论介绍

1. 信源

2. 编码器

3. 信道

4. 译码器
5. 信宿

信息论的度量

1. 自信息 :事件的不确定性

   $$I(x_i)=-\log p(x_i)=\log \frac{1}{p(x_i)}$$

   单位：2比特，e奈特，10哈莱特

2. 互信息 ：一个事件给另一个事件的信息

   $$I(x_i;y_i)=I(x_i)-I(x_i|y_i)=\log \frac{p(x_i|y_i)}{p(x_i)}$$

1. 平均自信息量 （信息熵）

   $$H(X)=E[I(x_i)]=-\sum_{i=1}^N p(x_i) \log p(x_i)$$

1. 平均互信息量

$$I(X;Y)=\sum_{i=1}^n \sum_{i=1}^m p(x_iy_i)I(x_i;y_i)$$ $$=H(X)-H(X|Y)$$

​ I(X;Y)：Y给X消除多少不确定性

​ H(X)：X的不确定性

​ H(X|Y)：有Y的时候，X的不确定性

在信道中

​ H(X|Y)：损失熵

$$H(X;Y)+H(X|Y)=H(X)$$

​ H(Y|X)：噪声熵

$$H(Y;X)+H(Y|X)=H(Y)$$

​ 互信息的对称性

$$I(X;Y)=I(Y;X)$$

性质

• 熵函数H的性质

  • 1. 对称性

    2. 确定性

    3. 非负性

    4. 扩展性

    5. 连续性

    6. 递推性 划分产生的不确定性

       $$H(p_1,p_2)$$

    7. 极值性 最大离散熵定理

    8. 上凸性

• 联合熵 二维随机变量

• 条件熵

• 三种熵关系

  1. 熵函数的链规则（相当于概率论里的乘法法则）
  $$H(XY)=H(X)+H(Y|X)$$

  推广到N个随机变量：

  $$H(X_1X_2···X_N)=H(X_1)+H(X_2|X_1)+···+H(X_N|X_1X_2···X_N)$$

1. $$H(X|Y) \leq H(X)$$
2. $$H(XY)\leq H(X)+H(Y)$$

概率空间 ·非负性 完备性

$$\begin{bmatrix} X\\ p(X)\\ \end{bmatrix} =\begin{bmatrix} X=x_1&&···&&X=x_n\\ p(x_1)&&···&&p(x_n)\\ \end{bmatrix}$$

信源

• 平稳信源：概率分布与时间起点无关

  $$P(X_iX_{i+1}···X_{i+N})=P(X_jX_{j+1}···X_{j+N})$$

• 平均符号熵 $H_N(X)=\frac{1}{N}H(X_1X_2···X_N)$

  • 熵率（极限熵）$H_\infty$ $N->\infty$

• 平稳无记忆信源 $H(X1X_2···X_N)=N H(X)$ $H\infty=H(X)$

• 平稳有记忆信源 $H(X_1X_2···X_N)=H(X_1)+H(X_2|X_1)+···+H(X_N|X_1X_2···X_N)$

  $$H_\infty=\lim_{N\rightarrow \infty}H(X_N|X_1X_2···X_N)$$

马尔可夫信源

• 马尔可夫信源的熵率
• 状态转移概率TP
• 极限熵

信道

• 两端信道

• 恒参信道（平稳）

  随参信道（非平稳）

• 信道干扰对传输的影响

• $$p(y_i|x_i)$$

• 信道矩阵 上面的组成的矩阵

• 前向概率（先验概率）：$p(y_i|x_i)$

• 后向概率（后验概率）：$P(x_i|y_i)$

• 全概率公式： $P(x_i)=P(x_iy_1)+P(x_iy_2)+···$

信道容量

信道疑义度：$H(X|Y)$

信息传输率：$R=I(X;Y)$

信息传输速率：$\frac{R}{t}$

信道容量：

最佳输入分布：

• 无损信道：一对多
• 无噪信道：多对一
• 无噪无损信道：一对一

对称信道

• 行对称信道：每行元素相同，与第一行排列不同

• 对称信道：每行每列元素相同，与第一行第一列排列不同

• 准对称信道：满足行对称，但不满足对称，但可以分成若干对称子矩阵

• 强对称信道（均匀信道）：

  

graph LR op1=>operation: 信源 op2=>operation: 编码器 op3=>operation: 信道 op4=>operation: 译码器 op5=>operation: 信宿 op6=>subroutine: 噪声源 op1(right)->op2(right)->op3(right)->op4(right)->op5(right){"scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12}op6=>operation: 噪声源 op3=>operation: 信道 op6->op3{"scale":1,"line-width":2,"line-length":50,"text-margin":10,"font-size":12}