熵编码
Created at 2017-08-11 Updated at 2017-08-31 Category 2017年8月
熵编码
1、什么是熵编码？
熵编码就是指按信息熵原理进行的无损编码方式，无损编码也是有损编码视频编码中一个关键的模块，它处于视频压缩系统的末端。熵编码把一系列用来表示视频序列的元素符号转变成一个用来传输或存储的压缩码流，输入的符号可能包括量化系数，运动矢量信息，预测模式信息等。熵编码可以有效的去除这些视频元素符号的统计冗余，是保证视频熵编码效率的重要工具。
2、那么什么是信息熵？
我们平时所说的消息是信息吗？
信息是存在于消息之后，消息中可以消除不确定因素的部分可以称之为信息。香农给出的信息的定义是：信息是事物运动状态或存在方式的不确定性的描述。
那么信息是否可以度量呢？
信息是可以度量的。因为不确定性是可以度量的。所以信息也是可以度量的。
不确定性越大，那么信息量就越大，反之，就越小。
比如：我明天会穿着运动服去打球。
这一句话就可以消除几个不确定性，我明天穿什么衣服呢？穿运动服。我明天去干什么呢？去打球。所以这句话就是存在着信息。
再比如：鞋子穿久了会破掉。 鞋子穿久了肯定会破的。所以这一句话没有消除任何不确定性，所以这句话没有任何信息量。所以这也就是我们说的废话。
假设某一信源的概率空间为[( x,p(x)] = [(x1,p(x1)), (x2,p(x2)), … , (xq ,p(xq)],且他们的概率之和为1。其中p(xi)就是信源发出符号xi的概率。那么，输出一个信源符号xi时，其信息量定位为 I(xi) = log(1/p(xi)。I(xi)通常被称为信源符号xi的自信息，表明该符号出现的不确定性。
因为信源中有很多不同的符号，所以一个符号的自信息是不能表明整个信源的信息量的。所以就出现了信息熵。‘
我们定义自信息的数学期望为信源的信息熵:H(X) = E[log(1/p(xi))],这个值也就是等于-p(xi)log(1/p(xi))从1到q的和。
这样子，我们就知道了两个概念自信息和信息熵用来表示信息量。
针对信息熵就是利用到概率的前提下，我们知道概率有可能有条件概率等问题。
下面给出三个概念：联合熵，条件熵，极限熵。
联合熵 HN(X)= H(X1,X2,X3…XN);
条件熵 H(XN|X1X2..XN-1)
当N趋于无穷大的时候，联合熵的均值和条件熵的值都存在且相等，这个极值就被称为极限熵。
当N给定时，他们的关系时 条件熵<= 联合熵的均值 <= H1(x)。
以上表明，在信源输出序列中符号之间的前后依赖关系越长，前面若干个符号发生后，其后发生什么符号的不确定性就变弱。也就是说，条件较多的熵要比条件较少的熵小。如果依赖关系无限长，联合熵的均值和条件熵都会非递增的趋向于极限熵。