对于某个事件，有nn种可能性，每一种可能性都有一个概率p(xi)p(xi)
这样就可以计算出某一种可能性的信息量。举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量
| 序号 |
事件 |
概率p |
信息量I |
| A |
电脑正常开机 |
0.7 |
-log(p(A))=0.36 |
| B |
电脑无法开机 |
0.2 |
-log(p(B))=1.61 |
| C |
电脑爆炸了 |
0.1 |
-log(p(C))=2.30 |
注：文中的对数均为自然对数
我们现在有了信息量的定义，而熵用来表示所有信息量的期望，即：
H(X)=−i=1∑np(xi)log(p(xi))
其中n代表所有的n种可能性，所以上面的问题结果就是
H(X)=−[p(A)log(p(A))+p(B)log(p(B))+p(C))log(p(C))]=0.7×0.36+0.2×1.61+0.1×2.30=0.804
然而有一类比较特殊的问题，比如投掷硬币只有两种可能，字朝上或花朝上。买彩票只有两种可能，中奖或不中奖。我们称之为0-1分布问题（二项分布的特例），对于这类问题，熵的计算方法可以简化为如下算式：
H(X)==−i=1∑np(xi)log(p(xi))=−p(x)log(p(x))−(1−p(x))log(1−p(x))
【参考】
【来源】