消息出现的概率越小，所包含的信息量就越大，消息出现的概率越大，所包含的信息量就越小，故消息中所包含的信息量与该消息出现的概率成反比