nbsp;
在热力学中,熵表示微观系统可能的状态数量,或者是混乱程度。
而信息熵表示各个可能事件发生的概率。
在论文中,香农给出了信息熵的数学表达公式:h()=-∑plp(p表示事件发生的概率)。
至此,对于信息的量化度量问题得到解决,科学家们以后就可以用定量的方式来研究信息。
这时,可以给信息下一个较为严格的定义:
“信息是用来消除不确定性的东西,不确定性越大,信息量越大。”
但是这里要注意一个问题。
信息熵是建立在计算机通信、01编码等基础上的严格数学概念。
它是专门为了计算机而诞生的一门理论科学。
在具体操作和计算层面上,信息熵可以理解为存储信息所需的最小比特数。
而真实世界的信息熵计算是非常非常复杂的,甚至根本没有办法计算。
一般都是通过信息熵的变化量来解决问题。
此外,同样的一句话,可能不同的人从这句话中得到的信息量都是不一样的。
比如同样一张脸,有人得出“美”的信息,有人却得出“丑”的信息。
这种带有联想和个人经验性质的抽象信息,不是香农提出的信息熵所包含的范围。
总之,香农发表这篇论文,提出信息熵概念,标志着信息论的诞生。
他本人也顺理成章地被称为“信息论之父”。
 
本章未完,请点击下一页继续阅读! 第3页 / 共10页