推荐资源：《线性代数的本质》：Essenceoflinearalgebra视频教程《数学之美》（科普类书籍），吴军系列书籍都不错。易向军《大嘴巴漫谈数据挖掘》，通俗生动，不枯燥。...

克劳德·香农花了差不多10年，制定了一套完整的、具有开创性意义的信息理论。一开始在研究生院时，他只是想给当时的众多信息技术（如电话，收音机，电视机）建立一套通用的技术基础。直到1948年，他发表了一篇名为《通信的数学理论》的论文。他的重大贡献可不止这篇论文。当他还在MIT攻读硕士时，年仅21岁的他发表了一...

1、熵和信息量有一组离散符号集{v1,v2,...,vm},每个符号具有相应概率Pi,为衡量这组符号组成的特定序列的随机性(不确定性或不可预测性)，定义离散分布的熵：，对数以2为底，熵的单位的“比特”，当连续情况时，底数为e，单位为“奈特”。对于回答是否问题时，每个可能答...