理解几个概念：
-
信息
-
信息量
\(H\left( X\right) =-\log P\left( X\right)\)
- 熵
\(Entropy\left( X\right) =-\sum ^{i}_{n=1}p\left( x_{i}\right) \log p\left( x_{i}\right)\)
系统熵，就是一个概率系统信息量的期望，即所有可能发生的事件的信息量乘以事件发生的概率后求和。
- 相对熵（KL散度）
两个概率系统
https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
- 交叉熵
http://www.jerrylsu.net/articles/2018/ml-Information-Theory.html
https://blog.csdn.net/tsyccnh/article/details/79163834