Cross Entropy

理解几个概念：

$H\left( X\right) =-\log P\left( X\right)$

$Entropy\left( X\right) =-\sum ^{i}_{n=1}p\left( x_{i}\right) \log p\left( x_{i}\right)$

系统熵，就是一个概率系统信息量的期望，即所有可能发生的事件的信息量乘以事件发生的概率后求和。

两个概率系统

https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

http://www.jerrylsu.net/articles/2018/ml-Information-Theory.html

https://blog.csdn.net/tsyccnh/article/details/79163834

Related Posts