Divergenza di Kullback-Leibler
In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler[1][2][3] (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P:[4] KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazione di P.
Anche se è spesso pensata come una distanza, la divergenza KL non è una vera e propria metrica - per esempio, non è simmetrica: la KL da P a Q non è in genere la stessa KL da Q a P. Tuttavia, la sua forma infinitesimale, in particolare la sua matrice hessiana, è un tensore metrico: è l'informazione metrica di Fisher.
La divergenza KL è un caso particolare di una classe più ampia di divergenze chiamata f-divergenze. È stata originariamente introdotta da Solomon Kullback e Richard Leibler nel 1951 come divergenza diretta tra due distribuzioni. Può essere derivata dalla divergenza di Bregman.
Definizione[modifica | modifica wikitesto]
Per due distribuzioni discrete P e Q, la divergenza KL di Q da P è definita come:
Proprietà[modifica | modifica wikitesto]
Dalla disuguaglianza di Jensen segue che è non negativa. Infatti
![{\displaystyle D_{\text{KL}}\left(P\|Q\right)=\mathbb {E} _{P}\left[-\log _{2}{\frac {Q}{P}}\right]\geq -\log _{2}\mathbb {E} _{P}\left[{\frac {Q}{P}}\right]=-\log _{2}\sum _{i}P(i){\frac {Q(i)}{P(i)}}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d01cf082855f9be45a05383f667bc26f1f53959c)
poiché .
Note[modifica | modifica wikitesto]
- ^ S. Kullback e R.A. Leibler, On Information and Sufficiency, in Annals of Mathematical Statistics, vol. 22, n. 1, 1951, pp. 79–86, DOI:10.1214/aoms/1177729694, MR 39968.
- ^ S. Kullback (1959) Information theory and statistics (John Wiley and Sons, NY).
- ^ S. Kullback, Letter to the Editor: The Kullback–Leibler distance, in The American Statistician, vol. 41, n. 4, 1987, pp. 340–341, JSTOR 2684769.
- ^ Kenneth P. Burnham, David R. Anderson (2002), Model Selection and Multi-Model Inference: A Practical Information-Theoretic Approach. Springer. (2nd ed), p.51
Bibliografia[modifica | modifica wikitesto]
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 2012.
| Controllo di autorità | BNF (FR) cb180900511 (data) |
|---|