Min-entropie

Min-entropie (značená obvykle $H_{\infty }$) je pojem z oboru teorie informace. Jedná se o nejkonzervativnější definici entropie z rodiny Rényiho entropie, tedy o nejkonzervativnější odhad neurčitosti možných výsledků. Různé Rényiho entropie jsou si rovny pro případ rovnoměrného rozdělení, ovšem liší pro jiná rozdělení pravděpodobnosti. Přitom platí, že min-entropie není nikdy větší než Shannonova entropie a Shannonova entropie není nikdy větší než max-entropie.

Srovnání entropií na příkladu házení mincí s pravděpodobnostmi $(p,1-p)$.

Definice

Min-entropie při daných pravděpodobnostech $p_{i}$ je rovna $-\log _{2}\max _{1\leq i\leq n}p_{i}$.

Reference

V tomto článku byl použit překlad textu z článku Min-entropy na anglické Wikipedii.