Entropie a diskrétní rozdělení

Abstract

Shannonova entropie pravděpodobnostního rozdělení udává vážený průměr míry informace, kterou získáme pozorováním náhodné veličiny řídící se daným rozdělením. V této práci nejprve zavedeme obsáhlejší pojetí pojmu informační entropie a uvedeme Shannonovu entropii jako důležitý speciální případ. Dále spočítáme Shannonovu entropii pro některá konkrétní pravděpodobnostní rozdělení, ukážeme, která rozdělení nabývají největší entropie za různých podmínek a představíme princip maximální entropie jako užitečný odhad pravděpodobnostních modelů. Další náplní práce je zavedení principu mi- nimální divergence, který slouží k libovolně přesnému odhadu pravděpodobnostního rozdělení náhodné veličiny při znalosti náhodného výběru o dostatečném roz- sahu. Nakonec dokážeme konvergenci binomického rozdělení k Poissonovu v Shannonově divergenci. 1

Shannon entropy of a probability distribution gives a weighted mean of a measure of information that we are given when we observe a ran- dom variable with the distribution. In this thesis we introduce more extensive concept of the term of information entropy and we introduce Shannon entropy as an important special case. Then we compute Shannon entropy for some specific probability distributions, show which distributions have maximal en- tropy under given constraints and we introduce the principle of maximum entropy as a useful estimate of probability models. Another topic of this thesis is an introduction of the principle of minimum divergence by which we can arbitrarily accurately estimate an unknown probability distribution of the given random variable if we have a sufficiently long random sample. Finally we prove that the binomial distribution converges to the Poisson distribution in the Shannon divergence. 1