Konvergence náhodných proměnných

V teorii pravděpodobnosti existuje několik různých pojmů konvergence náhodných proměnných. Konvergence posloupnosti náhodných proměnných k nějaké limitní náhodné proměnné je důležitým konceptem v teorii pravděpodobnosti, a v jejích aplikacích na statistiku a náhodné procesy. Stejné koncepty jsou známy v matematice obecněji jako stochastická konvergence a formalizují očekávání, že chování posloupnosti v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit do formy, která se v zásadě nemění, když zkoumáme položky, které jsou v posloupnosti dostatečně daleko. Různé typy konvergence se odvíjejí od toho, jak lze takové chování charakterizovat: dva snadno představitelné případy jsou, že posloupnost začne být od určitého členu konstantní, nebo že hodnoty posloupnosti se budou dále měnit, ale bude možné je popsat nějakým pevným rozdělením pravděpodobnosti.

Pozadí

editovat

„Stochastická konvergence“ formalizuje myšlenku, že můžeme očekávat, že posloupnost v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit a vyhovovat určitému vzoru. Tímto vzorem může například být

  • Konvergence v klasickém smyslu k pevné hodnotě, která snad vychází z náhodné události
  • Rostoucí podobnost výsledků s tím, co by produkovala čistě deterministická funkce
  • Rostoucí preference k určitému výsledku
  • Rostoucí „odpor“ proti odchylce od určitého výsledku
  • Že rozdělení pravděpodobnosti popisující další výsledek se může postupně stále více podobat určitému rozdělení

K méně zjevným, teoretičtějším, vzorům patří

Tyto další typy vzorů, které se mohou objevit, jsou popsány různými typy stochastické konvergence, které se zkoumají.

Zatímco výše uvedená diskuze se týkala konvergence jedné posloupnosti k limitní hodnotě, důležitý je také pojem konvergence dvou posloupností k sobě navzájem. Ten však lze snadno převést na studium posloupnosti definované jako rozdíl anebo poměr dvou posloupností.

Pokud je například průměr n statisticky nezávislých náhodných proměnných Yi, i = 1, ..., n, které všechny mají stejnou konečnou střední hodnotu a rozptyl, popsán vztahem

 

pak, když se n blíží k nekonečnu, konverguje Xn v pravděpodobnosti (viz níže) ke společné střední hodnotě μ, náhodných proměnných Yi. Tento výsledek je znám jako „slabý zákon velkých čísel“. Jiné formy konvergence jsou důležité v jiných užitečných větách, včetně centrální limitní věty.

V následujícím textu předpokládáme, že (Xn) je posloupnost náhodných proměnných a X je náhodná proměnná, přičemž všechny jsou definované na stejném pravděpodobnostním prostoru  .

Konvergence v rozdělení

editovat
Továrna na házecí kostky
Předpokládejme, že byla postavena továrna na výrobu házecích kostek. První vyrobené kostky byly kvůli nepřesnostem při výrobě dost nepoctivé. Výsledek hodu libovolnou z nich odpovídá rozdělení, které se značně odlišuje od požadovaného rovnoměrného rozdělení.

Jak se výrobní proces zlepšuje, kostky jsou stále lepší, a výsledky vrhu s nově vyrobenými kostkami odpovídají rovnoměrného rozdělení stále lépe.
Hod mincí
Nechť Xn je podíl hlav po n hodech poctivou mincí. Pak náhodná proměnná X1alternativní rozdělení s očekávanou hodnotou μ = 0.5 a variancí σ2= 0.25. Následující náhodné proměnné X2, X3, ... budou mít všechny binomické rozdělení.

Pokud se n zvětšuje, toto rozdělení bude postupně nabývat tvaru, který se stále více podobá normálnímu rozdělení. Pokud Xn vhodným způsobem posuneme a přeškálujeme, pak   bude konvergovat v distribuci ke standardnímu normálnímu rozdělení, což je výsledek, který odpovídá oslavované centrální limitní větě.
Grafický příklad
Předpokládejme, že {Xi} je posloupnost nezávislých stejně rozdělených náhodných veličin s rovnoměrným rozdělením U(−1, 1). Nechť   jsou jejich (normalizované) sumy. Pak podle centrální limitní věty rozdělení proměnných Zn se blíží normálnímu rozdělení  . Tato konvergence je ukázána na obrázku: s rostoucím n se tvar funkce hustoty rozdělení blíží Gaussově křivce.
 

U tohoto typu konvergence stále více očekáváme, že uvidíme, že další výsledek v posloupnosti náhodných pokusů budou lépe modelovat daným rozdělením pravděpodobnosti.

Konvergence v rozdělení je nejslabším z typů konvergence se kterými se běžně pracuje, protože vyplývá ze všech dalších typů konvergence, které popisuje tento článek. Konvergence v rozdělení se však často používá v praxi; nejčastěji se objevuje při použití centrální limitní věty.

Definice

editovat

O posloupnosti X1, X2, ... reálných náhodných proměnných řekneme, že konverguje v rozdělení nebo konverguje slabě nebo konverguje v zákoně k náhodné proměnné X, pokud

 

pro každou hodnotu   v níž je funkce F spojitá. Fn a F jsou distribuční funkce náhodných proměnných Xn, resp. X.

Požadavek, uvažovat pouze body, v nichž je funkce F spojitá, je nutný. Pokud například Xn mají rovnoměrné rozdělení na intervalech  , pak tato posloupnost konverguje v rozdělení k degenerované náhodné proměnné  . Protože   pro všechna n, když x ≤ 0, a Fn(x) = 1 pro všechna   když n > 0. Ale, pro tuto limitní náhodnou proměnnou F(0) = 1, přestože Fn(0) = 0 pro všechna n. Konvergence distribuční funkce tedy selže v bodě x = 0, kde je funkce F nespojitá.

Konvergence v rozdělení se značí

 
 
 
 
 
 
 

 

 

 

 

(Vzorec 1)

kde   je zákon (rozdělení pravděpodobnosti) proměnné X. Pokud například X je standardní normální rozdělení, můžeme psát  .

Pro náhodné vektory {X1, X2, ...} ⊂ Rk je konvergence v rozdělení definována podobně. Říkáme, že tato posloupnost konverguje v rozdělení k náhodnému k-vektoru X pokud

 

pro každé ARk, které je množinou spojitosti proměnné X.

Definice konvergence v rozdělení může být rozšířena z náhodných vektorů na obecnější náhodné prvky v libovolných metrických prostorech, a dokonce i na „náhodné proměnné“, které nejsou měřitelné, což je situace, která se objevuje například při studiu empirických procesů. To je „slabá konvergence rozdělení bez toho, že by rozdělení bylo definováno jinak než asymptoticky“.[1]

V tomto případě je vhodnější termín slabá konvergence (viz slabá konvergence míry), a říkáme, že posloupnost náhodných prvků {Xn} konverguje slabě k X (značíme XnX), pokud

 

pro všechny spojité omezené funkce h.[2] E* zde označuje vnější očekávanou hodnotu, což je očekávaná hodnota „nejmenší měřitelné funkce g, která dominuje h(Xn)“.

Vlastnosti

editovat
  • Protože F(a) = Pr(Xa), konvergence v rozdělení znamená, že pravděpodobnost Xn je v daném rozsahu přibližně rovna pravděpodobnosti, že hodnota X je v tomto rozsahu, za předpokladu, že n je dostatečně velké.
  • Konvergence v rozdělení obecně neznamená, že posloupnost odpovídajících hustot pravděpodobnosti bude také konvergovat. Jako příklad můžeme uvažovat náhodné proměnné s hustotami fn(x) = (1 + cos(2πnx))1(0,1). Tyto náhodné proměnné konvergují v rozdělení k rovnoměrnému rozdělení U(0, 1), zatímco jejich hustoty nekonverguje vůbec.[3]
  • Portmanteauovo lemma poskytuje několik ekvivalentních definic konvergence v rozdělení. Tyto definice jsou sice méně intuitivní, ale používají se pro důkaz několika statistických vět. Lemma říká, že {Xn} konverguje v rozdělení k X právě tehdy, když je splněno libovolné z následujících tvrzení:[5]
    •   pro všechny body spojitosti funkce  ;
    •   pro všechny omezené, spojité funkce   (kde   označuje operátor střední hodnoty);
    •   pro všechny omezené Lipschitzovské funkce  ;
    •   pro všechny nezáporné spojité funkce  ;
    •   pro každou otevřenou množinu  ;
    •   pro každou uzavřenou množinu  ;
    •   pro všechny množiny spojitosti   náhodné proměnné  ;
    •   pro každou shora polospojitou funkci   omezenou shora;[zdroj?]
    •   pro každou zdola polospojitou funkci   omezenou zdola.[zdroj?]
  • Věta o spojitém zobrazení říká, že pro spojité funkce g, pokud posloupnost {Xn} konverguje v rozdělení k X, pak {g(Xn)} konverguje v rozdělení k g(X).
    • Všimněte si však, že konvergence v rozdělení proměnné {Xn} k X a {Yn} k Y obecně neznamená konvergenci v rozdělení {Xn + Yn} k X + Y nebo {XnYn} k XY.
  • Lévyho věta o spojitosti: posloupnost {Xn} konverguje v rozdělení k X právě tehdy, když posloupnost odpovídajících charakteristických funkcí {φn} konverguje bodově k charakteristické funkci φ proměnné X.
  • Konvergence v rozdělení je metrizovatelná pomocí Lévyho–Prochorovovy metriky.
  • Přirozený odkaz na konvergenci v rozdělení je Skorochodova věta o reprezentaci.

Konvergence v pravděpodobnosti

editovat
Výška osoby
Uvažujme následující experiment. Nejdříve vybereme na ulici náhodnou osobu. Nechť X je její výška, což je ex ante náhodná proměnná. Pak požádáme ostatní lidi, aby tuto výšku odhadli od oka. Nechť Xn je průměr prvních n odpovědí. Pak (za předpokladu, že není žádná chyba měření) podle zákona velkých čísel bude posloupnost Xn konvergovat v pravděpodobnosti k náhodné proměnné X.
Předvídání generovaných náhodných čísel
Předpokládejme, že generátor náhodných čísel generuje pseudonáhodná reálná čísla z intervalu  . Nechť náhodná proměnná X reprezentuje rozdělení možných výsledků generátoru. Protože pseudonáhodné číslo se generuje deterministicky, jeho další hodnota není skutečně náhodná. Předpokládejme, že jak pozorujeme posloupnost náhodně generovaných čísel, můžeme zjistit nějaký vzor a stále přesněji predikovat, jaké bude následující náhodně generované číslo. Nechť Xn je náš odhad hodnoty následujících náhodných čísel po pozorování prvních n náhodných čísel. Jak se učíme vzor a naše odhady se stanou přesnějšími, bude rozdělení proměnné Xn nejen konvergovat k rozdělení proměnné X, ale výsledky Xn budou také konvergovat k výsledkům X.

Základní myšlenka za tímto typem konvergence je, že pravděpodobnost „neobvyklého“ výsledku se s prodlužováním posloupnosti zmenšuje.

Koncept konvergence v pravděpodobnosti se používá velmi často ve statistice. Například odhad se nazývá konzistentní, pokud konverguje v pravděpodobnosti k hodnotě, která je odhadována. Konvergence v pravděpodobnosti je také typem konvergence, která se používá v zákonu velkých čísel.

Definice

editovat

Posloupnost {Xn} náhodných proměnných konverguje v pravděpodobnosti k náhodné proměnné X, pokud pro všechna ε > 0

 

Podrobněji: nechť Pn(ε) je pravděpodobnost, že Xn je mimo kouli o poloměru ε se středem v X. Pak o posloupnosti Xn řekneme, že konverguje v pravděpodobnosti k X, pokud pro jakékoli ε > 0 a jakékoli δ > 0 existuje číslo N (které může záviset na ε a δ) takové, že pro všechna n ≥ N, Pn(ε) < δ (definice limity).

Všimněte si, že aby podmínka byla splněna, není možné, aby pro každé n byly náhodné proměnné X a Xn nezávislé (a tedy konvergence v pravděpodobnosti je podmínkou na sdružené distribuční funkce, čímž se liší od konvergence v rozdělení, která je podmínkou na jednotlivé distribuční funkce), pokud žádné X není deterministické jako pro slabý zákon velkých čísel. Zároveň případ deterministického X nemůže být, když je deterministickou hodnotou (neizolovaný) bod diskontinuity, proveden na konvergenci v rozdělení, kde body diskontinuity musejí být explicitně vynechané.

Konvergence v pravděpodobnosti se značí písmenem p nad šipkou značící konvergenci nebo pomocí operátoru „plim“ pravděpodobnostní limity:

 

 

 

 

 

(Vzorec 2)

Pro náhodné prvky {Xn} na separabilním prostoru (S, d) je konvergence v pravděpodobnosti definována podobně vztahem[6]

 

Vlastnosti

editovat
  • Konvergence v pravděpodobnosti implikuje konvergence v rozdělení.[důkaz]
  • V opačném směru konvergence v rozdělení implikuje konvergenci v pravděpodobnosti, když limitní náhodná proměnná X je konstanta.[důkaz]
  • Konvergence v pravděpodobnosti neznamená konvergenci skoro jistě.[důkaz]
  • Věta o spojitém zobrazení říká, že pro každou spojitou funkci g(·), pokud  , pak také  .
  • Konvergence v pravděpodobnosti definuje topologii na prostoru náhodných proměnných nad pevným pravděpodobnostním prostorem. Toto topologie je metrizovatelná Ky Fanovou metrikou:[7]   případně metrikou  

Konvergence skoro jistě

editovat
Příklad 1
Uvažujme živočicha nějakého krátce žijícího druhu. Budeme zaznamenávat množství potravy, kterou tento živočich spotřebuje za den. Tato posloupnost čísel bude nepredikovatelná, ale můžeme si být skoro jisti, že někdy nabyde hodnoty nula a od této chvíle bude nulová.
Příklad 2
Předpokládejme, že nějaký člověk provede každé ráno hod 7 mincemi. Každé odpoledne pošle za každou padlou hlavu jednu libru na charitu. Když však padne sedm orlů, skončí.

Nechť X1, X2, … je denní částka, kterou od něj charita dostala.

Jsme si skoro jisti, že jednoho dne tato částka bude nula, a od té doby bude nula trvale.

Pokud však uvažujeme libovolný konečný počet dní, je nenulová pravděpodobnost, že ukončující podmínka nenastane.

Tento typ stochastické konvergence se nejvíce podobá bodové konvergenci používané v elementární reálné analýze.

Definice

editovat

Řekneme, že posloupnost Xn konverguje skoro jistě nebo skoro všude nebo s pravděpodobností 1 nebo silně k X, pokud

 

To znamená, že hodnoty Xn se blíží k hodnotě X, v tom smyslu (viz skoro jistě), že jevy, pro které Xn nekonverguje k X mají pravděpodobnost 0. Pokud použijeme pravděpodobnostní prostor   a koncept náhodné proměnné jako funkce z Ω do R, je tato definice ekvivalentní s

 

Pomocí pojmu limes superior posloupnosti množin můžeme konvergenci skoro jistě definovat také takto:

 

Konvergence skoro jistě se často označuje přidáním písmen s.j. (anglicky a.s., almost sure) nad šipku značící konvergenci:

 

 

 

 

 

(Vzorec 3)

Pro obecné náhodné prvky {Xn} na metrickém prostoru   je konvergence skoro jistě definována podobně:

 

Vlastnosti

editovat
  • Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti (podle Fatouova lemmatu), a tedy implikuje konvergenci v rozdělení. Je to pojem konvergence používaný v silném zákonu velkých čísel.
  • Koncept konvergence skoro jistě nepochází z topologie na prostoru náhodných proměnných. To znamená, že na prostoru náhodných proměnných neexistuje žádná topologie taková, že skoro jistě konvergentní posloupnosti podle této topologie konvergují přesně. Speciálně neexistuje žádná metrika konvergence skoro jistě.

Jistá konvergence nebo bodová konvergence

editovat

Řekneme, že posloupnost náhodných veličin (Xn) definovaných na stejném pravděpodobnostním prostoru (tj. náhodný proces) konverguje jistě nebo všude nebo bodově k X pokud   kde Ω je prostor elementárních jevů podkladových Pravděpodobnostní prostor, na němž jsou náhodné proměnné definované.

Jedná se o rozšíření pojmu bodové konvergence posloupnosti funkcí na posloupnost náhodných veličin. (Náhodné veličiny samy o sobě jsou funkcemi).

 

Jistá konvergence náhodné proměnné implikuje všechny další druhy konvergence uvedené výše, ale v teorii pravděpodobnosti nepřináší jistá konvergence žádnou výhodu v porovnání s konvergencí skoro jistě. Tyto dva druhy konvergence se liší pouze na množinách míry nula. To je důvodem, proč se koncept jisté konvergence náhodných proměnných používá velmi zřídka.

Konvergence ve střední hodnotě

editovat

Je-li dáno reálné číslo r ≥ 1, pak řekneme, že posloupnost Xn konverguje v r-té střední hodnotě (nebo v Lr-normě) k náhodné proměnné X, pokud existují r-té absolutní momenty E(|Xn|r ) a E(|X|r ) proměnných Xn a X, a

 

kde operátor E označuje střední hodnotu. Konvergence v r-té střední hodnotě nám říká, že očekávaná hodnota r-té mocniny rozdílu mezi   a   konverguje k nule.

Tento typ konvergence se obvykle značí písmenem Lr nad šipkou značící konvergenci:

 

 

 

 

 

(Vzorec 4)

Nejdůležitější případy konvergence v r-té střední hodnotě jsou:

  • Když Xn konverguje v r-té střední hodnotě k X pro r = 1, říkáme, že Xn konverguje ve střední hodnotě k X.
  • Když Xn konverguje v r-té střední hodnotě k X pro r = 2, říkáme, že Xn konverguje ve čtverci střední hodnoty (nebo v kvadratická střední hodnotě) k X.

Konvergence v r-té střední hodnotě, pro r ≥ 1, implikuje konvergenci v pravděpodobnosti (podle Markovovy nerovnosti). Pokud navíc platí, že r > s ≥ 1, konvergence v r-té střední hodnotě implikuje konvergenci v s-té střední hodnotě. Konvergence ve čtverci střední hodnoty tedy implikuje konvergenci ve střední hodnotě.

Stojí za to také zmínit, že pokud

 

pak

 

Vlastnosti

editovat

Za předpokladu, že pravděpodobnostní prostor je úplný:

  • Pokud   a  , pak   skoro jistě.
  • Pokud   a  , pak   skoro jistě.
  • Pokud   a  , pak   skoro jistě.
  • Pokud   a  , pak   (pro jakákoli reálná čísla a a b) a  .
  • Pokud   a  , pak   (pro jakákoli reálná čísla a a b) a  .
  • Pokud   a  , pak   (pro jakákoli reálná čísla a a b).
  • Žádné z výše uvedených tvrzení neplatí pro konvergenci v rozdělení.

Implikace mezi různými pojmy konvergence jsou uvedeny v částech o jednotlivých typech konvergence. Platí následující:

 

Tyto vlastnosti, spolu s několika dalšími speciálními případy, jsou shrnuty v následujícím seznamu:

  • Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti:[8][důkaz]
     
  • Konvergence v pravděpodobnosti implikuje existenci podposloupnosti   která konverguje skoro jistě:[9]
     
  • Konvergence v pravděpodobnosti implikuje konvergenci v rozdělení:[8][důkaz]
     
  • Konvergence v r-tém řádu střední hodnoty implikuje konvergenci v pravděpodobnosti:
     
  • Konvergence v r-tém řádu střední hodnoty implikuje konvergenci v nižším řádu střední hodnoty za předpokladu, že oba řády jsou větší nebo rovny jedné:
      za předpokladu, že rs ≥ 1.
  • Pokud Xn konverguje v rozdělení ke konstantě c, pak Xn konverguje také v pravděpodobnosti k c:[8][důkaz]
      za předpokladu, že c je konstanta.
  • Pokud Xn konverguje v rozdělení k X a rozdíl mezi Xn a Yn konverguje v pravděpodobnosti k nule, pak Yn také konverguje v rozdělení k X:[8][důkaz]
     
  • Pokud Xn konverguje v rozdělení k X a Yn konverguje v rozdělení ke konstantě c, pak sdružený vektor (XnYn) konverguje v rozdělení k (X, c): [8][důkaz]
      za předpokladu, že c je konstanta.
    Všimněte si, že podmínka, že Yn konverguje ke konstantě, je důležitá, pokud by Yn konvergovala k náhodné proměnné Y, pak bychom nebyli schopni dojít k závěru, že (XnYn) konverguje k (X, Y).
  • Pokud Xn konverguje v pravděpodobnosti k X a Yn konverguje v pravděpodobnosti k Y, pak sdružený vektor (XnYn) konverguje v pravděpodobnosti k (XY): [8][důkaz]
     
  • Pokud Xn konverguje v pravděpodobnosti k X, a, pokud   pro všechna n a nějaké b, pak Xn konverguje v r-té střední hodnotě k X pro všechna r ≥ 1. Jinými slovy, pokud Xn konverguje v pravděpodobnosti k X a všechny náhodné proměnné Xn jsou skoro jistě omezené výše a níže pak Xn konverguje k X také v jakékoli r-té střední hodnotě.[10]
  • Skoro jistá reprezentace. Konvergence v rozdělení obvykle neznamená konvergenci skoro jistě. Ale pro danou posloupnost {Xn}, která konverguje v rozdělení k X0 je vždy možné najít jiný pravděpodobnostní prostor (Ω, F, P) a náhodné proměnné {Yn, n = 0, 1, ...} na něm definované takové, že Yn jsou v rozdělení rovny Xn pro každé n ≥ 0, a Yn konverguje k Y0 skoro jistě.[11][12]
  • Pokud pro všechna ε > 0,
     
    pak říkáme, že Xn konverguje téměř úplně nebo téměř v pravděpodobnosti k X. Když Xn konverguje téměř úplně k X pak také konverguje skoro jistě k X. Jinými slovy, pokud Xn konverguje v pravděpodobnosti k X dostatečně rychle (tj. výše uvedenou posloupnost ocasních pravděpodobností lze sčítat pro všechna ε > 0), pak Xn také konverguje skoro jistě k X. To je přímým důsledkem Borelova–Cantelliho lemmatu.
  • Pokud Sn je suma n reálných nezávislých náhodných proměnných:
     
    pak Sn konverguje skoro jistě právě tehdy, když Sn konverguje v pravděpodobnosti.
  • Lebesgueova věta dává postačující podmínky, aby z konvergence skoro jistě plynula konvergence L1:

 

 

 

 

 

(Vzorec 5)

  • Nutná a postačující podmínka pro L1 konvergenci je   a aby posloupnost (Xn) byla stejnoměrně integrovatelná.

Poznámky

editovat
  1. Bickel et al. 1998, A.8, page 475.
  2. van der Vaart a Wellner 1996.
  3. Romano a Siegel 1985, Example 5.26.
  4. DURRETT, Rick. Probability: Theory and Examples. [s.l.]: [s.n.], 2010. S. 84. 
  5. van der Vaart 1998, Lemma 2.2.
  6. Dudley 2002, Chapter 9.2, page 287.
  7. Dudley 2002.
  8. a b c d e f van der Vaart 1998, Theorem 2.7.
  9. GUT, Allan, 2005. Probability: A graduate course. Theorem 3.4: Springer. ISBN 978-0-387-22833-4. 
  10. Grimmett a Stirzaker 2020, s. 354.
  11. van der Vaart 1998, Th.2.19.
  12. Fristedt a Gray 1997, Theorem 14.5.

Reference

editovat

V tomto článku byl použit překlad textu z článku Convergence of random variables na anglické Wikipedii.

Literatura

editovat

Související články

editovat

Externí odkazy

editovat