Lineární regrese

matematická metoda používaná pro proložení souboru bodů v grafu přímkou

Lineární regrese je matematická metoda používaná pro proložení souboru bodů v grafu přímkou. O bodech reprezentujících měřená data se předpokládá, že jejich x-ové souřadnice jsou přesné, zatímco ypsilonové souřadnice mohou být zatíženy náhodnou chybou, přičemž předpokládáme, že závislost y na x lze graficky vyjádřit přímkou. Pokud měřené body proložíme přímkou, tak při odečítání z grafu bude mezi ypsilonovou hodnotou měřeného bodu a ypsilonovou hodnotou ležící na přímce odchylka. Podstatou lineární regrese je nalezení takové přímky, aby součet druhých mocnin těchto odchylek byl co nejmenší. Lineární regresi lze zobecnit i pro prokládání jinou funkcí než přímkou. Termín lineární regrese proto může označovat dvě částečně odlišné věci:

  • Lineární regrese představuje aproximaci daných hodnot přímkou metodou nejmenších čtverců. Pokud tuto přímku vyjádříme rovnicí , jedná se o nalezení optimálních hodnot koeficientů a .
Ilustrace lineární regrese
  • V obecnějším případě může lineární regrese znamenat aproximaci daných hodnot takovou funkcí , kterou lze vyjádřit jako lineární kombinaci funkcí f1 až fk: . Koeficienty se opět určují metodou nejmenších čtverců.

Homoskedasticita (homogenita ve varianci) dat je běžným jevem. Avšak její předpoklad může vést k přecenění[zdroj⁠?!] korelačního koeficientu. V jistých případech je tedy nutné uvážit heteroskedasticitu a použít váženou regresi.

Aproximace přímkou

editovat

Uvažujme funkční závislost:  

Součet čtverců pak bude vypadat takto:

 

kde   jsou souřadnice aproximovaných bodů.

Abychom našli minimum součtu (našli koeficienty  ,   tak, aby nalezená závislost vhodně aproximovala daná data), položíme obě parciální derivace součtu čtverců rovny nule:

 
 

Úpravami obdržíme soustavu:

 
 

Lze ukázat, že matice této soustavy je regulární pro všechna  , a má tedy právě jedno řešení. Obecně lze také ukázat, že v tomto bodě má součet čtverců minimum.

Jejím řešením pro konkrétní hodnoty   a   dostaneme konečně hledané hodnoty parametrů   a  .

 
 

Podobný postup lze aplikovat na jakýkoliv druh závislosti i více proměnných.

Pokud je každá hodnota zatížena jinou chybou   (např. měříme několika různými přístroji), je výhodné zahrnout i toto do aproximace. Označíme-li  , potom dostáváme

 
 

Přímka procházející počátkem

editovat

Pokud je požadováno, aby přímka procházela počátkem, hledá se aproximace  . Pro konstantu   lze odvodit následující vztah:

 

Máme-li závislost   a hodnoty jsou zatíženy chybami  , pak pro odhad parametru   platí   (je užito označení   a   značí chybu (směrodatnou odchylku)  -tého měření).

Dále pro rozptyl parametru   platí  .

Výpočet na počítači

editovat

Matlab umožňuje použít funkci P = POLYFIT(X, Y, 1), kde poslední parametr 1 udává, že hledáme koeficienty polynomu prvního řádu. [1] [2][nedostupný zdroj]

V Excelu a Calcu (LibreOffice a OpenOffice.org) lze koeficient a zjistit funkcí SLOPE(Y; X) [3] [4] a konstantu b funkcí INTERCEPT(Y; X) [5] [6]. Případně lze oba koeficienty zjistit maticově zadanou funkcí {=LINEST(Y;X)}. [7] [8] V českém Excelu se tato funkce nazývá LINREGRESE. [9]

Obecná lineární regrese

editovat
 
Ilustrace hledání optimální lineární kombinace. Zelená plocha colX představuje prostor, ve kterém se nachází všechny možné lineární kombinace f(X,β)=β1X12X2. Vektor y, představuje vektor hodnot, ke kterým se aproximace βX snaží přiblížit s nejmenší možnou chybou ε=y−βX, respektive druhou mocninou této chyby. Další popis viz kapitola Odvození: Kolmé vektory v článku Metoda nejmenších čtverců.

V obecnějším případě je možné danými hodnotami  ,   proložit funkci   sestavenou jako lineární kombinaci   funkcí  , kde   jsou libovolné (zpravidla lineárně nezávislé) funkce. Regrese se nazývá lineární, neboť funkční předpis   je lineární v proměnných  , tedy v koeficientech, které podrobujeme regresi. Jinými slovy, úlohu lze formulovat algebraicky jako (lineární) metoda nejmenších čtverců.

Lineární regresí je tedy i výše popsané proložení bodů přímkou ( ,  ,  ), ale také parabolou ( ,  ,  ,  ) nebo obecným polynomem. Poznamenejme, že s proložením množiny bodů parabolou, resp. obecným polynomem se můžeme v literatuře setkat pod pojmem kvadratická, resp. polynomická (či polynomiální) regrese.[1]

Koeficienty   jsou vypočteny metodou nejmenších čtverců, tedy tak, aby součet druhých mocnin odchylek modelu od daných dat, tj.

 

byl minimální.

1. způsob výpočtu: parciální derivace

editovat

Pro koeficienty, které minimalizují výše uvedené kritérium  , musí platit, že všechny první parciální derivace kritéria podle těchto koeficientů musí být rovny nule.

 

Dalšími úpravami se lze dostat k soustavě lineárních rovnic:

 

Kde jednotlivé prvky   a   znamenají:

 
 

Výše uvedenou soustavu rovnic lze řešit některou z metod uvedených v článku Soustava lineárních rovnic.

2. způsob výpočtu: přeurčená soustava rovnic

editovat

Jiným způsobem, jak vypočítat hledané koeficienty, je sestavení přeurčené soustavy rovnic a její vyřešení, opět metodou nejmenších čtverců, ale poněkud odlišným postupem. Přeurčená soustava rovnic může vypadat následovně:

 
 

Hledané koeficienty, umístěné ve vektoru  , lze, za předpokladu lineární nezávislosti sloupců matice  , vyjádřit vztahem:

 

Výpočet na počítači

editovat

Matlab umožňuje soustavu rovnic Ax=b řešit velmi snadno pomocí operátoru \ (zpětné lomítko), tedy x = A \ b. Ekvivalentní je funkce MLDIVIDE, tedy x = mldivide(A, b). [10]

V Excelu a Calcu (LibreOffice a OpenOffice.org) lze výše sestavenou přeurčenou soustavu rovnic řešit použitím maticové funkce {=LINEST(known_y's; known_x's; const)} [11] [12] (v českém Excelu LINREGRESE(pole_y; pole_x; b) [13]), kde první parametr known_y's (česky pole_y) je svislá oblast buněk obsahující složky vektoru b a druhý parametr known_x's (česky pole_x) je oblast obsahující prvky matice A. Výsledný vektor x se nachází ve vodorovné oblasti, přičemž jeho složky jsou umístěny v buňkách v opačném pořadí, tedy bk je v buňce nejvíce vlevo a b1 je nejvíce vpravo. Třetí parametr const (česky b) musí být v tomto příkladu roven nule, správné použití tedy je: {=LINEST(b; A; 0)}.

Ovšem nejjednodušším způsobem odhadu parametrů metodou nejmenších čtverců je použití ekonometrického softwaru jako např. STATA, Gretl, Eviews nebo R, kde existují obecné příkazy pro jejich výpočet. Zároveň i tyto programy umožňují jednoduše testovat předpoklady daného modelu.

Převod mocninné a exponenciální regrese na lineární

editovat

Na lineární problém lze transformovat i aproximaci mocninnou funkcí   nebo aproximaci funkcí exponenciální  .

Mocninná funkce

editovat

Problém, jak aproximovat původní data   křivkou   lze převést na podobný problém zlogaritmováním rovnice křivky.

 ,

přičemž místo   lze psát  .

 

Vznikl tak problém, jak aproximovat logaritmovaná původní data   přímkou  , který již problémem není. Koeficient   v mocninné funkci lze z koeficientu   vypočítat jako  .

Exponenciální funkce

editovat

Problém, jak aproximovat původní data   křivkou   lze převést na podobný problém zlogaritmováním rovnice křivky.

 ,

přičemž místo konstant   a   lze psát   a  .

 

Na rozdíl od aproximace mocninnou funkcí, stačí z původních dat logaritmovat pouze hodnoty   a řešit problém, jak aproximovat data   přímkou  . Koeficienty   a   v exponenciální funkci lze z koeficientů   a   vypočítat jako  ,  .

Reference

editovat
  1. Jiří Likeš, Josef Machek, Matematická statistika, SNTL Praha 1988, s. 165-169

Související články

editovat

Externí odkazy

editovat