Metoda nejmenších čtverců: Porovnání verzí

takový, že <math>\bold b\not\in\mathcal{R}(\bold A)</math> (jinými slovy, neexistuje žádný vektor <math>\bold x</math> takový, aby byla nastala rovnost); symbol <math>\mathcal{R}(\bold A)</math> značí [[obor hodnot]] matice <math>\bold A</math>, tedy [[lineární obal]] jejichjejích sloupců. Metoda nejmenších čtverců hledá vektor <math>\bold x_{LS}</math> (LS je zkratkou anglického ''least squares'') minimalizujícísplňující

: <math>\|\bold A\bold x_{LS}-\bold b\|_2 = \min_{\bold x\in\mathbb{R}^m} \|\bold A\bold x-\bold b\|_2,</math>

nebo ekvivalentně, opravu pravé strany <math>\bold e_{LS}</math> minimalizujícísplňující

: <math>\|\bold e_{LS}\|_2 = \min_{\bold e\in\mathbb{R}^n} \|\bold e\|_2, \quad \text{kde} \quad (\bold b+\bold e)\in\mathcal{R}(\bold A).</math>

Zřejmě <math>\bold A \bold x_{LS} = \bold b + \bold e_{LS}</math> a oprava pravé strany <math>\bold e = \bold A \bold x - \bold b</math> je residuum odpovídající vektoru <math>\bold x</math>. Označíme-li <math>\bold e = [e_1,\ldots,e_n]^T</math> jednotlivé komponenty vektoru <math>\bold e</math>, pak z definice [[Eukleidovská norma|Eukleidovské normy]] přímo plyne, že minimalizujeme

\|\bold A\bold x - \bold b\|_2^2 = \|\bold e\|_2^2=\sum_{j=1}^n e_j^2.</math>

Takže minimalizujeme součet čtverců jednotlivých komponent vektoru <math>\bold e</math>, tj. odchylek jednotlivých komponent pravé strany <math>\bold b</math>. Nalezení vztahu pro vektor <math>\bold x_{LS}</math> splňující podmínku minimality, můžeme provést buď pomocí derivací (hledáním lokálního extrému) nebo přímo pomocí Pythagorovy věty.

'''Minimalizace kvadratického funkcionálu:''' Residuum <math>\bold e = \bold A \bold x - \bold b</math> je vektor, jehož normu minimalizovatminimalizujeme. Zřejmě

\bold A^T\bold e = 0.</math>

zZ předpokladu lineární nezávislosti sloupců přímo plyne, že řešení je jednoznačné.