Interpretação geométrica para o método dos mínimos quadráticos

Na matemática, sobretudo na análise numérica e álgebra linear, O método dos mínimos quadrados é um estratégia para lidar com sistemas lineares impossíveis Ax=b. O método adota a solução x que minimiza a soma do quadrado dos erros, chamado resíduo, isto é a norma L² de Ax-b.

O objetivo deste artigo é apresentar uma interpretação geométrica do método.

Falando em modo algébrico, estamos procurando um x que se aproxime ao máximo de y, em $\ Ax=y$.

Dada A, uma matriz com os coeficientes de equações lineares, com tamanho $\ m*n$, uma observação importante que podemos fazer é que independente do vetor x em questão, $\ Ax$ pertence ao espaço de colunas de A, de tamanho $\ R^{n}$. Pelo método dos mínimos quadráticos devemos procurar x que torna $\ Ax$ o ponto mais próximo de y no espaço das colunas de $\ A$. É claro que, se y está no espaço das Colunas da matriz $\ A$, então y é da forma $\ Ax$ para algum x e esse x é a solução dos mínimos quadráticos.

Interpretação Visual

Avaliando a imagem acima podemos ver que Ŷ$=proj_{ColunasA}*y$.
Como y está no espaço de colunas de $\ A$, a equação $\ Ax=y$ é possível se existe um X em $\ R^{m}$ tal que $\ AX=y$.
Como Ŷ é o ponto mais próximo de y, no espaço das colunas de $\ A$, um vetor X é uma solução de mínimos quadráticos para $\ Ax=y$ se e somente se X for solução de $\ A*X=$Ŷ.

Dito isto, sempre haverá uma solução para o sistema, pois da álgebra, sabemos que se há um subespaço w do $\ R^{n}$, então cada y em $\ R^{n}$ pode ser escrito de maneira única na forma $\ y=$ŷ$+z$, onde ŷ é a projeção de y sobre W e denotado por $\ proj_{w}*y$.

A projeção de um vetor tem a propriedade de que se a subtração $\ y-$Ŷ for ortogonal ao espaço Colunas de A, logo y-Ax é ortogonal a cada coluna de A. Como cada $\ a_{j}^{t}$ é uma linha de $\ A^{t}$, ortogonais entre si temos que: $\ A^{t}*A*x=A^{t}*y$.

Desta forma, o conjunto de soluções de mínimos quadráticos de $\ Ax=y$ é igual ao conjunto de soluções da equação $\ A^{t}*A*x=A^{t}*y.$

Referências

• Análise Numérica, Richard L. Burden e J. Douglas Faires
• Klein, Ivandro; Matsuoka, Marcelo Tomio; de Souza, Sergio Florêncio; Veronez, Mauricio Roberto. Ajustamento de Observações: Uma Interpretação Geométrica para o Método dos Mínimos Quadrados. Boletim de Ciências Geodésicas (Online), v. 17, n. 2, p. 272-294, 2011. http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1982-21702011000200007&nrm=iso&tlng=pt