Mostrar código-fonte de Método dos mínimos quadrados

O '''Método dos Mínimos Quadrados''' é uma técnica de [[optimização]] matemática que procura encontrar o melhor ajustamento para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre a curva ajustada e os dados (tais diferenças são chamadas resíduos).

Um requisito implícito para o método dos mínimos quadrados trabalhar é que os erros em cada medida sejam [[distribuição aleatória|distribuídos aleatoriamente]] com [[função densidade]] gaussiana, e que os resíduos sejam independentes. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados EMQ é o estimador [[viés| não-viesado]] de variância mínima linear na variável resposta.

A técnica dos mínimos quadrados é comumente usada em ajuste de curvas. Muitos outros problemas de [[optimização]] podem também ser expressos na forma dos mínimos quadrados, por minimização (energia) ou maximização (entropia).

O método dos mínimos quadrados ordinários é a forma de estimação mais amplamente utilizada na econometria. Consiste em um '''estimador''' que minimiza a soma dos quadrados dos resíduos da '''[[regressão]]''', de forma a maximizar o grau de ajuste do modelo.('''R²''')

==Formulação do Problema==

Suponha que o conjunto de dados consiste dos pontos (''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>) com ''i'' = 1, 2, ..., ''n''. Nós desejamos encontrar uma função ''f'' tal que
 

:<tex>f(x_i)\approx y_i.</tex>


Para se obter tal função, nós supomos que a função ''f'' é de uma forma particular contendo alguns parâmetros que necessitam ser determinados. Por exemplo, supor que ela é [[função quadrática|quadrática]], significa que ''f''(''x'') = ''ax''² + ''bx'' + ''c'', onde ''a'', ''b'' e ''c'' não são conhecidos. Nós agora procuramos os valores de ''a'', ''b'' e ''c'' que minimizam a soma dos quadrados dos resíduos:


:<tex> S = \sum_{i=1}^n (y_i - f(x_i))^2. </tex>


Isto explica o nome ''mínimos quadrados''. Este método é devido ao ilustre matemático alemão Johann Carl Friedrich Gauss (1777-1855), que o descreveu aos dezoito anos (1795). Mais tarde, Adrien-Marie Legendre (1805) introduziu contribuições ao método em seu Nouvelles méthodes pour la détermination des orbites des comètes.

==Resolvendo o problema dos mínimos quadrados==
No exemplo acima, ''f'' é linear nos parâmetros ''a'', ''b'' e ''c''. O problema simplifica consideravelmente neste caso e reduz-se essencialmente a um sistema de equações lineares (mínimos quadrados lineares).

O problema é mais difícil se ''f'' não é linear nos parâmetros a serem determinados. Nós então necessitamos resolver um problema de optimização geral. Algum algoritmo para resolver tal problema, como método de Newton e gradiente descendente, pode ser usado. Outra possibilidade é aplicar um algoritmo que foi desenvolvido especialmente para cuidar do problema dos mínimos quadrados, tais como o algoritmo de Gauss-Newton ou o algoritmo Levenberg-Marquardt.

==Ver também==
*[[Mínimos quadrados generalizados]] - MQG
*[[Máxima verosimilhança]]
*[[Método dos momentos generalizados]] - MMG

==Links relevantes==
*{{en}} http://www.physics.csbsju.edu/stats/least_squares.html
*{{en}} http://www.zunzun.com
*{{en}} http://www.orbitals.com/self/least/least.htm



{{Wikipedia|Método dos mínimos quadrados}}

[[Categoria:Estatística]]