Diferenças entre edições de "Método dos mínimos quadrados"

Da Thinkfn
Linha 1: Linha 1:
−
O '''Método dos Mínimos Quadrados''' é uma técnica de [[optimização]] matemática que procura encontrar o melhor ajustamento para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre a [[curva]] ajustada e os dados (tais diferenças são chamadas [[resíduos]]).
+
O '''Método dos Mínimos Quadrados''' é uma técnica de [[optimização]] matemática que procura encontrar o melhor ajustamento para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre a curva ajustada e os dados (tais diferenças são chamadas resíduos).
  
−
Um [[requisito]] [[implícito]] para o [[método dos mínimos quadrados]] trabalhar é que os [[erros]] em cada medida sejam [[distribuição aleatória|distribuídos aleatoriamente]] com [[função densidade]] [[gaussiana]], e que os resíduos sejam [[independentes]]. O [[Teorema Gauss-Markov]] garante (embora indiretamente) que o [[estimador]] de mínimos quadrados [[EMQ]] é o estimador [[viés| não-viesado]] de [[desigualdade de cramèr-rao|variância mínima]] [[linear]] na variável resposta.
+
Um requisito implícito para o método dos mínimos quadrados trabalhar é que os erros em cada medida sejam [[distribuição aleatória|distribuídos aleatoriamente]] com [[função densidade]] gaussiana, e que os resíduos sejam independentes. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados EMQ é o estimador [[viés| não-viesado]] de variância mínima linear na variável resposta.
  
−
A técnica dos mínimos quadrados é comumente usada em ajuste de curvas. Muitos outros problemas de [[otimização]] podem também ser expressos na forma dos mínimos quadrados, por [[minimização]] ([[energia]]) ou [[maximização]] ([[entropia]]).
+
A técnica dos mínimos quadrados é comumente usada em ajuste de curvas. Muitos outros problemas de [[optimização]] podem também ser expressos na forma dos mínimos quadrados, por minimização (energia) ou maximização (entropia).
  
−
O método dos mínimos quadrados ordinários é a forma de estimação mais amplamente utilizada na econometria. Consiste em um '''[[estimador]]''' que minimiza a soma dos quadrados dos resíduos da '''[[regressão]]''', de forma a maximizar o grau de ajuste do modelo.('''[[R²]]''')
+
O método dos mínimos quadrados ordinários é a forma de estimação mais amplamente utilizada na econometria. Consiste em um '''estimador''' que minimiza a soma dos quadrados dos resíduos da '''[[regressão]]''', de forma a maximizar o grau de ajuste do modelo.('''R²''')
  
 
==Formulação do Problema==
 
==Formulação do Problema==
Linha 11: Linha 11:
 
Suponha que o conjunto de dados consiste dos pontos (''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>) com ''i'' = 1, 2, ..., ''n''. Nós desejamos encontrar uma função ''f'' tal que
 
Suponha que o conjunto de dados consiste dos pontos (''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>) com ''i'' = 1, 2, ..., ''n''. Nós desejamos encontrar uma função ''f'' tal que
 
   
 
   
 +
 
:<tex>f(x_i)\approx y_i.</tex>
 
:<tex>f(x_i)\approx y_i.</tex>
  
−
Para se obter tal função, nós supomos que a função ''f'' é de uma forma particular contendo alguns parâmetros que necessitam ser determinados. Por exemplo, supor que ela é [[função quadrática|quadrática]], significa que ''f''(''x'') = ''ax''² + ''bx'' + ''c'', onde ''a'', ''b'' e ''c'' não são conhecidos. Nós agora procuramos os valores de ''a'', ''b'' e ''c'' que minimizam a soma dos quadrados dos [[resíduo|resíduos]]:
+
 
 +
Para se obter tal função, nós supomos que a função ''f'' é de uma forma particular contendo alguns parâmetros que necessitam ser determinados. Por exemplo, supor que ela é [[função quadrática|quadrática]], significa que ''f''(''x'') = ''ax''² + ''bx'' + ''c'', onde ''a'', ''b'' e ''c'' não são conhecidos. Nós agora procuramos os valores de ''a'', ''b'' e ''c'' que minimizam a soma dos quadrados dos resíduos:
 +
 
  
 
:<tex> S = \sum_{i=1}^n (y_i - f(x_i))^2. </tex>
 
:<tex> S = \sum_{i=1}^n (y_i - f(x_i))^2. </tex>
 +
  
 
Isto explica o nome ''mínimos quadrados''. Este método é devido ao ilustre matemático alemão Johann Carl Friedrich Gauss (1777-1855), que o descreveu aos dezoito anos (1795). Mais tarde, Adrien-Marie Legendre (1805) introduziu contribuições ao método em seu Nouvelles méthodes pour la détermination des orbites des comètes.
 
Isto explica o nome ''mínimos quadrados''. Este método é devido ao ilustre matemático alemão Johann Carl Friedrich Gauss (1777-1855), que o descreveu aos dezoito anos (1795). Mais tarde, Adrien-Marie Legendre (1805) introduziu contribuições ao método em seu Nouvelles méthodes pour la détermination des orbites des comètes.
  
 
==Resolvendo o problema dos mínimos quadrados==
 
==Resolvendo o problema dos mínimos quadrados==
 +
No exemplo acima, ''f'' é linear nos parâmetros ''a'', ''b'' e ''c''. O problema simplifica consideravelmente neste caso e reduz-se essencialmente a um sistema de equações lineares (mínimos quadrados lineares).
  
−
No exemplo acima, ''f'' é [[função linear|linear]] nos parâmetros ''a'', ''b'' e ''c''. O problema simplifica consideravelmente neste caso e reduz-se essencialmente a um [[sistema de equações lineares]] ([[mínimos quadrados lineares]]).
+
O problema é mais difícil se ''f'' não é linear nos parâmetros a serem determinados. Nós então necessitamos resolver um problema de optimização geral. Algum algoritmo para resolver tal problema, como método de Newton e gradiente descendente, pode ser usado. Outra possibilidade é aplicar um algoritmo que foi desenvolvido especialmente para cuidar do problema dos mínimos quadrados, tais como o algoritmo de Gauss-Newton ou o algoritmo Levenberg-Marquardt.
−
 
+
−
O problema é mais difícil se ''f'' não é linear nos parâmetros a serem determinados. Nós então necessitamos resolver um problema de [[otimização]] geral. Algum [[algoritmo]] para resolver tal problema, como [[método de Newton]] e [[gradiente descendente]], pode ser usado. Outra possibilidade é aplicar um [[algoritmo]] que foi desenvolvido especialmente para cuidar do problema dos mínimos quadrados, tais como o [[algoritmo de Gauss-Newton]] ou o [[algoritmo Levenberg-Marquardt]].
+
−
 
+
−
==Mínimos quadrados e análise de regressão==
+
−
 
+
−
<!--BLOCO A TRADUDIR A PARTIR DAQUI
+
−
 
+
−
==Least squares and regression analysis==
+
−
 
+
−
In [[regression analysis]], one replaces the relation
+
−
 
+
−
:<tex>f(x_i)\approx y_i</tex>
+
−
 
+
−
by
+
−
 
+
−
:<tex>f(x_i) = y_i + \varepsilon_i,</tex>
+
−
 
+
−
where the noise term &epsilon; is a [[random variable]] with mean zero. Note that we are assuming that the <tex>x</tex> values are exact, and all the error is in the <tex>y</tex> values. Again, we distinguish between [[linear regression]], in which case the function ''f'' is linear in the parameters to be determined (e.g., ''f''(''x'') = ''ax''<sup>2</sup> + ''bx'' + ''c''), and [[nonlinear regression]]. As before, linear regression is much simpler than nonlinear regression.  (It is tempting to think that the reason for the name ''linear regression'' is that the graph of the function ''f''(''x'') = ''ax'' + ''b'' is a line.  Fitting a curve ''f''(''x'') = ''ax''<sup>2</sup> + ''bx'' + ''c'', estimating ''a'', ''b'', and ''c'' by least squares, is an instance of ''linear'' regression because the vector of least-square estimates of ''a'', ''b'', and ''c'' is a [[linear transformation]] of the vector whose components are ''f''(''x''<sub>''i''</sub>)&nbsp;+&nbsp;&epsilon;<sub>''i''</sub>.)
+
−
 
+
−
One frequently estimates the parameters (''a'', ''b'' and ''c'' in the above example) by least squares: those values are taken that minimize ''S''. The [[Gauss-Markov theorem]] states that the least squares estimates are optimal in a certain sense, if we take ''f''(''x'') = ''ax'' + ''b'' with ''a'' and ''b'' to be determined and the noise terms &epsilon; are independent and identically distributed (see the article for a more precise statement and less restrictive conditions on the noise terms).
+
−
 
+
−
==See also==
+
−
 
+
−
* [[linear regression]]
+
−
* [[weighted least squares]]
+
−
* [[regression analysis]]
+
−
* [[total least squares]] or [[errors-in-variables model]]
+
−
* [[isotonic regression]]
+
−
 
+
−
FIM DO BLOCO A TRADUZIR-->
+
  
−
=={{Ver também}}==
+
==Ver também==
 
*[[Mínimos quadrados generalizados]] - MQG
 
*[[Mínimos quadrados generalizados]] - MQG
 
*[[Máxima verosimilhança]]
 
*[[Máxima verosimilhança]]
 
*[[Método dos momentos generalizados]] - MMG
 
*[[Método dos momentos generalizados]] - MMG
  
−
=={{Ligações externas}}==
+
==Links relevantes==
 
*{{en}} http://www.physics.csbsju.edu/stats/least_squares.html
 
*{{en}} http://www.physics.csbsju.edu/stats/least_squares.html
 
*{{en}} http://www.zunzun.com
 
*{{en}} http://www.zunzun.com
Linha 64: Linha 39:
  
  
−
{{Wikipedia|Método_dos_mínimos_quadrados}}
+
{{Wikipedia|Método dos mínimos quadrados}}
  
 
[[Categoria:Álgebra linear]]
 
[[Categoria:Álgebra linear]]
 
[[Categoria:Estatística]]
 
[[Categoria:Estatística]]

Revisão das 16h49min de 26 de novembro de 2008

O Método dos Mínimos Quadrados é uma técnica de optimização matemática que procura encontrar o melhor ajustamento para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre a curva ajustada e os dados (tais diferenças são chamadas resíduos).

Um requisito implícito para o método dos mínimos quadrados trabalhar é que os erros em cada medida sejam distribuídos aleatoriamente com função densidade gaussiana, e que os resíduos sejam independentes. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados EMQ é o estimador não-viesado de variância mínima linear na variável resposta.

A técnica dos mínimos quadrados é comumente usada em ajuste de curvas. Muitos outros problemas de optimização podem também ser expressos na forma dos mínimos quadrados, por minimização (energia) ou maximização (entropia).

O método dos mínimos quadrados ordinários é a forma de estimação mais amplamente utilizada na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resíduos da regressão, de forma a maximizar o grau de ajuste do modelo.(R²)

Formulação do Problema

Suponha que o conjunto de dados consiste dos pontos (xi, yi) com i = 1, 2, ..., n. Nós desejamos encontrar uma função f tal que


f(x_i)\approx y_i.


Para se obter tal função, nós supomos que a função f é de uma forma particular contendo alguns parâmetros que necessitam ser determinados. Por exemplo, supor que ela é quadrática, significa que f(x) = ax² + bx + c, onde a, b e c não são conhecidos. Nós agora procuramos os valores de a, b e c que minimizam a soma dos quadrados dos resíduos:


S = \sum_{i=1}^n (y_i - f(x_i))^2.


Isto explica o nome mínimos quadrados. Este método é devido ao ilustre matemático alemão Johann Carl Friedrich Gauss (1777-1855), que o descreveu aos dezoito anos (1795). Mais tarde, Adrien-Marie Legendre (1805) introduziu contribuições ao método em seu Nouvelles méthodes pour la détermination des orbites des comètes.

Resolvendo o problema dos mínimos quadrados

No exemplo acima, f é linear nos parâmetros a, b e c. O problema simplifica consideravelmente neste caso e reduz-se essencialmente a um sistema de equações lineares (mínimos quadrados lineares).

O problema é mais difícil se f não é linear nos parâmetros a serem determinados. Nós então necessitamos resolver um problema de optimização geral. Algum algoritmo para resolver tal problema, como método de Newton e gradiente descendente, pode ser usado. Outra possibilidade é aplicar um algoritmo que foi desenvolvido especialmente para cuidar do problema dos mínimos quadrados, tais como o algoritmo de Gauss-Newton ou o algoritmo Levenberg-Marquardt.

Ver também

Links relevantes


Smallwikipedialogo.png

Esta página usa conteúdo da Wikipedia. O artigo original estava em Método dos mínimos quadrados. Tal como o Think Finance neste artigo, o texto da Wikipedia está disponível segundo a GNU Free Documentation License.

Obtida de "https://www.thinkfnwiki.com/wiki/index.php?title=Método_dos_mínimos_quadrados&oldid=14891"