Mínimos cadrados: Diferenzas entre revisións
m bot Modificado: af:Kleinstekwadratemetode; cambios estética |
arranxiños |
||
Liña 1: | Liña 1: | ||
Os '''mínimos cadrados''' é unha técnica [[matemática]] de [[optimización]] que intenta encontrar o "mellor axuste" para un conxunto de datos mediante a minimización da suma dos cadrados das diferenzas ordinais (chamadas [[residuos]]) entre a [[axuste de funcións|función axustada]] e os datos. |
Os '''mínimos cadrados''' é unha técnica [[matemática]] de [[optimización]] que intenta encontrar o "mellor axuste" para un conxunto de datos mediante a minimización da suma dos cadrados das diferenzas ordinais (chamadas [[residuos]]) entre a [[axuste de funcións|función axustada]] e os datos. |
||
Un requisito implícito do método dos mínimos cadrados para que funcione é que os erros en cada medida deben estar |
Un requisito implícito do método dos mínimos cadrados para que funcione é que os erros en cada medida deben estar distribuídos aleatoriamente. O [[Teorema Gauss-Markov]] proba que os estimadores de mínimos cadrados son [[insesgado]]s e que os datos mostrais non teñen que seguir por exemplo unha [[distribución normal]]. É tamén importante que os datos recollidos estean ben escollidos, para permitir a visibilidade nas variables a resolver (dando maior peso a datos concretos, ver [[Mínimos cadrados ponderados]]). |
||
A técnica dos mínimos cadrados é utilizada normalmente en axustes de curvas. Moitos outros problemas de optimización poden ser expresados mediante mínimos cadrados, tanto minimizando [[enerxía]] como maximizando [[entropía]]. |
A técnica dos mínimos cadrados é utilizada normalmente en axustes de curvas. Moitos outros problemas de optimización poden ser expresados mediante mínimos cadrados, tanto minimizando [[enerxía]] como maximizando [[entropía]]. |
||
Liña 19: | Liña 19: | ||
No exemplo anterior, ''f'' é [[función lineal|lineal]] nos parámetros ''a'', ''b'' e ''c''. O problema simplifícase considerablemente neste caso e esencialmente redúcese a un [[sistema lineal de ecuacións]]. Isto explícase no artigo sobre os [[mínimos cadrados lineais]]. |
No exemplo anterior, ''f'' é [[función lineal|lineal]] nos parámetros ''a'', ''b'' e ''c''. O problema simplifícase considerablemente neste caso e esencialmente redúcese a un [[sistema lineal de ecuacións]]. Isto explícase no artigo sobre os [[mínimos cadrados lineais]]. |
||
O problema é moito máis |
O problema é moito máis difícil se ''f'' nón é lineal nos parámetros. Entón temos que resolver un problema xeral (non condicionado) de [[optimización]]. Calquera algoritmo para ditos problemas, como o [[Método de Newton]] e [[gradiente descendente]], pode ser usado. Outra posibilidade e aplicar un algoritmo que sexa desenrolado especificamente para tratar problemas de mínimos cadrados, por exemplo o [[Algoritmo Gauss-Newton]] ou o [[Algoritmo Levenberg-Marquardt]]. |
||
== Mínimos cadrados e análise de regresión == |
== Mínimos cadrados e análise de regresión == |
||
Na [[análise de regresión]], |
Na [[análise de regresión]], substituímos a relación |
||
:<math>f(x_i)\approx y_i</math> |
:<math>f(x_i)\approx y_i</math> |
||
Liña 31: | Liña 31: | ||
:<math>f(x_i) = y_i + \varepsilon_i,</math> |
:<math>f(x_i) = y_i + \varepsilon_i,</math> |
||
onde o termo de |
onde o termo de ruído ε é unha [[variable aleatoria]] con media cero. Téñase en conta que estamos asumindo que os valores <math>x</math> son exactos, e que todo o error está nos valores <math>y</math>. De novo, distinguimos entre [[regresión lineal]], que en tal caso a función ''f'' é lineal nos parámetros a ser determinados (p.e., ''f''(''x'') = ''ax''<sup>2</sup> + ''bx'' + ''c''), e [[regresión non lineal]]. Como antes, a regresión lineal é moito máis fácil que a non lineal. (Téndese a pensar que a razón do nome ''regresión lineal'' é que o gráfico da función ''f''(''x'') = ''ax'' + ''b'' é unha liña. Axustar unha curva ''f''(''x'') = ''ax''<sup>2</sup> + ''bx'' + ''c'', estimando ''a'', ''b'', e ''c'' mediante mínimos cadrados, é un tipo de regresión ''lineal'' porque o vector de estimacións por mínimos cadrados de ''a'', ''b'', e ''c'' é unha [[transformación lineal]] do vector cos seguintes compoñentes |
||
''f''(''x''<sub>''i''</sub>) + ε<sub>''i''</sub>.) |
''f''(''x''<sub>''i''</sub>) + ε<sub>''i''</sub>.) |
||
Os valores estimados por mínimos cadrados minimizan ''S''. O [[Teorema Gauss-Markov]] demostra que as estimacións de mínimos cadrados son óptimas se collemos ''f''(''x'') = ''ax'' + ''b'' sendo ''a'' e ''b'' os parámetros a determinar e os termos de |
Os valores estimados por mínimos cadrados minimizan ''S''. O [[Teorema Gauss-Markov]] demostra que as estimacións de mínimos cadrados son óptimas se collemos ''f''(''x'') = ''ax'' + ''b'' sendo ''a'' e ''b'' os parámetros a determinar e os termos de ruído ε son independentes e identicamente distribuídos. |
||
== Véxase tamén == |
== Véxase tamén == |
||
* [[regresión lineal]] |
* [[regresión lineal]]. |
||
* [[mínimos cadrados ponderados]] |
* [[mínimos cadrados ponderados]]. |
||
* [[análise de regresión]] |
* [[análise de regresión]]. |
||
[[Categoría:Optimización]] |
[[Categoría:Optimización]] |
Revisión como estaba o 16 de xaneiro de 2011 ás 12:47
Os mínimos cadrados é unha técnica matemática de optimización que intenta encontrar o "mellor axuste" para un conxunto de datos mediante a minimización da suma dos cadrados das diferenzas ordinais (chamadas residuos) entre a función axustada e os datos.
Un requisito implícito do método dos mínimos cadrados para que funcione é que os erros en cada medida deben estar distribuídos aleatoriamente. O Teorema Gauss-Markov proba que os estimadores de mínimos cadrados son insesgados e que os datos mostrais non teñen que seguir por exemplo unha distribución normal. É tamén importante que os datos recollidos estean ben escollidos, para permitir a visibilidade nas variables a resolver (dando maior peso a datos concretos, ver Mínimos cadrados ponderados).
A técnica dos mínimos cadrados é utilizada normalmente en axustes de curvas. Moitos outros problemas de optimización poden ser expresados mediante mínimos cadrados, tanto minimizando enerxía como maximizando entropía.
Formulación do problema
Supóñase que o conxunto de datos consite nos puntos (xi, yi) con i = 1, 2, ..., n. Queremos obter unha función f tal que
Para obter este obxectivo, supomos que a función f é dunha particular forma que contén algúns parámetros que necesitamos determinar. Por exemplo, supoñamos que é unha función cadrática, f(x) = ax2 + bx + c, onde a, b e c non son coñecidos. Agora buscamos os valores de a, b e c que minimizan a suma dos cadrados dos residuos:
Isto explica o nome mínimos cadrados.
Resolvendo o problema dos mínimos cadrados
No exemplo anterior, f é lineal nos parámetros a, b e c. O problema simplifícase considerablemente neste caso e esencialmente redúcese a un sistema lineal de ecuacións. Isto explícase no artigo sobre os mínimos cadrados lineais.
O problema é moito máis difícil se f nón é lineal nos parámetros. Entón temos que resolver un problema xeral (non condicionado) de optimización. Calquera algoritmo para ditos problemas, como o Método de Newton e gradiente descendente, pode ser usado. Outra posibilidade e aplicar un algoritmo que sexa desenrolado especificamente para tratar problemas de mínimos cadrados, por exemplo o Algoritmo Gauss-Newton ou o Algoritmo Levenberg-Marquardt.
Mínimos cadrados e análise de regresión
Na análise de regresión, substituímos a relación
por
onde o termo de ruído ε é unha variable aleatoria con media cero. Téñase en conta que estamos asumindo que os valores son exactos, e que todo o error está nos valores . De novo, distinguimos entre regresión lineal, que en tal caso a función f é lineal nos parámetros a ser determinados (p.e., f(x) = ax2 + bx + c), e regresión non lineal. Como antes, a regresión lineal é moito máis fácil que a non lineal. (Téndese a pensar que a razón do nome regresión lineal é que o gráfico da función f(x) = ax + b é unha liña. Axustar unha curva f(x) = ax2 + bx + c, estimando a, b, e c mediante mínimos cadrados, é un tipo de regresión lineal porque o vector de estimacións por mínimos cadrados de a, b, e c é unha transformación lineal do vector cos seguintes compoñentes f(xi) + εi.)
Os valores estimados por mínimos cadrados minimizan S. O Teorema Gauss-Markov demostra que as estimacións de mínimos cadrados son óptimas se collemos f(x) = ax + b sendo a e b os parámetros a determinar e os termos de ruído ε son independentes e identicamente distribuídos.