Mínimos cadrados lineais

Na Galipedia, a Wikipedia en galego.

Os mínimos cadrados lineais é unha técnica de optimización matemática para encontrar unha solución aproximada dun sistema de ecuacións lineais que non ten solución exacta. Isto acostuma ocorrer se o número de ecuacións (m) é maior que o número de variables (n). (Véxase tamén regresión lineal.)

Definición[editar | editar a fonte]

En termos matemáticos, queremos encontrar unha solución para a "ecuación"

A\mathbf{x} \approx \mathbf{b},

onde A é unha m-por-n matriz (con m > n) e x e b son vectores columna de dimensión n e m respectivamente. Quérese minimizar o cadrado da norma Euclídea dos residuos Axb, isto é, a cantidade

\|A\mathbf{x}-\mathbf{b}\|^2 = \left([A\mathbf{x}]_1-\mathbf{b}_1\right)^2
+\left([A\mathbf{x}]_2-\mathbf{b}_2\right)^2
+\dots+
\left([A\mathbf{x}]_n-\mathbf{b}_n\right)^2,

onde [Ax]i denota o i-ésimo compoñente do vector Ax. De aqui o nome "mínimos cadrados".

Dedúcese que o vector x que minimiza a expresión tamén resolve a ecuación normal

 A^T \! A \mathbf{x} = A^T \mathbf{b},

onde AT é a trasposta de A. Nótese que isto correspondese con un sistema de ecuacións lineais. A matriz ATA na parte esquerda é unha matriz cadrada, a cal é invertible se A ten rango completo (isto é, o rango de A é n). Nese caso, a solución do sistema de ecuacións lineais é única e ven dada por

 \mathbf{x} = (A^T\!A)^{-1} A^T \mathbf{b}.

A matriz (A^TA)^{-1}A^T chámase pseudo inversa de A. Non podemos utilizar a verdadeira matriz inversa de A (isto é, A^{-1}), xa que non existe porque A non é unha matriz cadrada (mn).

Computación[editar | editar a fonte]

A ecuación normal pode resolverse como calquera outro sistema de ecuacións, un método eficiente e numericamente estable pode obterse se primeiro se calcula a descomposición QR da matriz A. Entón, con A = QR, onde Q é unha matriz ortogonal e R é unha matriz triangular superior, a ecuación normal simplifícase do seguinte xeito

 R \mathbf{x} = Q^T \mathbf{b}.

Outra posibilidade é usar unha descomposición en autovectores. Se  A = U\Sigma V^* é a descomposición de autovalores de A, entón a pseudo inversa da matriz A é

 (A^T A)^{-1} A^T = V \Sigma^+ U^*, \,

onde Σ+ é a trasposta de Σ con cada entrada non cero substituída polo seu recíproco.

Aplicacións[editar | editar a fonte]

O método dos mínimos cadrados lineais pódese usar para atopar unha función afín RnR que mellor axusta un conxunto de datos dado (véxase o método xeral dos mínimos cadrados). É amplo e erróneo a idea de que a palabra lineal no termo regresión lineal refírese á natureza lineal da función axustada.

Por exemplo

y = \alpha + \beta x + \gamma x^2 + \varepsilon

é un modelo de regresión lineal, na parte dereita é unha combinación lineal dos parámetros α, β, e γ; máis aínda, as estimación de mínimos cadrados destes parámetros son lineais no vector de valores y observados. Neste caso, é útil pensar en x2 como unha nova variable independente, obtida modificando a variable orixinal x. Pero isto sóese chamar un axuste cuadrático dun axuste polinomial de segundo grao.

Escrebemos a función lineal que tentamos atopar como unha matriz 1-por-n xT (por tanto x é un vector columna, véxase tamén transformación lineal).

O conxunto de datos consiste en m (n + 1)-tuplas (x1, ..., xn, y). Pódense escribir nunha matriz m-por-n A e un vector b, onde toda tupla correspóndese con unha fila de A, a y que corresponde coa entrada en b.

Entón,

Axb

da a función x que buscamos.

Exemplo[editar | editar a fonte]

Considerar os puntos (0, 3), (2, 3), (4, 4), (−1, 2). Buscamos unha solución do tipo αx + β = y, isto é,

\begin{pmatrix}x & 1 \end{pmatrix}\begin{pmatrix} \alpha \\ \beta\end{pmatrix} = y

Podemos escribir a matriz A:

A=\begin{pmatrix}
0 & 1 \\
2 & 1 \\
4 & 1 \\
-1 & 1 \\ \end{pmatrix}
A^T=\begin{pmatrix}
0  & 2 & 4 & -1 \\
1  & 1 & 1 & 1 \end{pmatrix}
A^TA=\begin{pmatrix}
21 & 5 \\
5 & 4 \end{pmatrix}

e o vector b

\mathbf{b} = \begin{pmatrix}
3 \\
3 \\
4 \\ 
2 \end{pmatrix}

e entón

A^T\mathbf{b}=\begin{pmatrix}
20 \\
12 \end{pmatrix}

Por tanto, a ecuación normal é

A^TA\begin{pmatrix} \alpha \\ \beta \end{pmatrix} = A^T\mathbf{b}
\begin{pmatrix}
21 & 5 \\
5 & 4 \end{pmatrix} \begin{pmatrix} \alpha \\ \beta \end{pmatrix}=\begin{pmatrix}
20 \\
12 \end{pmatrix}

Entón,

(A^TA)^{-1}={1\over 59}\begin{pmatrix}
4 & -5 \\
-5 & 21 \end{pmatrix}

e

\begin{pmatrix} \alpha \\ \beta\end{pmatrix}={1\over 59}\begin{pmatrix}
4 & -5 \\
-5 & 21 \end{pmatrix}\begin{pmatrix}
20 \\
12 \end{pmatrix}=\begin{pmatrix}
20/59 \\
152/59 \end{pmatrix}

e a liña de mellor axuste é (20/59)x + 152/59 = y.

Véxase tamén[editar | editar a fonte]