Método de mínimos cuadrados

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 3 de junio de 2022; las comprobaciones requieren 4 ediciones .

El método de mínimos cuadrados (LSM) es un método matemático utilizado para resolver varios problemas, basado en minimizar la suma de cuadrados de las desviaciones de algunas funciones a partir de datos de entrada experimentales. Se puede usar para "resolver" sistemas de ecuaciones sobredeterminados (cuando el número de ecuaciones excede el número de incógnitas), para encontrar una solución en el caso de sistemas de ecuaciones no lineales ordinarios (no sobredeterminados), para aproximar los valores de los puntos. de una función determinada. OLS es uno de los métodos básicos de análisis de regresión para estimar parámetros desconocidos de modelos de regresión a partir de datos de muestra.

Historia

Hasta principios del siglo XIX. los científicos no tenían ciertas reglas para resolver un sistema de ecuaciones en el que el número de incógnitas es menor que el número de ecuaciones; Hasta ese momento, se usaban métodos particulares, dependiendo del tipo de ecuaciones y del ingenio de las calculadoras, y por lo tanto, diferentes calculadoras, partiendo de los mismos datos de observación, llegaban a diferentes conclusiones. A Gauss (1795) se le atribuye la primera aplicación del método, y Legendre (1805) lo descubrió y publicó de forma independiente con su nombre moderno (en francés: Méthode des moindres quarrés ) [1] . Laplace conectó el método con la teoría de la probabilidad , y el matemático estadounidense Adrian (1808) consideró sus aplicaciones probabilísticas [2] . El método está muy extendido y mejorado por investigaciones adicionales de Encke , Bessel , Hansen y otros.

Los trabajos de A. A. Markov a principios del siglo XX permitieron incluir el método de los mínimos cuadrados en la teoría de la estimación de la estadística matemática, en la que forma parte importante y natural. A través de los esfuerzos de Y. Neiman, F. David, A. Aitken, S. Rao, se obtuvieron muchos resultados importantes en esta área [3] .

La esencia del método de los mínimos cuadrados

Sea , un conjunto de datos experimentales escalares, , un conjunto de datos experimentales vectoriales, y se supone que depende de . $y_{yo}$ ${\ estilo de visualización i = 1,... n}$ $x_{yo}$ ${\ estilo de visualización i = 1,... n}$ $y$ $X$

Se introduce alguna función escalar (en el caso más simple, lineal) , que está determinada por el vector de parámetros desconocidos . $f(x,{\boldsymbol {\beta)))$ $\beta$

La tarea es encontrar un vector tal que la totalidad de los errores sea mínima en algún sentido. $\beta$ $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta )))$

Según el método de los mínimos cuadrados, la solución a este problema es el vector , que minimiza la función $\beta$

S({\boldsymbol {\beta)))=\sum _{i=1}^{n}(y_{i}-f(x_{i},{\boldsymbol {\beta)))) ^{2}.

En el caso más simple , y luego el resultado de los mínimos cuadrados será la media aritmética de los datos de entrada. ${\ estilo de visualización f (x) = \ beta}$

La ventaja de LSM sobre la minimización de otros tipos de errores es que si es diferenciable con respecto a , entonces también es diferenciable. Igualar las derivadas parciales a cero reduce el problema a resolver un sistema de ecuaciones, y si depende de forma lineal, entonces el sistema de ecuaciones será lineal. $f(x,{\boldsymbol {\beta)))$ ${\ estilo de visualización {\ símbolo de negrita {\ beta}}}$ $S({\boldsymbol {\beta)))$ $f(x,{\boldsymbol {\beta)))$ ${\ estilo de visualización {\ símbolo de negrita {\ beta}}}$

Un ejemplo es un sistema de ecuaciones lineales

En particular, el método de los mínimos cuadrados se puede utilizar para "resolver" el sistema de ecuaciones lineales

hacha=b

donde es una matriz rectangular de tamaño (es decir, el número de filas de la matriz A es mayor que el número de variables que se buscan). $A$ $m\veces n,m>n$

Tal sistema de ecuaciones generalmente no tiene solución. Por lo tanto, este sistema puede "resolverse" solo en el sentido de elegir dicho vector para minimizar la "distancia" entre los vectores y . Para ello se puede aplicar el criterio de minimización de la suma de las diferencias al cuadrado de las partes izquierda y derecha de las ecuaciones del sistema, es decir, . Es fácil demostrar que la solución de este problema de minimización conduce a la solución del siguiente sistema de ecuaciones $X$ $Hacha$ $b$ ${\displaystyle (Ax-b)^{T}(Ax-b)\rightarrow \min _{x))$

A^{T}Ax=A^{T}b\Flecha derecha x=(A^{T}A)^{{-1}}A^{T}b

Usando el operador de pseudo-inversión , la solución se puede reescribir así:

x=A^{+}b

donde es la matriz pseudoinversa para . $un ^ +$ $A$

Este problema también se puede "resolver" utilizando los llamados mínimos cuadrados ponderados (ver más abajo), cuando diferentes ecuaciones del sistema reciben diferentes pesos de consideraciones teóricas.

A. A. Markov y A. N. Kolmogorov dieron una justificación estricta y la determinación de los límites de aplicabilidad significativa del método .

MCO en análisis de regresión (aproximación de datos)

Que haya valores de alguna variable (pueden ser los resultados de observaciones, experimentos, etc.) y variables correspondientes . La tarea es aproximar la relación entre y por alguna función conocida hasta algunos parámetros desconocidos , es decir, de hecho, encontrar los mejores valores de los parámetros que acerquen los valores lo más posible a los valores reales . De hecho, esto se reduce al caso de "resolver" un sistema de ecuaciones sobredeterminado con respecto a : $norte$ $y$ $X$ $y$ $X$ $f(x,b)$ $b$ $b$ $f(x,b)$ $y$ $b$

$f(x_{t},b)=y_{t},t=1,\ldots,n$ .

En el análisis de regresión, y en particular en la econometría, se utilizan modelos probabilísticos de relación entre variables.

$y_{t}=f(x_{t},b)+\varepsilon _{t}$ ,

donde están los llamados errores aleatorios del modelo. $\varepsilon _{t}$

En consecuencia, las desviaciones de los valores observados de los valores del modelo ya se asumen en el propio modelo. La esencia de LSM (usual, clásico) es encontrar tales parámetros bajo los cuales la suma de las desviaciones al cuadrado (errores, para los modelos de regresión a menudo se denominan residuos de regresión ) será mínima: $y$ $f(x,b)$ $b$ $e_{t}$

{\sombrero b}_{{OLS}}=\arg \min _{{b}}RSS(b)

donde esta el ingles La Suma Residual de Cuadrados [4] se define como: $RSS$

RSS(b)=e^{T}e=\sum_{{t=1}}^{n}e_{t}^{2}=\sum_{{t=1}}^{n}( y_{t}-f(x_{t},b))^{2}

En el caso general, este problema se puede resolver mediante métodos numéricos de optimización (minimización). En este caso, hablan de mínimos cuadrados no lineales (NLS o NLLS - English Non-Linear Least Squares ). En muchos casos, se puede obtener una solución analítica. Para resolver el problema de minimización es necesario encontrar los puntos estacionarios de la función derivándola con respecto a parámetros desconocidos , igualando las derivadas a cero y resolviendo el sistema de ecuaciones resultante: $RSS(b)$ $b$

\sum _{{t=1}}^{n}(y_{t}-f(x_{t},b)){\frac {\parcial f(x_{t},b)}{\parcial b }}=0

MCO en el caso de regresión lineal

Sea la dependencia de la regresión lineal :

y_{t}=\sum_{{j=1}}^{k}b_{j}x_{{tj}}+\varepsilon =x_{t}^{T}b+\varepsilon_{t}

Sea y un vector columna de observaciones de la variable que se está explicando, y sea una matriz de observaciones de factores (las filas de la matriz son los vectores de valores de los factores en una observación dada, a lo largo de las columnas están los vectores de valores de un factor dado en todas las observaciones). La representación matricial del modelo lineal tiene la forma: $X$ $({n\veces k})$

y=Xb+\varepsilon

Entonces el vector de estimaciones de la variable explicada y el vector de residuos de regresión serán iguales a

{\hat y}=Xb,\quad e=y-{\hat {y}}=y-Xb

en consecuencia, la suma de los cuadrados de los residuos de la regresión será igual a

RSS=e^{T}e=(y-Xb)^{T}(y-Xb)

Derivando esta función con respecto al vector de parámetros e igualando las derivadas a cero, obtenemos un sistema de ecuaciones (en forma matricial): $b$

(X^{T}X)b=X^{T}y

En la forma matricial descifrada, este sistema de ecuaciones se ve así:

${\begin{pmatrix}\sum x_{{t1}}^{2}&\sum x_{{t1}}x_{{t2}}&\sum x_{{t1}}x_{{t3}}&\ ldots &\sum x_{{t1}}x_{{tk}}\\\sum x_{{t2}}x_{{t1}}&\sum x_{{t2}}^{2}&\sum x_{ {t2}}x_{{t3}}&\ldots &\sum x_{{t2}}x_{{tk}}\\\sum x_{{t3}}x_{{t1}}&\sum x_{{ t3}}x_{{t2}}&\sum x_{{t3}}^{2}&\ldots &\sum x_{{t3}}x_{{tk}}\\\vdots &\vdots &\vdots &\dpuntos &\vpuntos \\\sum x_{{tk}}x_{{t1}}&\sum x_{{tk}}x_{{t2}}&\sum x_{{tk}}x_{{t3 }}&\ldots &\sum x_{{tk}}^{2}\\\end{pmatrix}}{\begin{pmatrix}b_{1}\\b_{2}\\b_{3}\\ \vdots \\b_{k}\\\end{pmatrix}}={\begin{pmatrix}\sum x_{{t1}}y_{{t}}\\\sum x_{{t2}}y_{{ t}}\\\sum x_{{t3}}y_{{t}}\\\vdots \\\sum x_{{tk}}y_{{t}}\\\end{pmatrix}},$ donde todas las sumas se toman sobre todos los valores admisibles de . $t$

Si se incluye una constante en el modelo (como de costumbre), entonces para todos , por lo tanto, en la esquina superior izquierda de la matriz del sistema de ecuaciones está el número de observaciones , y en los elementos restantes de la primera fila y la primera columna - solo la suma de los valores de las variables: y el primer elemento del lado derecho del sistema es . $x_{{t1}}=1$ $t$ $norte$ $\sum x_{{tj}}$ $\sum y_{{t}}$

La solución de este sistema de ecuaciones da la fórmula general para las estimaciones de mínimos cuadrados para el modelo lineal:

{\sombrero {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y=\left({\frac {1}{n}}X ^{T}X\right)^{{-1}}{\frac{1}{n}}X^{T}y=V_{x}^{{-1}}C_{{xy}}

A efectos analíticos resulta útil la última representación de esta fórmula (en el sistema de ecuaciones, al dividir por n, aparecen medias aritméticas en lugar de sumas). Si los datos están centrados en el modelo de regresión , entonces en esta representación la primera matriz tiene el significado de matriz de covarianza muestral de factores, y la segunda es el vector de covarianza de factor con la variable dependiente. Si, además, los datos también se normalizan a RMS (es decir, finalmente se estandarizan ), entonces la primera matriz tiene el significado de una matriz de correlación de muestra de factores, el segundo vector: vectores de correlación de muestra de factores con una variable dependiente.

Una propiedad importante de las estimaciones de LLS para modelos con constante es que la línea de la regresión construida pasa por el centro de gravedad de los datos de la muestra, es decir, se cumple la igualdad:

{\bar {y}}={\hat {b_{1}}}+\sum_{{j=2}}^{{k}}{\hat {b}}_{j}{\bar { x}}_{j}

En particular, en el caso extremo, cuando el único regresor es una constante, encontramos que la estimación MCO de un solo parámetro (la propia constante) es igual al valor medio de la variable que se explica. Es decir, la media aritmética, conocida por sus buenas propiedades de las leyes de los grandes números, también es una estimación de mínimos cuadrados: satisface el criterio de la suma mínima de las desviaciones al cuadrado.

Los casos especiales más simples

En el caso de la regresión lineal pareada , cuando se estima la dependencia lineal de una variable con otra, las fórmulas de cálculo se simplifican (se puede prescindir del álgebra matricial). El sistema de ecuaciones tiene la forma: $y_{t}=a+bx_{t}+\varepsilon _{t}$

{\begin{pmatrix}n&\sum _{t=1}^{n}x_{t}\\\sum _{t=1}^{n}x_{t}&\sum _{t =1}^{n}x_{t}^{2}\\\end{pmatrix}}{\begin{pmatrix}a\\b\\\end{pmatrix}}={\begin{pmatrix}\sum _{t=1}^{n}y_{t}\\\sum_{t=1}^{n}x_{t}y_{t}\\\end{pmatriz}}

A partir de aquí es fácil encontrar estimaciones para los coeficientes:

{\begin{casos}{\hat {b}}={\frac {n\sum _{t=1}^{n}x_{t}y_{t}-\left(\sum_ t=1}^{n}x_{t}\right)\left(\sum_{t=1}^{n}y_{t}\right)}{n\sum_{t=1}^{ n}x_{t}^{2}-\left(\sum _{t=1}^{n}x_{t}\right)^{2}}},\\{\hat {a}}= {\frac {\sum _{t=1}^{n}y_{t}-{\hat {b))\sum _{t=1}^{n}x_{t}}{n}}. \end{casos}}

Aunque los modelos constantes son generalmente preferibles, en algunos casos se sabe por consideraciones teóricas que la constante debe ser cero. Por ejemplo, en física, la relación entre voltaje y corriente tiene la forma ; midiendo voltaje y corriente, es necesario estimar la resistencia. En este caso, estamos hablando del modelo . En este caso, en lugar de un sistema de ecuaciones, tenemos una sola ecuación $a$ $U=I\cdot R$ $y=bx$

$\left(\sum x_{t}^{2}\right)b=\sum x_{t}y_{t}$ .

Por lo tanto, la fórmula para estimar un solo coeficiente tiene la forma

${\hat {b))={\frac {\sum _{t=1}^{n}x_{t}y_{t)){\sum _{t=1}^{n}x_ {t}^{2}}}$ .

El caso del modelo polinomial

Si los datos se aproximan mediante una función de regresión polinomial de una variable , entonces, al percibir los grados como factores independientes para cada uno , es posible estimar los parámetros del modelo con base en la fórmula general para estimar los parámetros del modelo lineal. Para ello, en la fórmula general, basta tener en cuenta que con tal interpretación de y . Por lo tanto, las ecuaciones matriciales en este caso tomarán la forma: ${\displaystyle f(x)=b_{0}+\sum \limits _{i=1}^{k}b_{i}x^{i))$ $x^yo$ $i$ ${\displaystyle x_{ti}x_{tj}=x_{t}^{i}x_{t}^{j}=x_{t}^{i+j))$ ${\displaystyle x_{tj}y_{t}=x_{t}^{j}y_{t))$

${\begin{pmatrix}n&\sum \limits _{n}x_{t}&\ldots &\sum \limits _{n}x_{t}^{k}\\\sum \limits_{ n}x_{t}&\sum \limits _{n}x_{t}^{2}&\ldots &\sum \limits _{n}x_{t}^{k+1}\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _{n}x_{t}^{k}&\sum \limits _{n}x_{t}^{k+1}&\ldots &\ suma \limits _{n}x_{t}^{2k}\end{pmatrix}}{\begin{bmatrix}b_{0}\\b_{1}\\\vdots \\b_{k}\end{ bmatriz}}={\begin{bmatriz}\sum \limits _{n}y_{t}\\\sum \limits _{n}x_{t}y_{t}\\\vdots \\\sum \limits _ {n}x_{t}^{k}y_{t}\end{bmatriz}}.$

Propiedades estadísticas de las estimaciones OLS

En primer lugar, observamos que para los modelos lineales, las estimaciones de mínimos cuadrados son estimaciones lineales, como se deduce de la fórmula anterior. Para estimaciones OLS no sesgadas , es necesario y suficiente cumplir la condición más importante del análisis de regresión : condicional a los factores, la expectativa matemática de un error aleatorio debe ser igual a cero. Esta condición se cumple, en particular, si

la expectativa matemática de los errores aleatorios es cero y
los factores y los errores aleatorios son variables aleatorias independientes .

La primera condición para los modelos con una constante se puede considerar siempre satisfecha, ya que la constante asume una expectativa matemática de errores distinta de cero (por lo tanto, los modelos con una constante son generalmente preferibles).

La segunda condición, la condición de los factores exógenos , es fundamental. Si esta propiedad no se cumple, entonces podemos suponer que casi todas las estimaciones serán extremadamente insatisfactorias: ni siquiera serán consistentes (es decir, incluso una gran cantidad de datos no permite obtener estimaciones cualitativas en este caso). En el caso clásico, se hace una suposición más fuerte sobre el determinismo de los factores, en contraste con un error aleatorio, lo que automáticamente significa que se cumple la condición exógena. En el caso general, para la consistencia de las estimaciones, basta con cumplir la condición de exogeneidad junto con la convergencia de la matriz a alguna matriz no singular con un aumento del tamaño de la muestra al infinito. $V_{x}$

Para que, además de la consistencia y la falta de sesgo , las estimaciones de los mínimos cuadrados (usuales) también sean efectivas (las mejores de la clase de estimaciones lineales no sesgadas), se deben satisfacer propiedades adicionales del error aleatorio:

Varianza constante (igual) de los errores aleatorios en todas las observaciones (sin heterocedasticidad ): . $V(\varepsilon _{t})=\sigma^{2}=const$

Falta de correlación ( autocorrelación ) de errores aleatorios en diferentes observaciones entre sí . $cov(\varepsilon _{i},\varepsilon _{j})=0\quad \forall 1\leq i<j\leq n$

Estos supuestos pueden formularse para la matriz de covarianza del vector de errores aleatorios . $V(\varepsilon)=\sigma^{2}I$

Un modelo lineal que satisface tales condiciones se llama clásico . Las estimaciones LLS para la regresión lineal clásica son estimaciones no sesgadas , consistentes y más eficientes en la clase de todas las estimaciones lineales no sesgadas ). Como es fácil de demostrar, la matriz de covarianza del vector de estimación de coeficientes será igual a:

$V({\sombrero {b}}_{{OLS}})=\sigma ^{2}(X^{T}X)^{{-1}}$ .

Eficiencia significa que esta matriz de covarianza es "mínima" (cualquier combinación lineal de estimaciones de coeficientes, y en particular las propias estimaciones de coeficientes tienen una varianza mínima), es decir, en la clase de estimaciones lineales no sesgadas, las estimaciones de MCO son las mejores . Los elementos diagonales de esta matriz, las varianzas de las estimaciones de los coeficientes, son parámetros importantes para la calidad de las estimaciones obtenidas. Sin embargo, no es posible calcular la matriz de covarianza porque se desconoce la varianza del error aleatorio. Se puede demostrar que la estimación imparcial y consistente (para el modelo lineal clásico) de la varianza de los errores aleatorios es el valor:

$s^{2}=RSS/(nk)$ .

Sustituyendo este valor en la fórmula de la matriz de covarianza, obtenemos una estimación de la matriz de covarianza. Las estimaciones resultantes también son imparciales y consistentes . También es importante que la estimación de la varianza del error (y por tanto las varianzas de los coeficientes) y las estimaciones de los parámetros del modelo sean variables aleatorias independientes, lo que permite obtener estadísticos de prueba para contrastar hipótesis sobre los coeficientes del modelo.

Cabe señalar que si no se cumplen los supuestos clásicos, las estimaciones de los parámetros de mínimos cuadrados no son las estimaciones más eficientes (permanecen imparciales y consistentes ). Sin embargo, la estimación de la matriz de covarianza empeora aún más: se vuelve sesgada e inconsistente . Esto significa que las conclusiones estadísticas sobre la calidad del modelo construido en este caso pueden ser extremadamente poco fiables. Una forma de resolver este problema es usar estimaciones especiales de la matriz de covarianza que sean consistentes bajo violaciones de los supuestos clásicos ( errores estándar en la forma de White y errores estándar en la forma de Newey-West ). Otro enfoque es aplicar los llamados mínimos cuadrados generalizados .

Mínimos cuadrados generalizados

El método de mínimos cuadrados permite una amplia generalización. En lugar de minimizar la suma de los cuadrados de los residuos, se puede minimizar alguna forma cuadrática definida positiva del vector residual , donde es alguna matriz de peso definida positiva simétrica. Los mínimos cuadrados ordinarios son un caso especial de este enfoque, cuando la matriz de peso es proporcional a la matriz identidad. Como es sabido, existe una descomposición para matrices (u operadores) simétricas . Por lo tanto, el funcional especificado se puede representar de la siguiente manera: , es decir, este funcional se puede representar como la suma de los cuadrados de algunos "residuos" transformados. Por lo tanto, podemos distinguir una clase de métodos de mínimos cuadrados: métodos LS (Least Squares). $e^{T}Nosotros$ $W$ $W=P^{T}P$ $e^{T}P^{T}Pe=(Pe)^{T}Pe=e_{*}^{T}e_{*}$

Se ha demostrado (teorema de Aitken) que para un modelo de regresión lineal generalizado (en el que no se imponen restricciones a la matriz de covarianza de errores aleatorios), las más efectivas (en la clase de estimaciones lineales no sesgadas) son las estimaciones de las denominadas . Mínimos cuadrados generalizados (GLS, GLS - Mínimos cuadrados generalizados) - Método LS con una matriz de peso igual a la matriz de covarianza inversa de errores aleatorios: . $W=V_{{\varepsilon}}^{{-1}}$

Se puede demostrar que la fórmula para las estimaciones GLS de los parámetros del modelo lineal tiene la forma

${\sombrero {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$ .

La matriz de covarianza de estas estimaciones, respectivamente, será igual a

$V({\sombrero {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$ .

De hecho, la esencia del OLS radica en una cierta transformación (lineal) (P) de los datos originales y la aplicación de los mínimos cuadrados habituales a los datos transformados. El propósito de esta transformación es que para los datos transformados, los errores aleatorios ya satisfagan los supuestos clásicos.

OLS ponderado

En el caso de una matriz de ponderación diagonal (y por lo tanto una matriz de covarianza de errores aleatorios), tenemos los llamados mínimos cuadrados ponderados. En este caso, se minimiza la suma ponderada de cuadrados de los residuos del modelo, es decir, cada observación recibe un "peso" que es inversamente proporcional a la varianza del error aleatorio en esta observación: . De hecho, los datos se transforman ponderando las observaciones (dividiendo por una cantidad proporcional a la desviación estándar supuesta de los errores aleatorios), y se aplican mínimos cuadrados normales a los datos ponderados. $e^{T}Nosotros=\sum_{{t=1}}^{n}{\frac {e_{t}^{2}}{\sigma_{t}^{2}}}$

Véase también

Notas

↑ Legendre, Sobre mínimos cuadrados. Traducido del francés por el profesor Henry A. Ruger y la profesora Helen M. Walker, Teachers College, Universidad de Columbia, ciudad de Nueva York. Archivado el 7 de enero de 2011 en Wayback Machine .
↑ Aleksandrova, 2008 , pág. 102.
↑ Linnik, 1962 , pág. 21
↑ Magnus, Katyshev, Peresetsky, 2007 , designación RSS no unificada. RSS puede ser la abreviatura de suma de cuadrados de regresión, y ESS puede ser la abreviatura de suma de cuadrados de error, por lo que RSS y ESS tendrán el significado opuesto. Con. 52. Ediciones de 2004..

Literatura

Yu V. Linnik El método de los mínimos cuadrados y los fundamentos de la teoría matemático-estadística del procesamiento de la observación. - 2ª ed. - M. , 1962.(teoría matemática)
Ayvazyan S.A. Estadística aplicada. Fundamentos de econometría. Volumen 2. - M. : Unity-Dana, 2001. - 432 p. - ISBN 5-238-00305-6 .
Dougherty K. Introducción a la econometría: Per. De inglés. - M. : INFRA-M, 1999. - 402 p. — ISBN 8-86225-458-7 .
Kremer N. Sh., Putko B. A. Econometría. - M. : Unidad-Dana, 2003-2004. — 311 pág. — ISBN 8-86225-458-7 .
Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometría. Curso inicial. - M. : Delo, 2007. - 504 p. - ISBN 978-5-7749-0473-0 .
Econometría. Libro de texto / Ed. Eliseeva I. I. - 2ª ed. - M. : Finanzas y estadísticas, 2006. - 576 p. — ISBN 5-279-02786-3 .
Aleksandrova N. V. Historia de términos matemáticos, conceptos, designaciones: un diccionario de referencia. - 3ra ed. - M . : LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4 .
Vitkovsky VV Mínimos cuadrados // Diccionario enciclopédico de Brockhaus y Efron : en 86 volúmenes (82 volúmenes y 4 adicionales). - San Petersburgo. , 1890-1907.
Mitin IV, Rusakov VS Análisis y procesamiento de datos experimentales. — 5ª edición. — 24 s.

Enlaces

Método online de mínimos cuadrados para dependencia y = a + bx con cálculo de errores de coeficiente y estimación de autocorrelación.

diccionarios y enciclopedias	Gran danés gran chino gran noruego gran ruso Brockhaus y Efron Nuevo
En catálogos bibliográficos	NDL : 00570033 NKC : ph135404

Mínimos cuadrados y análisis de regresión

Estadísticas computacionales

Método de mínimos cuadrados
multinacional lineal
Mínimos cuadrados no lineales
LSM con recálculo iterativo de pesos

Correlación
y dependencia

Coeficiente de correlación de Pearson
Correlación de rango ( Spearman
Kendall )
Correlación parcial
factor de distorsión

Análisis de regresión

multinacional normal
Método de mínimos cuadrados parciales
Mínimos cuadrados completos
Regresión de cresta

La regresión como modelo
estadístico

Regresión lineal	Regresión lineal simple multinacional normal Mínimos cuadrados generalizados Mínimos cuadrados ponderados Modelo lineal básico
marco predictivo	Regresión polinomial curva de crecimiento regresión segmentada regresión local
Regresión personalizada	no lineal no paramétrico semiparamétrico sostenible cuantil isotónico
Errores no estándar	Modelo lineal generalizado regresión binomial Regresión de Poisson Regresión logística

descomposición de la varianza

Análisis de variación
Análisis de covarianza
Análisis de varianza multivariante

estudio modelo

C p Malvas
Regresión paso a paso
Elegir un modelo estadístico
Validación del modelo de regresión

requisitos previos

Respuesta media y esperada
Teorema de Gauss-Markov
Errores y desviaciones
Prueba estadística
Saldo estudentizado
Error cuadrático medio mínimo

Planificación
de experimentos

Metodología de superficie de respuesta
Diseño óptimo de experimentos
Diseño de experimentos bayesianos

Aproximación numérica

Aplicaciones

Aproximación mediante curvas
Curva de calibración
Filtro Savitsky-Golay
Identificación del sistema
Método de mínimos cuadrados móviles