Regresión lineal

La regresión lineal es un modelo de regresión utilizado en estadística para la dependencia de una variable (explicada, dependiente) de otra o varias otras variables (factores, regresores, variables independientes) con una función de dependencia lineal . $y$ $X$

El modelo de regresión lineal es el más utilizado y el más estudiado en econometría . En concreto, se estudian las propiedades de las estimaciones de parámetros obtenidas por diversos métodos bajo supuestos sobre las características probabilísticas de los factores y los errores aleatorios del modelo. Las propiedades limitantes (asintóticas) de las estimaciones de los modelos no lineales también se obtienen a partir de la aproximación de estos últimos mediante modelos lineales. Desde un punto de vista econométrico, la linealidad de los parámetros es más importante que la linealidad de los factores del modelo.

Definición

Modelo de regresión

y=f(x,b)+\varepsilon,~E(\varepsilon)

donde están los parámetros del modelo, es el error aleatorio del modelo; se llama regresión lineal si la función de regresión tiene la forma $b$ $\varepsilon$ $f(x,b)$

f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k

donde son los parámetros de regresión (coeficientes), son los regresores (factores del modelo), k es el número de factores del modelo [1] . $b_{j}$ $x_{j}$

Los coeficientes de regresión lineal muestran la tasa de cambio de la variable dependiente para un factor dado, con otros factores fijos (en un modelo lineal, esta tasa es constante):

\forall j\quad ~b_{j}={\frac {\partial f}{\partial x_{j))}=const

El parámetro , para el que no hay factores, a menudo se denomina constante . Formalmente, este es el valor de la función en el valor cero de todos los factores. A efectos analíticos, conviene considerar que una constante es un parámetro con un "factor" igual a 1 (u otra constante arbitraria, por lo que a este "factor" también se le llama constante). En este caso, si volvemos a numerar los factores y parámetros del modelo original teniendo esto en cuenta (dejando la designación del número total de factores - k), entonces la función de regresión lineal se puede escribir de la siguiente forma, que formalmente no contener una constante: $b_{0}$

f(x,b)=b_1 x_1 + b_2 x_2 + \ldots + b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb

donde es el vector de regresores, es el vector columna de parámetros (coeficientes). $x^T=(x_1,x_2,...,x_k)$ $b=(b_1,b_2,\ldots,b_k)^T$

El modelo lineal puede ser con una constante o sin constante. Entonces, en esta representación, el primer factor es igual a uno o es un factor ordinario, respectivamente.

Par y regresión múltiple

En un caso particular, cuando el factor es único (sin tener en cuenta la constante), se habla de una regresión lineal pareada o simple :

y_t=a+b x_t+\varepsilon_t

Cuando el número de factores (sin tener en cuenta la constante) es más de uno, entonces se habla de regresión múltiple :

{\displaystyle Y=b_{0}+b_{1}x_{i1}+...+b_{j}x_{ij}+...+b_{k}x_{ik}+e_{i))

Ejemplos

Modelo de costos organizacionales (sin especificar error aleatorio)

TC=FC+VC=FC+v \cdot Q

$CT$ - costos totales
$FC$ - costes fijos (no dependientes del volumen de producción)
$CV$ - costes variables proporcionales al volumen de producción
$v$ - costes variables específicos o medios (por unidad de producción)
$q$ - volumen de producción.

El modelo de gasto del consumidor más simple ( Keynes )

C=a+bY+\varepsilon

$C$ - gasto del consumidor
$Y$ - Ingreso disponible
$b$ - propensión marginal al consumo
$a$ Consumo autónomo (independiente de los ingresos).

Representación matricial

Sea una muestra de n observaciones de las variables yyx . Sea t el número de la observación en la muestra. Entonces — el valor de la variable y en la t -ésima observación, — el valor del j - ésimo factor en la t -ésima observación. En consecuencia, es el vector de regresores en la t -ésima observación. Entonces se produce una dependencia de regresión lineal en cada observación: $y_{t}$ $x_{tj}$ $x^T_t=(x_{t1},x_{t2},...,x_{tk})$

y_t=b_1 x_{t1}+b_2 x_{t2}+...+b_k x_{tk}=\sum^k_{j=1}b_j x_{tj}=x^T_t b+\varepsilon_t~,~E( \varepsilon_t)=0~,~t=1..n

Introduzcamos la notación:

y={\begin{pmatrix}y_{1}\\y_{2}\\...\\y_{n}\\\end{pmatrix))

es el vector de observaciones de la variable dependiente y

X={\begin{pmatrix}x_{11}&x_{12}&...&x_{1k}\\x_{21}&x_{22}&...&x_{2k}\\... \\x_{n1}&x_{n2}&...&x_{nk}\\\end{matrix}}

es una matriz de factores.

\varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\...\\\varepsilon _{n}\\\end{pmatrix}}

es el vector de errores aleatorios.

Luego, el modelo de regresión lineal se puede representar en forma de matriz:

y=Xb+\varepsilon

Regresión lineal clásica

En la regresión lineal clásica, se supone que junto con la condición estándar , también se cumplen los siguientes supuestos ( condiciones de Gauss-Markov ): $E(\varepsilon _{t})=0$

Homocedasticidad (varianza constante o igual) o falta de heterocedasticidad de los errores aleatorios del modelo: $V(\varepsilon _{t})=\sigma^{2}=const$
Falta de autocorrelación de errores aleatorios: $\forall i,j,~ i \not = j ~~cov(\varepsilon_i,\varepsilon_j)=0$

Estos supuestos en la representación matricial del modelo se formulan como un supuesto sobre la estructura de la matriz de covarianza del vector de error aleatorio: $V(\varepsilon)=\sigma^2 I_n$

Además de los supuestos anteriores, en el modelo clásico se supone que los factores son deterministas ( no estocásticos ). Además, se requiere formalmente que la matriz tenga rango completo ( ), es decir, se asume que no existe colinealidad completa de factores. $X$ $k$

Cuando se cumplen los supuestos clásicos, el método de mínimos cuadrados ordinarios permite obtener estimaciones de calidad suficientemente alta de los parámetros del modelo, a saber: son estimaciones insesgadas , consistentes y más eficientes .

Métodos de valoración

Véase también

Análisis de regresión

Notas

↑ Demidenko, 1981 , pág. 6.

Literatura

EZ Demidenko. Regresión lineal y no lineal. - M. : Finanzas y estadísticas, 1981. - 302 p.
J. Seber. Análisis de regresión lineal. — M .: Mir, 1980. — 456 p. — 13.700 copias.

Mínimos cuadrados y análisis de regresión

Estadísticas computacionales

Método de mínimos cuadrados
multinacional lineal
Mínimos cuadrados no lineales
LSM con recálculo iterativo de pesos

Correlación
y dependencia

Coeficiente de correlación de Pearson
Correlación de rango ( Spearman
Kendall )
Correlación parcial
factor de distorsión

Análisis de regresión

multinacional normal
Método de mínimos cuadrados parciales
Mínimos cuadrados completos
Regresión de cresta

La regresión como modelo
estadístico

Regresión lineal	Regresión lineal simple multinacional normal Mínimos cuadrados generalizados Mínimos cuadrados ponderados Modelo lineal básico
marco predictivo	Regresión polinomial curva de crecimiento regresión segmentada regresión local
Regresión personalizada	no lineal no paramétrico semiparamétrico sostenible cuantil isotónico
Errores no estándar	Modelo lineal generalizado regresión binomial Regresión de Poisson Regresión logística

descomposición de la varianza

Análisis de variación
Análisis de covarianza
Análisis de varianza multivariante

estudio modelo

C p Malvas
Regresión paso a paso
Elegir un modelo estadístico
Validación del modelo de regresión

requisitos previos

Respuesta media y esperada
Teorema de Gauss-Markov
Errores y desviaciones
Prueba estadística
Saldo estudentizado
Error cuadrático medio mínimo

Planificación
de experimentos

Metodología de superficie de respuesta
Diseño óptimo de experimentos
Diseño de experimentos bayesianos

Aproximación numérica

Aplicaciones

Aproximación mediante curvas
Curva de calibración
Filtro Savitsky-Golay
Identificación del sistema
Método de mínimos cuadrados móviles

Aprendizaje automático y minería de datos
Tareas	Problema de clasificación Aprender sin un maestro Aprendizaje asistido por profesores Análisis de regresión AutoML reglas de asociación Extracción de características entrenamiento de rasgos Entrenamiento de clasificación Derivación gramatical Aprender en línea
Aprendiendo con un maestro	método del k-vecino más cercano Clasificador bayesiano ingenuo árbol de decisión Máquinas de vectores soporte Regresión lineal Regresión logística perceptrón conjuntos de modelos Harpillera impulsar bosque aleatorio Método de vector relevante
análisis de conglomerados	método k-medias método de agrupamiento difuso Agrupación jerárquica algoritmo EM ABEDUL CURAR DBSCAN ÓPTICA Desplazamiento medio
Reducción de dimensionalidad	Análisis factorial Método de componentes principales CCA ACI LDA Expansión de matriz no negativa t-SNE
Pronóstico estructural	Graficar modelo probabilístico red bayesiana Modelo oculto de Markov FRC
Detección de anomalías	método del k-vecino más cercano Nivel de emisión local
Graficar modelos probabilísticos	red bayesiana Red de Markov Modelo oculto de Markov
Redes neuronales	Máquina Boltzmann limitada mapa autoorganizado Función de activación Sigmoideo softmax Funcion de base radial Método de propagación hacia atrás Aprendizaje profundo perceptrón multicapa Red neuronal recurrente memoria a corto plazo Bloque recurrente controlado Red neuronal convolucional U-red Codificador automático
Aprendizaje reforzado	proceso de Markov Ecuación de Bellman Algoritmo codicioso Q-aprendizaje SARAS Diferencia temporal (DT)
Teoría	Teoría de Vapnik-Chervonenkis Dilema de dispersión de sesgo Teoría del aprendizaje computacional Minimización empírica del riesgo El aprendizaje de Occam aprendizaje PAC Teoría del aprendizaje estadístico
revistas y congresos	NeurIPS ICML ML JMLR ArXiv:cs.LG