Aproximación estocástica

La aproximación estocástica es un método recurrente para construir una secuencia consistente de estimaciones para soluciones de ecuaciones de regresión y extremos de funciones de regresión en problemas de estimación no paramétrica. En biología, química, medicina, se utiliza para analizar los resultados de los experimentos. En la teoría del control automático , se utiliza como medio para resolver problemas de reconocimiento, identificación, aprendizaje y adaptación [1] . Los fundadores del método de aproximación estocástica son Kiefer, Wolfowitz [2] , Robins , Monroe [3] .

Encontrar una solución a la ecuación de regresión

Deje que cada valor del parámetro corresponda a una variable aleatoria medida experimentalmente con la función de distribución y la expectativa matemática del valor en un parámetro fijo . Se requiere encontrar una solución a la ecuación de regresión . Se supone que la solución de la ecuación de regresión es única y que las funciones y son desconocidas. $X$ $y$ ${\ estilo de visualización F (y | x)}$ $y$ $X$ ${\ estilo de visualización m (y | x) = m (x)}$ ${\ estilo de visualización m (x) = \ alfa}$ ${\ estilo de visualización F (y | x)}$ $m(x)$

El procedimiento de aproximación estocástica para la obtención de estimaciones de la raíz de la ecuación de regresión consiste en utilizar la muestra de entrenamiento obtenida a partir de la experiencia de las variables aleatorias medidas . ${\ sombrero {x}}$ ${\ estilo de visualización m ({\ sombrero {x))) = \ alfa}$ $y_{1},...,y_{n}$

La estimación de la raíz deseada se basa en la estimación anterior usando el valor de entrenamiento de la variable aleatoria medida usando la relación , donde , es un número arbitrario [3] . ${\ estilo de visualización {\ sombrero {x_ {n + 1}}}}$ ${\ Displaystyle {\ sombrero {x_ {n}}}}$ $y_{n}$ ${\sombrero {x_{n+1}}}={\sombrero {x_{n}}}+a_{n}(\alpha -y_{n})$ $n\geqslant 1$ ${\ estilo de visualización {\ sombrero {x_ {1}}}}$

Si la secuencia de coeficientes satisface las condiciones , , entonces para , la estimación tiende en probabilidad a la raíz de la ecuación . $a_{n}$ $a_{n}>0$ $\sum _{n=1}^{\infty}a_{n}=\infty$ $\sum_{n=1}^{\infty}a_{n}^{2}<\infty$ $n\to\infty$ ${\ estilo de visualización {\ sombrero {x_ {n + 1}}}}$ ${\ estilo de visualización m ({\ sombrero {x))) = \ alfa}$

Con algunos requisitos adicionales para la función de regresión, las estimaciones pueden converger en el cuadrado medio a la solución de la ecuación de regresión [4] [5] . $m(x)$ ${\ estilo de visualización {\ sombrero {x_ {n + 1}}}}$

Ejemplos

La dureza de una aleación de cobre y hierro depende del tiempo durante el cual la aleación está expuesta a altas temperaturas. En este caso, la variable aleatoria medida es la dureza de la aleación , y la tarea es determinar el momento en que la aleación tiene una dureza determinada [6] . $y$ $X$ $y$ ${\ sombrero {x}}$ ${\ estilo de visualización y = \ alfa}$

Encontrar el extremo de la función de regresión

La estimación del valor extremo de la función de regresión se encuentra sobre la base de la estimación anterior y los valores de entrenamiento de la variable aleatoria medida y utilizando la relación , donde , es un número arbitrario, es una secuencia de números positivos y el secuencias y son independientes y corresponden a los valores del parámetro y [2] . ${\ estilo de visualización {\ sombrero {x_ {n + 1}}}}$ ${\ Displaystyle {\ sombrero {x_ {n}}}}$ $y_{2n}$ $y_{2n-1}$ ${\sombrero {x_{n+1}}}={\sombrero {x_{n}}}+{\frac {a_{n}}{c_{n}}}(y_{2n}-y_ {2n-1})$ $n\geqslant 1$ ${\ estilo de visualización {\ sombrero {x_ {1}}}}$ $a_{n}$ $y_{2n}$ $y_{2n-1}$ ${\sombrero {x_{n}}}+c_{n}$ ${\sombrero {x_{n}}}-c_{n}$

Si las sucesiones de coeficientes y satisfacen las condiciones , , para , , , , entonces para , la estimación tiende en probabilidad al valor extremo de la función de regresión. $a_{n}$ $c_{{n}}$ $a_{n}>0$ $c_{n}>0$ ${\ estilo de visualización c_ {n} \ a 0}$ $n\to\infty$ $\sum _{n=1}^{\infty}a_{n}=\infty$ $\sum _{n=1}^{\infty}a_{n}c_{n}<\infty$ $\sum_{n=1}^{\infty}({\frac {a_{n}}{c_{n}}})^{2}<\infty$ $n\to\infty$ ${\ estilo de visualización {\ sombrero {x_ {n + 1}}}}$

Con algunos requisitos adicionales para la función de regresión, las estimaciones pueden converger en el cuadrado medio al extremo de la función de regresión [5] . $m(x)$ ${\ estilo de visualización {\ sombrero {x_ {n + 1}}}}$

Ejemplos

El rendimiento de una parcela de tierra depende de la cantidad de fertilizante . En este caso, la variable aleatoria medida es el rendimiento , y la tarea es determinar la cantidad de fertilizante , en la cual la parcela de tierra tiene el rendimiento máximo [6] . $y$ $X$ $y$ ${\ sombrero {x}}$

Notas

↑ Tsypkin Ya.Z. “Adaptación, aprendizaje y autoaprendizaje en sistemas automáticos”, // Automatización y Telemecánica . - 1966. - Nº 1. - S. 23–61. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at10991
↑ 1 2 Kiefer J., Wolfowitz J. Estimación estocástica del máximo de una función de regresión // Ann. Matemáticas. Estadísticas. - 1952. - v. 23. - Nº 3.
↑ 1 2 Robbins N., Monro S. Un método de aproximación estocástica // Annals of Math. estadística - 1951. - v. 22. - N° 1. - S. 400-407.
↑ Vazán, 1972 , pág. Dieciocho.
↑ 1 2 Loginov N. V. "Métodos de aproximación estocástica" // Automatización y control remoto . - 1966. - Nº 4. - S. 185-204. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at11080
↑ 1 2 Vazán, 1972 , pág. diez.

Literatura

Vazan M. Aproximación estocástica. — M .: Mir, 1972. — 295 p.
Tsypkin Ya.Z. Fundamentos de la teoría de los sistemas de aprendizaje. - M. : Nauka, 1970. - 251 p.
Tsypkin Ya.Z. Adaptación y aprendizaje en sistemas automáticos. — M .: Nauka, 1968. — 399 p.