Momento markoviano

En matemáticas , la teoría del punto de parada o tiempo de Markov está relacionada con el problema del tiempo para realizar una determinada acción con el fin de maximizar la recompensa esperada o minimizar el costo esperado. El problema del punto de parada se puede encontrar en los campos de la estadística , la economía y las matemáticas financieras (asociadas con el precio de las opciones estadounidenses ). El ejemplo más notable relacionado con el momento de la parada es el problema de la novia exigente . El problema del momento de frenado a menudo se puede escribir en la forma de la ecuación de Bellman y, por lo tanto, a menudo se resuelve mediante programación dinámica .

Definición

Caso de tiempo discreto

Por regla general, el problema del momento de parada está asociado a dos objetos:

Una secuencia de variables aleatorias cuya distribución conjunta se supone conocida $X_{1},X_{2},\ldots$
Una secuencia de funciones "gratificantes" que dependen de los valores observados de variables aleatorias en 1.: $(y_{i})_{i\geq 1}$ $y_{i}=y_{i}(x_{1},\ldots,x_{i})$

Dados estos objetos, el problema es este:

Usted, observando la secuencia de variables aleatorias, en cada una puede elegir dejar de observar o continuar $i$
Si dejas de mirar , serás recompensado. $i$ $y_{yo}$
Desea elegir una regla de parada para maximizar la recompensa esperada (o, de manera equivalente, minimizar la pérdida esperada)

Caso de tiempo continuo

Considere la amplificación de procesos definidos en un espacio de probabilidad filtrado y asuma que esto es una adaptación del filtrado. El problema del tiempo de parada es encontrar el tiempo de parada que maximiza el pago esperado . ${\displaystyle G=(G_{t})_{t\geq 0))$ $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} )$ $GRAMO$ ${\ estilo de visualización \ tau ^ {*}}$

V_{t}^{T}=\mathbb {E} G_{\tau ^{*}}=\sup _{t\leq \tau \leq T}\mathbb {E} G_{\tau }

donde se llama el valor de la función . Podría importar aquí . ${\ Displaystyle V_ {t}^{T}}$ $T$ $\infty$

Una redacción más específica es la siguiente. Consideramos un proceso de Markov fuerte adaptado definido en un espacio de probabilidad filtrado donde denota la probabilidad de medición, donde el proceso aleatorio comienza con . Teniendo en cuenta las funciones continuas y en el problema del tiempo de parada ${\displaystyle X=(X_{t})_{t\geq 0))$ $(\Omega,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} _{x})$ ${\ estilo de visualización \ mathbb {P} _ {x}}$ $X$ ${\ estilo de visualización M, L}$ $k$

V(x)=\sup_{0\leq \tau \leq T}\mathbb {E}_{x}\left(M(X_{\tau})+\int_{0}^{ \tau }L(X_{t})dt+\sup _{0\leq t\leq \tau }K(X_{t})\right).

Esto a veces se denomina formulación MLS (Meyer, Lagrange y Supremum, respectivamente). [una]

Métodos de solución

Hay dos enfoques para resolver el problema del punto de parada. Cuando el proceso subyacente (o la amplificación del proceso) se describe por su distribución de dimensión finita incondicional, entonces el método de solución apropiado es el enfoque Martingale, llamado así porque utiliza la teoría Martingale , siendo el concepto más importante el desarrollo de Snell . En el caso discreto, si el horizonte de planificación es finito, el problema se puede resolver fácilmente mediante programación dinámica . $T$

Cuando el proceso subyacente está definido por una familia de funciones de transición (condicionales) que conducen a una familia de transiciones probabilísticas de Markov, a menudo se pueden usar las poderosas herramientas analíticas de la teoría del proceso de Markov y este enfoque se denomina método de Markov. La solución suele obtenerse resolviendo problemas asociados con fronteras libres (problemas de Stefan).

Salto Difusión Resultado

Sea la difusión de Levy de la ecuación diferencial estocástica ${\ Displaystyle Y_ {t}}$ ${\matemáticas {R}}^{k}$

dY_{t}=b(Y_{t})dt+\sigma (Y_{t})dB_{t}+\int_{\mathbb {R} ^{k))\gamma (Y_{t- },z){\bar {N}}(dt,dz),\quad Y_{0}=y

donde es un movimiento browniano bidimensional , esta es una medida aleatoria de Poisson compensada bidimensional , , y funciones tales que existe una solución única . Sea un conjunto abierto (área de solvencia) y $B$ $metro$ ${\ estilo de visualización {\ bar {N}}}$ $yo$ ${\displaystyle b:\mathbb {R} ^{k}\to \mathbb {R} ^{k))$ ${\displaystyle \sigma:\mathbb {R} ^{k}\to \mathbb {R} ^{k\veces m))$ ${\displaystyle \gamma :\mathbb {R} ^{k}\times \mathbb {R} ^{k}\to \mathbb {R} ^{k\times l))$ ${\ estilo de visualización (Y_ {t})}$ ${\mathcal {S}}\subconjunto \mathbb {R} ^{k}$

\tau_{\mathcal {S}}=\inf\{t>0:Y_{t}\notin {\mathcal {S}}\}

tiempo de quiebra. Problema de parada óptima:

V(y)=\sup_{\tau \leq \tau_{\mathcal {S))}J^{\tau}(y)=\sup_{\tau \leq \tau_{\ mathcal {S))}\mathbb {E} _{y}\left[M(Y_{\tau })+\int _{0}^{\tau }L(Y_{t})dt\right].

Resulta que bajo ciertas condiciones de regularidad, [2] la siguiente verificación del teorema contiene:

Si la función satisface $\phi :{\bar {\mathcal {S}}}\to \mathbb {R}$

$\phi \in C({\bar {\mathcal {S}}})\cap C^{1}({\mathcal {S}})\cap C^{2}({\mathcal {S }}\setminus \parcial D)$ donde las áreas son continuaciones de , $D=\{y\in {\mathcal {S}}:\phi (y)>M(y)\}$
${\ estilo de visualización \ phi \ geq M}$ en y ${\ matemáticas {S))$
${\mathcal {A}}\phi +L\leq 0$ en , donde es un generador infinitesimal de ${\mathcal {S}}\setminus \parcial D$ ${\mathcal {A}}$ ${\ estilo de visualización (Y_ {t})}$

entonces para todos . Además, si ${\ estilo de visualización \ phi (y) \ geq V (y)}$ ${\displaystyle y\in {\bar {\mathcal {S))))$

${\mathcal {A}}\phi +L=0$ sobre el $D$

Entonces para todos y es el tiempo de parada ${\ estilo de visualización \ phi (y) = V (y)}$ ${\displaystyle y\in {\bar {\mathcal {S))))$ ${\displaystyle \tau ^{*}=\inf\{t>0:Y_{t}\notin D\))$

Estas condiciones se pueden escribir en una forma más compacta (desigualdad integral-variacional):

$\max \left\{{\mathcal {A}}\phi +L,M-\phi \right\}=0$ sobre el ${\mathcal {S}}\setminus \parcial D.$

Ejemplos

Lanzamiento de moneda

(Por ejemplo, donde converge) ${\ estilo de visualización \ mathbb {E} (y_ {i})}$

Tienes una moneda y la lanzas repetidamente. Cada vez antes de tirarlo, puedes dejar de tirarlo y recibir un pago (en dólares, digamos) por el número promedio de caras que veas.

Desea la cantidad máxima que se le pagaría al elegir una regla de detención. Si x i (donde i ≥ 1) forma una secuencia de variables aleatorias independientes distribuidas idénticamente con la distribución de Bernoulli

{\text{Berna}}\left({\frac {1}{2}}\right),

y si

y_{i}={\frac {1}{i}}\sum _{k=1}^{i}X_{k}

luego en la secuencia habrá objetos relacionados con este problema. ${\ estilo de visualización (X_ {i}) _ {i \ geq 1}}$ $(y_{i})_{i\geq 1}$

Vender una casa

(Por ejemplo, donde no necesariamente converge) ${\ estilo de visualización \ mathbb {E} (y_ {i})}$

Tienes una casa y te gustaría venderla. Todos los días te ofrecen por tu casa, y pagas por publicidad continua. Si vende su casa diariamente , ganará donde . $X_n$ $k$ $norte$ $y_{n}$ $y_{n}=(X_{n}-nk)$

Quiere maximizar la cantidad que gana eligiendo una regla de parada.

En este ejemplo, la secuencia ( ) es la secuencia de ofertas para su casa, y la secuencia de características "recompensas" determina cuánto ganará. $X_{yo}$

Problema de la novia quisquillosa

(Por ejemplo, dónde está la secuencia final) ${\ estilo de visualización (X_ {i})}$

Estás observando una secuencia de objetos que se pueden ordenar de mejor a peor. Desea elegir una regla de parada que maximice sus posibilidades de elegir la mejor característica.

Por ejemplo, si ( quizás n es un número grande) son los rangos de las funciones, y esta es la posibilidad de que elija la mejor función si deja de rechazar intencionalmente las funciones en el paso i, entonces esas son las secuencias asociadas con este problema. Este problema fue resuelto a principios de la década de 1960 por varias personas. Un algoritmo de parada óptimo más moderno (algoritmo de Bruce) proporciona una solución elegante al problema de la secretaria y varias modificaciones a este problema. ${\displaystyle R_{1},\ldots,R_{n))$ $y_{yo}$ ${\ estilo de visualización (R_ {i})}$ ${\ estilo de visualización (y_ {i})}$

Teoría de la búsqueda

Los economistas han estudiado una serie de problemas de tiempo de parada óptimos similares al "problema de la secretaria" y comúnmente se refieren a este tipo de análisis como "teoría de búsqueda". La teoría de la búsqueda se centra particularmente en la búsqueda de un empleado de un trabajo bien remunerado o en la búsqueda de un consumidor de un producto económico.

Comercio de opciones

En la negociación de opciones en los mercados financieros , el titular de una opción estadounidense puede ejercer el derecho a comprar (o vender) el activo subyacente a un precio específico en cualquier momento antes o al vencimiento. Por lo tanto, la valoración de las opciones americanas es esencialmente un problema de parada óptima. Considere el modelo clásico de Black-Scholes y sea la tasa de interés libre de riesgo y la tasa de dividendos y la volatilidad de las acciones. El precio de las acciones sigue el movimiento browniano geométrico $r$ $\delta$ $\sigma$ $S$

S_{t}=S_{0}\exp \left\{\left(r-\delta -{\frac {\sigma ^{2}}{2}}\right)t+\sigma B_{t }\Correcto\}

Según la medida del riesgo.

Cuando el parámetro es infinito, el problema de parada óptimo

V(x)=\sup_{\tau}\mathbb {E}_{x}\left[e^{-r\tau}g(S_{\tau})\right]

donde es la función de pago para la opción de compra y para la opción de apuesta. Desigualdad variacional ${\displaystyle g(x)=(xK)^{+))$ ${\displaystyle g(x)=(Kx)^{+))$

\max \left\{{\frac {1}{2}}\sigma ^{2}x^{2}V''(x)+(r-\delta )xV'(x)-rV (x),g(x)-V(x)\derecha\}=0

para todos donde sea el límite del ejercicio físico. La solución es conocida [3] $x\in (0,\infty)\setminus \{b\}$ $b$

(Reto Infinito) donde y $V(x)={\begin{casos}(bK)(x/b)^{\gamma }&x\in (0,b)\\xK&x\in [b,\infty )\end{casos }}$ $\gamma =({\sqrt {\nu ^{2}+2r))-\nu )/\sigma$ $\nu =(r-\delta )/\sigma -\sigma /2,\quad b=\gamma K/(\gamma -1).$
(Tasa infinita) donde y $V(x)={\begin{casos}Kx&x\in (0,c]\\(Kc)(x/c)^{\tilde {\gamma }}&x\in (c,\infty ) \end{casos}}$ ${\tilde {\gamma }}=-({\sqrt {\nu ^{2}+2r}}+\nu )/\sigma$ $\nu =(r-\delta )/\sigma -\sigma /2,\quad c={\tilde {\gamma }}K/({\tilde {\gamma }}-1).$

Por otro lado, cuando el límite de tiempo es finito, el problema está relacionado con el problema de frontera libre bidimensional sin una solución de forma cerrada conocida. Sin embargo, se pueden utilizar varios métodos numéricos. Consulte Black-Scholes Model#American Options para ver varios métodos de valoración aquí, y Fugit para un cálculo de tiempo óptimo para entrenar basado en un árbol discreto.

Véase también

Control estocástico
Proceso de decisión de Markov

Enlaces

↑ Peskir, Goran; Shiryaev, AlbertoProblemas de detención óptima y de límite libre (sin especificar) . - 2006. - T. Lecciones de Matemáticas. ETH Zúrich . - ISBN 978-3-7643-2419-3 . -doi :/ 978-3-7643-7390-0 .
↑ Øksendal, B.; Sulem, AS Control estocástico aplicado de difusiones de salto (neopr.) . - 2007. - ISBN 978-3-540-69825-8 . -doi : 10.1007 / 978-3-540-69826-5 .
↑ Karatzas, Ioannis; ShreveSteven E.Métodos de Finanzas Matemáticas (indefinido) . - 1998. - T. 39 . - ISBN 978-0-387-94839-3 . -doi : 10.1007/ b98840.