Teorema de Bayes

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 6 de febrero de 2022; las comprobaciones requieren 3 ediciones .

El teorema de Bayes (o fórmula de Bayes ) es uno de los principales teoremas de la teoría elemental de la probabilidad , que permite determinar la probabilidad de un evento, siempre que haya ocurrido otro evento que sea estadísticamente interdependiente con él. En otras palabras, según la fórmula de Bayes, es posible recalcular con mayor precisión la probabilidad, teniendo en cuenta tanto la información previamente conocida como los datos de nuevas observaciones. La fórmula de Bayes se puede derivar de los axiomas básicos de la teoría de la probabilidad, en particular de la probabilidad condicional. Una característica del teorema de Bayes es que su aplicación práctica requiere una gran cantidad de cálculos, cálculos, por lo que las estimaciones bayesianas comenzaron a usarse activamente solo después de la revolución en las tecnologías informáticas y de redes.

Cuando surgió el teorema de Bayes, las probabilidades utilizadas en el teorema estaban sujetas a una serie de interpretaciones probabilísticas. Una de estas interpretaciones decía que la derivación de la fórmula está directamente relacionada con la aplicación de un enfoque especial al análisis estadístico. Si usamos la interpretación bayesiana de probabilidad , entonces el teorema muestra cómo el nivel personal de confianza puede cambiar dramáticamente debido a la cantidad de eventos que han ocurrido. Esta es la conclusión de Bayes, que se convirtió en fundamental para las estadísticas bayesianas. Sin embargo, el teorema no solo se usa en el análisis bayesiano, sino que también se usa activamente para una gran cantidad de otros cálculos.

Los experimentos psicológicos [1] han demostrado que las personas a menudo estiman incorrectamente la probabilidad real (matemáticamente correcta) de un evento en función de alguna experiencia adquirida ( probabilidad a posteriori ), porque ignoran la probabilidad misma de una suposición ( probabilidad a priori ). Por tanto, el resultado correcto según la fórmula de Bayes puede ser muy diferente del esperado intuitivamente.

El teorema de Bayes lleva el nombre de su autor, Thomas Bayes (1702-1761), un matemático y clérigo inglés que fue el primero en proponer el uso del teorema para corregir creencias basadas en datos actualizados. Su obra " Un ensayo para resolver un problema en la doctrina de las posibilidades " se publicó por primera vez en 1763 [2] , 2 años después de la muerte del autor. Antes de que el trabajo póstumo de Bayes fuera aceptado y leído en la Royal Society, Richard Price lo editó y actualizó extensamente . Sin embargo, estas ideas no se hicieron públicas hasta que fueron redescubiertas y desarrolladas por Pierre-Simon Laplace , quien publicó por primera vez la formulación moderna del teorema en su libro de 1812 The Analytic Theory of Probability.

Sir Harold Jeffreys escribió que el teorema de Bayes es "para la teoría de la probabilidad lo que el teorema de Pitágoras es para la geometría " [3] .

Redacción

Fórmula de Bayes :

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))

dónde

PENSILVANIA)

— probabilidad a priori de la hipótesis A (véase más adelante el significado de dicha terminología);

PAG(A\mid B)

es la probabilidad de la hipótesis A en la ocurrencia del evento B (probabilidad a posteriori);

P(B\mid A)

es la probabilidad de ocurrencia del evento B si la hipótesis A es verdadera ;

P(B)

es la probabilidad total de ocurrencia del evento B .

Prueba

La fórmula de Bayes se deriva de la definición de probabilidad condicional . La probabilidad de un evento conjunto se expresa de dos maneras en términos de probabilidades condicionales $AB$

P(AB)=P(A\mid B)P(B)=P(B\mid A)P(A)

Como consecuencia $P(A\mid B)={\frac {P(AB)}{P(B)))={\frac {P(B\mid A)\,P(A)}{P(B )}}$

Computación P(B)

En problemas y aplicaciones estadísticas , generalmente se calcula mediante la fórmula para la probabilidad total de un evento en función de varias hipótesis inconsistentes con una probabilidad total de 1. $P(B)$

P(B)=\sum _{i=1}^{N}P(B\mid A_{i})P(A_{i})

donde las probabilidades bajo el signo de suma son conocidas o pueden estimarse experimentalmente.

En este caso, la fórmula de Bayes se escribe de la siguiente manera:

P(A_{j}\mid B)={\frac {P(B\mid A_{j})P(A_{j})}{\sum _{i=1}^{N}P (B\mid A_{i})P(A_{i})}}

"Significado físico" y terminología

La fórmula de Bayes te permite "reordenar la causa y el efecto": dado el hecho conocido de un evento, calcula la probabilidad de que haya sido causado por una causa determinada. Al mismo tiempo, es necesario entender que para la aplicación del teorema no es obligatoria una relación causal entre y . $A$ $B$

Los hechos que reflejan la acción de las "causas" en este caso se denominan hipótesis , ya que son los presuntos hechos que originaron lo dado. La probabilidad incondicional de la validez de la hipótesis se llama a priori (la probabilidad de que la causa sea en general ), y la condicional, teniendo en cuenta el hecho del evento, se llama a posteriori (la probabilidad de que la razón resulte ser , teniendo en cuenta los datos sobre el evento ).

Ejemplos

Ejemplo 1

Deje que el evento : el automóvil no arranca y la hipótesis : no hay combustible en el tanque. Obviamente, la probabilidad de que el automóvil no arranque si no hay combustible en el tanque es igual a uno. En consecuencia, la probabilidad posterior de que no haya combustible en el tanque si el automóvil no arranca, es decir , es igual a , es decir, la relación entre la probabilidad previa de que no haya combustible en el tanque y la probabilidad de que el coche no arranca. Por ejemplo, si la probabilidad previa de que no haya combustible en el tanque es 0.01, y la probabilidad de que el automóvil no arranque es 0.02, y un automóvil seleccionado al azar no arrancó, entonces la probabilidad de que no haya combustible en su tanque es 0, 5. $B$ $A$ $P(B\mid A)$ $PAG(A\mid B)$ ${\frac{P(A)}{P(B)))$

Ejemplo 2

Sea la probabilidad de matrimonio para el primer trabajador , para el segundo trabajador- , y para el tercero- . El primero hizo las partes, el segundo hizo las partes y el tercero hizo las partes. El capataz toma una pieza al azar y resulta ser defectuosa. La pregunta es, ¿cuál es la probabilidad de que esta parte la haya hecho el tercer trabajador? $p_{1}=0{,}9$ $p_{2}=0{,}5$ $p_{3}=0{,}2$ $n_{1}=800$ $n_{2}=600$ $n_{3}=900$

Un evento es una pieza defectuosa, un evento es una pieza producida por un trabajador . Entonces , donde , a . $B$ $Ai}$ $i$ $P(A_{i})=n_{i}/N$ $N=n_{1}+n_{2}+n_{3}$ $P(B\mid A_{i})=p_{i}$

De acuerdo con la fórmula de probabilidad total

P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i}).

De acuerdo con la fórmula de Bayes, obtenemos:

P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)))={\frac {P( B\mid A_{3})P(A_{3})}{P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2 })+P(B\mid A_{3})P(A_{3})}}=

={\frac{p_{3}n_{3}/N}{p_{1}n_{1}/N+p_{2}n_{2}/N+p_{3}n_{3}/N} }={\frac {0{,}2\cdot 900/2300}{0{,}9\cdot 800/2300+0{,}5\cdot 600/2300+0{,}2\cdot 900/2300 }}=0{,}15.

Ejemplo 3

El entomólogo sugiere que el escarabajo puede ser una subespecie rara de escarabajo , ya que tiene un patrón en su cuerpo. En las subespecies raras, el 98% de los escarabajos tienen patrón, o P(patrón | raro) = 0,98. Entre los escarabajos comunes, solo el 5 % tiene patrón: P(patrón | regular) = 0,05. Solo hay un 0,1% de las especies raras de escarabajos entre toda la población: P(raro) = 0,001. ¿Cuál es la probabilidad de que un escarabajo estampado sea una subespecie rara, es decir, cuál es P(raro | patrón) ?

Del teorema de Bayes extendido obtenemos (cualquier escarabajo puede ser raro o común): ${\begin{alineado}P({\text{raro}}\mid {\text{patrón)))&={\frac {P({\text{patrón}}\mid {\text{raro }})\times P({\text{raro}})}{P({\text{patrón}}\mid {\text{raro}})\times P({\text{raro}})\, +\,P({\text{patrón}}\mid {\text{simple)))\times P({\text{simple)))))\\[8pt]&={\frac {0{, }98\times 0{,}001}{0{,}98\times 0{,}001+0{,}05\times 0{,}999}}\\[8pt]&\approx 0{,} 019.\end{alineado}}$

El ejemplo 4 es una paradoja del teorema de Bayes

Sea una enfermedad con una frecuencia de distribución entre la población de 0,001 y un método de examen de diagnóstico que, con una probabilidad de 0,9, identifique a un paciente, pero al mismo tiempo tenga una probabilidad de 0,01 de un resultado falso positivo: un resultado erróneo. detección de una enfermedad en una persona sana ( más… ). Encuentre la probabilidad de que una persona esté sana si fue reconocida como enferma durante el examen.

Designemos el evento de que el examen mostró que la persona está enferma como "enfermo" entre comillas, enfermo - el evento de que la persona está realmente enferma, saludable - el evento de que la persona está realmente sana. Entonces las condiciones dadas se reescriben de la siguiente manera:

${\begin{alineado}P({\text{"enfermo}}\mid {\text{enfermo)))&=0{,}9\end{alineado}}$

${\begin{alineado}P({\text{“enfermo”}}\mid {\text{sano)))&=0{,}01\end{alineado}}$

${\begin{alineado}P({\text{enfermo)))&=0{,}001\end{alineado}}$ , mientras , significa: ${\begin{alineado}P({\text{saludable)))&=1-P({\text{enfermo)))\end{alineado))$

${\begin{alineado}P({\text{saludable)))&=0{,}999\end{alineado))$

La probabilidad de que una persona esté sana, si fue reconocida como enferma, es igual a la probabilidad condicional:

${\begin{alineado}P({\text{saludable}}\mid {\text{“enfermo”)))\end{alineado}}$

Para encontrarlo, primero calculamos la probabilidad total de ser reconocido como paciente:

${\begin{alineado}P({\text{"enfermo")))&=P({\text{"enfermo"}}\mid {\text{saludable)))\cdot P({\ text{sano)))+P({\text{"enfermo"}}\mid {\text{enfermo)))\cdot P({\text{enfermo)))\\&=0{,}01\ veces 0{,}999+0{,}9\veces 0{,}001=0{,}01089\end{alineado}}$

La probabilidad de que una persona esté sana si el resultado es "enfermo":

${\begin{alineado}P({\text{saludable}}\mid {\text{"enfermo")))&={\frac {P({\text{"enfermo"}}\mid { \text{saludable)))\cdot P({\text{saludable)))}{P({\text{"enfermo")))))\\&={\frac {0{,}01\times 0{,}999}{0{,}01089}}\aproximadamente 0{,}917\end{alineado}}$

Así, el 91,7% de las personas cuyo examen arrojó el resultado “enfermo” son en realidad personas sanas. La razón de esto es que, según la condición del problema, la probabilidad de un resultado falso positivo, aunque pequeña, es un orden de magnitud mayor que la proporción de pacientes en el grupo de personas examinado.

Si los resultados erróneos de la encuesta pueden considerarse aleatorios, un segundo examen de la misma persona dará un resultado independiente del primero. En este caso, para reducir la proporción de resultados falsos positivos, tiene sentido volver a examinar a las personas que recibieron el resultado "enfermo". La probabilidad de que una persona esté sana después de recibir un resultado repetido de "enfermo" también se puede calcular utilizando la fórmula de Bayes:

${\begin{aligned}P{\bigl (}({\text{saludable}}\mid {\text{"enfermo"}}{\bigr)}\mid {\text{"enfermo"}} )&={\frac {P({\text{“enfermo”)\mid {\text{saludable)))\cdot {\bigl (}P({\text{“enfermo”}}\mid {\ text {saludable)))\cdot P({\text{saludable))){\bigr )}}{P({\text{"enfermo"}}\mid {\text{saludable)))\cdot {\ bigl (}P({\text{"enfermo")\mid {\text{sano)))\cdot P({\text{sano))){\bigr )}+P({\text{"enfermo »} }\mid {\text{enfermo)))\cdot {\bigl (}P({\text{"enfermo}}\mid {\text{enfermo)))\cdot P({\text{enfermo}}) {\bigr )}}}\\&={\frac {0{,}01\times 0{,}01\times 0{,}999}{0{,}01\times 0{,} 01\times 0{,}999+0{,}9\times 0{,}9\times 0{,}001}}\aproximadamente 0{,}1098\end{alineado}}$

Opciones para interpretar probabilidades en el teorema de Bayes

Matemáticamente, el teorema de Bayes muestra la relación entre la probabilidad del evento A y la probabilidad del evento B, P ( A ) y P ( B ), la probabilidad condicional de la ocurrencia del evento A con B existente y la ocurrencia del evento B con existentes A, P ( A | B ) y P ( B | A).

En forma general, la fórmula de Bayes se ve así:

${\displaystyle P(A\mid B)={P(B\mid A)\,P(A)}/{P(B)))$

El significado de la expresión depende de cómo se interpreten las probabilidades en la fórmula dada.

Interpretación de Bayes

En la interpretación bayesiana, la probabilidad mide el nivel de confianza. El teorema de Bayes une la credibilidad de una suposición antes y después de tener en cuenta la evidencia obvia. Por ejemplo, alguien sugirió que cuando se lanza una moneda, caerá 2 veces más a menudo con cruz hacia arriba y cara hacia abajo. Inicialmente, el grado de confianza de que ocurrirá tal evento, la moneda caerá exactamente así: 50%. El nivel de confianza puede aumentar al 70% si la suposición está respaldada por evidencia. [ aclarar ]

Para suposición (hipótesis) A y prueba B

P(A) - probabilidad a priori de la hipótesis A, nivel inicial de confianza en la suposición A;
P(A | B) es la probabilidad posterior de la hipótesis A cuando ocurre el evento B;
la razón P ( B | A )/ P ( B ) muestra cómo el evento B ayuda a cambiar el nivel de confianza en la suposición A.

Interpretación de frecuencias

En la interpretación de frecuencia, el teorema de Bayes calcula las proporciones de ciertos resultados de un evento. Suponga que un experimento se ha realizado muchas veces y en algunos casos ha dado como resultado los resultados A y/o B. Entonces:

P ( A ) - la proporción de casos cuando el experimento condujo al resultado A.
P ( B ) - la proporción de casos cuando el experimento condujo al resultado B.
P ( B | A ) - la proporción de casos con resultado B entre casos con resultado A.
P ( A | B ) es la proporción de casos con resultado A entre los casos con resultado B.

El papel del teorema de Bayes se puede entender mejor a partir de los diagramas de árbol presentados a la derecha. Los diagramas demuestran el diferente orden de distribución de eventos por la presencia o ausencia de los resultados A y B. El teorema de Bayes actúa como enlace entre estas distribuciones.

Formularios

Eventos

Forma simple

Para los eventos A y B , siempre que P ( B ) ≠ 0,

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))\cdot

Muchos suplementos al teorema de Bayes afirman que se conoce el evento B, y es necesario comprender cómo el conocimiento sobre el evento B afecta la certeza de que ocurrirá el evento A. En este caso, el denominador de la última expresión, la probabilidad de que se conoce la ocurrencia del evento B -; queremos cambiar A. El teorema de Bayes muestra que las probabilidades posteriores son proporcionales al numerador:

P(A\mid B)\propto P(A)\cdot P(B\mid A)\

(proporcionalidad de A para un B dado ). En resumen, el posterior es proporcional al anterior (ver Lee, 2012, Capítulo 1).

Si los eventos A 1 , A 2 , ... son mutuamente excluyentes y exhaustivos, es decir, solo uno de los eventos es posible, dos eventos no pueden ocurrir simultáneamente, podemos determinar el coeficiente de proporcionalidad, centrándonos en el hecho de que sus probabilidades deben suma uno. Por ejemplo, para un evento A dado , el evento A mismo y su opuesto ¬A son mutuamente excluyentes y exhaustivos. Denotando el factor de proporcionalidad como C tenemos:

P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)\

y .

P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)

Combinando estas dos fórmulas, obtenemos que:

c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A))).

Forma extendida

A menudo , el espacio de eventos (como { A j }) se define en términos de P ( A j ) y P ( B | A j ). Es en este caso que es útil determinar P ( B ) aplicando la fórmula de probabilidad total :

P(B)={\sum_{j}P(B\mid A_{j})P(A_{j})},

\implica P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P (B\mid A_{j})\,P(A_{j})}}\cdot

En particular

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A )P(\neg A)}}

Variables aleatorias continuas

Considere el espacio de eventos elementales Ω formado por dos cantidades X e Y . Básicamente, el teorema de Bayes se aplica a los eventos A = { X = x } y B = { Y = y }. Sin embargo, las expresiones se vuelven 0 en los puntos donde la variable tiene una densidad de probabilidad finita . Para continuar utilizando de manera útil el teorema de Bayes, se puede expresar en términos de densidades adecuadas (ver Derivación de fórmulas ).

Forma simple

Si X es continua e Y es discreta, entonces

f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y))) .

Si X es discreto e Y es continuo,

P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y))) .

Si tanto X como Y son continuos,

f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y) }}.

Forma extendida

El espacio de eventos continuos a menudo se define como el numerador de las condiciones A. El espacio de eventos continuos a menudo se representa como el numerador. En el futuro, es útil deshacerse del denominador usando la fórmula para la probabilidad total . Para 'f Y ( y ), esto se convierte en una integral:

f_{Y}(y)=\int_{-\infty}^{\infty}f_{Y}(y\mid X=\xi)\,f_{X}(\xi)\,d \xi.

Regla de Bayes

La regla de Bayes es un teorema de Bayes modificado:

O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)

dónde

\Lambda (A_{1}:A_{2}|B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2)))))

Esto se llama regla de Bayes o razón de verosimilitud. La diferencia en la probabilidad de que ocurran dos eventos es simplemente la razón de las probabilidades de los dos eventos. De este modo,

O(A_{1}:A_{2})={\frac{P(A_{1})}{P(A_{2})))

O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)))

Derivación de fórmulas

Para eventos

El teorema de Bayes se puede derivar de la definición de probabilidad :

P(A\mid B)={\frac {P(A\cap B)}{P(B))),{\text{si}}P(B)\neq 0,

P(B\mid A)={\frac {P(A\cap B)}{P(A))),{\text{si}}P(A)\neq 0,

\implica P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A),

\implica P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))),{\text{ if }}P(B ) \neq 0.

Para variables aleatorias

Para dos variables aleatorias continuas X e Y , el teorema de Bayes se puede derivar de manera similar de la definición de una distribución condicional :

f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)))

f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)))

\implica f_{X}(x\mid Y=y)={\frac {f_{Y}(y|X=x)\,f_{X}(x)}{f_{Y}(y )}}.

Véase también

Notas

↑ Kahneman, et al, 2005 , págs. 153-160.
↑ Bayes, Thomas y Price, Richard (1763). “Ensayo para la solución de un problema en la doctrina del azar. Por el difunto Rev. Señor. Bayes, comunicado por el Sr. Price, en una carta a John Canton, MA y FRS”. Transacciones filosóficas de la Royal Society de Londres 53: 370-418. (enlace no disponible) . Consultado el 21 de abril de 2010. Archivado desde el original el 10 de abril de 2011. (indefinido)
↑ Jeffreys, Harold (1973), Scientific Inference (3.ª ed.), Cambridge University Press, p. 31, ISBN 978-0-521-18078-8

Literatura

Gmurman V. E. Teoría de la probabilidad y estadística matemática, - M . : Educación superior. 2005
Juicio bajo incertidumbre: heurística y sesgos / Daniel Kahneman, et al. — 21 - Prensa de la Universidad de Cambridge, 2005. - 555 p. - ISBN 978-0-521-28414-1 .
Eliezer Yudkowski . Explicación visual del teorema de Bayes

Para estudio adicional

McGrayne, Sharon Bertsch. La teoría que no moriría: cómo la regla de Bayes descifró el código Enigma, persiguió a los submarinos rusos y salió triunfante de dos siglos de controversia . - Prensa de la Universidad de Yale , 2011. - ISBN 978-0-300-18822-6 .
Andrew Gelman, John B. Carlin, Hal S. Stern y Donald B. Rubin (2003), Análisis de datos bayesianos, segunda edición, CRC Press.
Charles M. Grinstead y J. Laurie Snell (1997), "Introducción a la probabilidad (2.ª edición)", American Mathematical Society (pdf gratuito disponible [1] .
Pierre-Simon Laplace. (1774/1986), "Memorias sobre la probabilidad de las causas de los eventos", Statistical Science 1(3):364-378.
Peter M. Lee (2012), Estadística bayesiana: una introducción, Wiley.
Rosenthal, Jeffrey S. (2005): "Alcanzado por un rayo: el curioso mundo de las probabilidades". Harper Collings.
Stephen M. Stigler (1986), "Memorias de 1774 de Laplace sobre la probabilidad inversa", Statistical Science 1 (3): 359-363.
Piedra, JV (2013). Capítulo 1 del libro Regla de Bayes: una introducción tutorial , Universidad de Sheffield, Inglaterra.

Enlaces

La teoría que no moriría de Sharon Bertsch McGrayne Reseña del libro del New York Times de John Allen Paulos el 5 de agosto de 2011
Weisstein, Teorema de Eric W. Bayes (inglés) en el sitio web Wolfram MathWorld .
Teorema de Bayes (inglés) en el sitio web de PlanetMath .
Teorema de Bayes y la locura de la predicción
Un tutorial sobre probabilidad y el teorema de Bayes diseñado para estudiantes de psicología de la Universidad de Oxford
Una explicación intuitiva del teorema de Bayes por Eliezer S. Yudkowsky

diccionarios y enciclopedias	gran chino gran noruego gran ruso lituano universal Britannica (en línea)
En catálogos bibliográficos	TIERRA : 4144221-0