Probabilidad bayesiana

La probabilidad bayesiana es una interpretación del concepto de probabilidad utilizado en la teoría bayesiana. La probabilidad se define como el grado de confianza en la verdad de una proposición . Para determinar el grado de confianza en la veracidad de un juicio al recibir nueva información, la teoría bayesiana utiliza el teorema de Bayes .

Historia

La teoría bayesiana y la probabilidad bayesiana llevan el nombre de Thomas Bayes (1702-1761), quien demostró un caso especial del teorema que ahora se llama teorema de Bayes . El término "bayesiano" comenzó a usarse alrededor de 1950 , y la mayor parte de lo que ahora se llama "bayesiano" no está directamente relacionado con Bayes. Laplace demostró un caso más general del teorema de Bayes y lo utilizó para resolver problemas de mecánica celeste y estadísticas médicas. Laplace, sin embargo, no consideró importante este teorema para el desarrollo de la teoría de la probabilidad. Se adhirió a la definición clásica de probabilidad .

Frank Ramsey , en The Foundations of Mathematics (1931), fue el primero en plantear la idea de utilizar la certeza subjetiva para determinar la probabilidad. Ramsey propuso esta definición como una adición a la definición de frecuencia , que estaba más desarrollada en ese momento. El estadístico Bruno de Finetti aplicó las ideas de Ramsey en 1937 como alternativa a la determinación de la frecuencia. Leonard Savage amplió esta idea en The Foundations of Statistics (1954).

Ha habido intentos de definir formalmente el concepto intuitivo de "grado de certeza". La definición más general se basa en una apuesta : el grado de certeza se refleja en la cantidad de apuesta que uno está dispuesto a apostar a que una proposición es verdadera.

Opciones

Variaciones en la Interpretación Bayesiana de la Probabilidad: Probabilidad Subjetiva y Probabilidad Lógica .

Relación con probabilidad de frecuencia

La probabilidad bayesiana se contrasta con la probabilidad de frecuencia , en la que la probabilidad está determinada por la frecuencia relativa de ocurrencia de un evento aleatorio durante observaciones suficientemente largas.

La estadística matemática , basada en la probabilidad de frecuencia , fue desarrollada por R. A. Fisher , E. Pearson y E. Neumann en la primera mitad del siglo XX. A. Kolmogorov también utilizó la interpretación de frecuencia al describir su axiomática basada en la integral de Lebesgue .

La diferencia entre la interpretación bayesiana y la frecuencia juega un papel importante en las estadísticas prácticas. Por ejemplo, al comparar dos hipótesis sobre los mismos datos, la teoría de la prueba de hipótesis estadística , basada en la interpretación de frecuencias, permite rechazar o no los modelos de hipótesis. Al mismo tiempo, un modelo adecuado puede ser rechazado por el hecho de que otro modelo parece más adecuado en estos datos. Los métodos bayesianos, por el contrario, en función de los datos de entrada, dan la probabilidad posterior de ser adecuados para cada una de las hipótesis.

Aplicación

Desde la década de 1950, la teoría bayesiana y la probabilidad bayesiana se han aplicado ampliamente mediante, por ejemplo, el teorema de Cox y el principio de máxima entropía . Para muchos[ ¿Qué? ] , los métodos bayesianos dan mejores resultados que los métodos basados en probabilidad de frecuencia .

La teoría bayesiana se utiliza como método para adaptar las probabilidades existentes a los datos experimentales recién obtenidos.

La teoría bayesiana se utiliza para construir filtros inteligentes utilizados, por ejemplo, para filtrar correos electrónicos no deseados.

Probabilidades de probabilidades

Un detalle desagradable asociado con el uso de la probabilidad bayesiana es que no es suficiente especificar la probabilidad para comprender su naturaleza. Considere las siguientes situaciones:

Tienes una caja de bolas blancas y negras y no tienes información sobre su número.
Tienes una caja de bolas blancas y negras. Sacaste bolas al azar, exactamente la mitad de ellas resultaron ser negras. $norte$
Tienes una caja de bolas blancas y negras y sabes que exactamente la mitad de ellas son negras.

La probabilidad bayesiana de "sacar la siguiente bola negra" en cada uno de estos casos es 0,5. Keynes llamó a esto el problema del "grado de certeza". Este problema se puede resolver introduciendo la probabilidad de una probabilidad (llamada metaprobabilidad ).

1. Suponga que tiene una caja de bolas blancas y negras y no tiene información sobre cuántas bolas de qué color hay en ella. Let -this es una afirmación de que la probabilidad de sacar una bola negra a continuación es , entonces la distribución de probabilidad será una distribución beta :

\ theta = p

pags

\para todos \theta \in [0,1]

f(\theta )=\mathrm {B} (\alpha _{B}=1,\alpha _{W}=1)={\frac {\Gamma (\alpha _{B}+\alpha _{W})}{\Gamma (\alpha_{B})\cdot \Gamma (\alpha_{W})}}\theta ^{\alpha_{B}-1}(1-\theta) ^{\alpha _{W}-1}={\frac {\Gamma (2)}{\Gamma (1)\cdot \Gamma (1)))\theta ^{0}(1-\theta )^ {0}=1

Suponiendo que los sorteos de bolas son independientes y equiprobables, la distribución de probabilidad , después de sacar m bolas negras y n bolas blancas, también será una distribución Beta con parámetros , .

P(\theta \mid m,n)

\alpha _{B}=1+m

\alpha _{W}=1+n

2. Supongamos que ha sacado bolas de una caja , la mitad de ellas resultaron ser negras y el resto, blancas. En este caso, la distribución de probabilidad será una distribución beta . La expectativa máxima a posteriori es .

norte

\ theta = p

\mathrm {B} \left({\frac {n}{2}}+1,{\frac {n}{2}}+1\right)

\ theta

\theta _{MAP}={\frac ({\frac {n}{2}}+1}{n+2}}=0{,}5

3. Sabes que exactamente la mitad de las bolas son negras y el resto son blancas. En este caso, la probabilidad es 0,5 con una probabilidad de 1: .

f(\theta)=\delta (\theta -0{,}5)

Véase también

Enlaces

Computerworld QuickStudy: Lógica bayesiana y filtros
Sociedad Internacional de Análisis Bayesiano Archivado el 21 de septiembre de 2021 en Wayback Machine Explicación más simple del análisis bayesiano
Libro de texto en línea: Teoría de la información, inferencia y algoritmos de aprendizaje Archivado el 17 de febrero de 2016 en Wayback Machine , por David MacKay, tiene muchos capítulos sobre métodos bayesianos, incluidos ejemplos introductorios; argumentos a favor de los métodos bayesianos (al estilo de Edwin Jaynes ); métodos Monte Carlo de última generación , métodos de paso de mensajes y métodos variacionales ; y ejemplos que ilustran las íntimas conexiones entre la inferencia bayesiana y la compresión de datos .
Un buen tutorial de introducción en línea a la probabilidad bayesiana . Archivado el 4 de mayo de 2009 en Wayback Machine de la Universidad Queen Mary de Londres .
Una explicación intuitiva del razonamiento bayesiano Una introducción muy suave de Eliezer Yudkowsky
Jaynes, ET (1998) Teoría de la probabilidad: la lógica de la ciencia Archivado el 8 de noviembre de 2020 en Wayback Machine .
Bretthorst, G. Larry, 1988, Análisis de espectro bayesiano y estimación de parámetros Archivado el 14 de mayo de 2011 en Wayback Machine en Lecture Notes in Statistics, 48, Springer-Verlag, Nueva York, Nueva York;
http://www-groups.dcs.st-andrews.ac.uk/history/Mathematicians/Ramsey.html Archivado el 9 de junio de 2019 en Wayback Machine .
David Howie: interpretación de probabilidad, controversias y desarrollos a principios del siglo XX , Cambridge University Press, 2002, ISBN 0-521-81251-8
Colin Howson y Peter Urbach: Scientific Reasoning: The Bayesian Approach , Open Court Publishing, 2ª edición, 1993, ISBN 0-8126-9235-7 , se centra en los fundamentos filosóficos de las estadísticas frecuentistas y bayesianas. Argumenta a favor de la interpretación subjetiva de la probabilidad.
Luc Bovens y Stephan Hartmann: Epistemología bayesiana . Oxford: Oxford University Press 2003. Extiende el programa bayesiano a escenarios de decisión más complejos (p. ej., testigos e instrumentos de medición dependientes y parcialmente fiables) utilizando modelos de redes bayesianas. El libro también prueba un teorema de imposibilidad para órdenes de coherencia sobre conjuntos de información y ofrece una medida que induce un orden de coherencia parcial.
Jeff Miller "Primeros usos conocidos de algunas de las palabras de las matemáticas (B)"
James Franklin La ciencia de la conjetura: evidencia y probabilidad antes de Pascal Archivado el 7 de febrero de 2008 en Wayback Machine , historia desde un punto de vista bayesiano.
Paul Graham "Filtrado de spam bayesiano" Archivado el 21 de junio de 2010 en Wayback Machine .
novomind AG "Herramienta de categorización de Outlook basada en filtrado bayesiano"
Análisis de decisiones de Howard Raiffa : conferencias introductorias sobre opciones bajo incertidumbre . McGraw Hill, serie universitaria personalizada. (1997) ISBN 0-07-052579-X
Devender Sivia, Análisis de datos: un tutorial bayesiano . Oxford: Clarendon Press (1996), págs. 7–8. ISBN 0-19-851889-7
Henk Tijms: comprensión de la probabilidad , Cambridge University Press, 2004
¿Es auténtico el retrato de Thomas Bayes? ¿Quién es este señor? ¿Cuando y donde nació él? Archivado el 21 de octubre de 2017 en Wayback Machine The IMS Bulletin , vol. 17 (1988), núm. 3, págs. 276–278
Filtro de spam bayesiano Archivado el 28 de febrero de 2021 en Wayback Machine para Microsoft Outlook
Pregunta a los expertos sobre el Teorema de Bayes, de Scientific American
Existe un debate continuo entre los estadísticos sobre la definición adecuada de probabilidad. [1] Archivado el 30 de junio de 2007 en Wayback Machine .