Teorema de Bayes en minería de datos

El teorema de Bayes describe la probabilidad de un evento, con base en el conocimiento previo de las condiciones que podrían estar relacionadas con el evento. En otras palabras, el teorema de Bayes es el complemento de la probabilidad condicional. 

Con la ayuda de la probabilidad condicional, uno puede encontrar la probabilidad de X dado H, y se denota por P(X | H) . Ahora el teorema de Bayes establece que si conocemos la probabilidad condicional ( P(X | H)) entonces podemos encontrar P(H | X) , dada la condición de que ya conocemos P(X) y P(H) .

El teorema de Bayes lleva el nombre de Thomas Bayes. Primero hace uso de la probabilidad condicional para proporcionar un algoritmo que usa evidencia para calcular los límites de un parámetro desconocido. El teorema de Bayes tiene dos tipos de probabilidades:

1. Probabilidad previa [P(H)]
2. Probabilidad Posterior [P(H/X)]

Dónde,

• X – X es una tupla de datos.
• H – H es alguna Hipótesis.

1. Probabilidad Previa

La probabilidad previa es la probabilidad de que ocurra un evento antes de la recopilación de nuevos datos. Es la mejor evaluación lógica de la probabilidad de un resultado que se basa en el conocimiento actual del evento antes de que se realice la inspección.

2. Probabilidad Posterior

Cuando se recopilan nuevos datos o información, la probabilidad previa de un evento se revisará para producir una medida más precisa de un posible resultado. Esta probabilidad revisada se convierte en la probabilidad posterior y se calcula utilizando el teorema de Bayes. Entonces, la Probabilidad Posterior es la probabilidad de que ocurra un evento X dado que ha ocurrido el evento H.

Por ejemplo 

Supongamos que tres bolsas tienen las etiquetas A, B y C. Una bolsa tiene una pelota roja, mientras que las otras dos no. La probabilidad previa de que se encuentre una bola roja en la bolsa B es un tercio o 0,333. Pero cuando se ve la bolsa C y el resultado muestra que no hay una bola roja en esa bolsa, entonces la probabilidad posterior de encontrar una bola roja en las bolsas A y B se vuelve 0.5, ya que cada bolsa tiene una de dos posibilidades.

Fórmula 

El teorema de Bayes, se puede representar matemáticamente mediante la siguiente ecuación:

Dónde,

• H y X son los eventos y,
• P (X) ≠ 0
• P(H/X) – Probabilidad condicional de H.

                          Dado que ocurre X.

• P(X/H) – Probabilidad condicional de X.

                          Dado que ocurre H.

• P(H) y P(X) – Probabilidades previas de que ocurran H y X independientes entre sí.

                                     A esto se le llama probabilidad marginal.

Fórmula Derivación del Teorema de Bayes

According to conditional probability, we know that
P(X|H) = P(X and H)/P(H)

Therefore,
P(X and H) = P(X|H) * P(H) ---------- [1]

Similarly,
P(H|X) = P(H and X)/P(X)
       = P(X and H)/P(X) [Order does not matter in Joint Probability]

Therefore,
P(X and H) = P(H|X) * P(X) --------- [2]

Now from equation [1] and [2],
P(X|H) * P(H) = P(H|X) * P(X)

⇒ P(X|H) = P(H|X) * P(X)/P(H)

It means that if we know P(X|H), then we can find out P(H | X), 
given the condition that P(X) and P(H) are already known to us.

 

Ahora, consideremos X1, X2, X3…..Xk como un grupo de eventos que tienen probabilidad P(Xi), i = 1, 2, 3…..k y para cualquier evento H donde P(H) > 0.

P(Xi|H) = P(Xi and H) / P(H)
        = P(H|Xi)*P(Xi) / ∑[P(H|Xi)*P(Xi) 

 

To find Reverse Probabilities : Bayes' Theorem
P(X1|H) = P(H|X1)*P(X1) / P(H)

Where 
- P(X1) and P(H) are called marginal probabilities.
- P(X1) and P(H|X1) is already given.

Therefore, P(H) can be calculated as given below :
P(H) = P(H|X1)*P(X1) + P(H|X2)*P(X2) + P(H|X3)*P(X3)
       (This is also known as Total Probability)

To find Reverse Probabilities : Bayes' Theorem
P(X1|H') = P(H'|X1)*P(X1) / P(H')

Now, P(H) can be calculated as
P(H') = P(H'|X1)*P(X1) + P(H'|X2)*P(X2) + P(H'|X3)*P(X3)

Aplicaciones del Teorema de Bayes 

En el mundo real, hay muchas aplicaciones del Teorema de Bayes. Algunas aplicaciones se dan a continuación: 

• También se puede utilizar como bloque de construcción y punto de partida para metodologías más complejas, por ejemplo, las populares redes bayesianas.
• Utilizó problemas de clasificación y otras cuestiones relacionadas con la probabilidad.
• Inferencia bayesiana, un enfoque particular de la inferencia estadística.
• En genética, el teorema de Bayes se puede utilizar para calcular la probabilidad de que un individuo tenga un genotipo específico.

Ejemplos

1. SpamAssassin funciona como un filtro de correo para identificar el spam en el que los usuarios entrenan al sistema. En los correos electrónicos, considera patrones en las palabras que los usuarios marcan como spam. Por ejemplo, puede haber aprendido que la palabra «liberar» está marcada como spam en el 30% de los correos electrónicos. Concluyendo que el 0,8% de los correos electrónicos que no son spam que incluyen la palabra «liberar» y el 40% de todos los correos electrónicos que recibe el usuario son spam. Encuentre la probabilidad de que un correo sea spam si en él aparece la palabra “liberar”.

Solution :

Given,
P(Release | Spam) = 0.30
P(Release | Non Spam) = 0.008
P(Spam) = 0.40 
        => P(Non Spam) = 0.40
        
P(Spam | Release) = ?

Now, using Bayes’ Theorem:
P(Spam | Release) = P(Release | Spam) * P(Spam) / P(Release)
                  = 0.30 * 0.40 / (0.40 * 0.30 + 0.30 * 0.008)
                  = 0.980
                  
Hence, the required probability is 0.980.

2. La Bolsa 1 contiene 4 bolas blancas y 8 negras y la Bolsa 2 contiene 5 bolas blancas y 3 negras. De una de las bolsas se extrae una bola al azar y la bola extraída sale negra. Encuentre la probabilidad de que la bola se extraiga de la bolsa 1.

Solution:

Given,
Let E1, E2 and A be the three events where,
E1 = Event of selecting Bag1
E2 = Event of selecting Bag2
A = Event of drawing black ball

Now, 
P(E1) = P(E2) = 1/2
P(drawing a black ball from Bag1) = P(A|E1) = 8/12 = 2/3
P(drawing a black ball from Bag2) = P(A|E2) = 3/8 

By using Bayes' Theorem, the probability of drawing a black ball from Bag1,
P(E1|A) = P(A|E1) * P(E1) / P(A|E1) * P(E1) + P(A|E2) * P(E2) 
                [P(A|E1) * P(E1) + P(A|E2) * P(E2) = Total Probability]
= (2/3 * 1/2) / (2/3 * 1/2 + 3/8 * 1/2)
        = 16/25
        
Hence, the probability that the ball is drawn from Bag1 is 16/25