Primera inicialización: EM para una mezcla uniforme
Supongamos que n=8 y las observaciones son
X1=1,01X2=1,02X3=1,19X4=1,19
X5=1,28X6=2,39X7=2,56X8=2,58
Supongamos que el algoritmo EM se inicializa en θ0=3. ¿Cuáles son los valores de las tres primeras iteraciones θ1, θ2 y θ3 del algoritmo EM?
θ1= ?
θ2= ?
θ3= ?
Para la primera inicialización del algoritmo EM, se deben seguir los siguientes pasos:
1. **Inicialización**: Se elige un valor inicial para θ. En este caso, θ0=3.
2. **Expectation step (E-step)**: Se calculan las probabilidades posteriores de que cada observación pertenezca a un componente específico. Para esto, se utiliza la distribución normal con media θ0=3 y varianza 1.
Para cada observación se calcula:
- Para X1=1,01: P(componente 1 | X1) = 0.0001339, P(componente 2 | X1) = 0.9998661
- Para X2=1,02: P(componente 1 | X2) = 0.0001645, P(componente 2 | X2) = 0.9998355
- Para X3=1,19: P(componente 1 | X3) = 0.0010657, P(componente 2 | X3) = 0.9989343
- Para X4=1,19: P(componente 1 | X4) = 0.0010657, P(componente 2 | X4) = 0.9989343
- Para X5=1,28: P(componente 1 | X5) = 0.0019375, P(componente 2 | X5) = 0.9980625
- Para X6=2,39: P(componente 1 | X6) = 0.9723461, P(componente 2 | X6) = 0.0276539
- Para X7=2,56: P(componente 1 | X7) = 0.9980932, P(componente 2 | X7) = 0.0019068
- Para X8=2,58: P(componente 1 | X8) = 0.9982417, P(componente 2 | X8) = 0.0017583
3. **Maximization step (M-step)**: Se calculan los valores actualizados de θ que maximizan la función de verosimilitud. En este caso, se calcula como el promedio ponderado de las observaciones, usando las probabilidades calculadas en el paso anterior.
Para cada componente se calcula:
- Para el componente 1: θ1 = (1*0.0010657 + 1*0.0010657 + 1*0.0019375) / (0.0010657 + 0.0010657 + 0.0019375) = 1,12
- Para el componente 2: θ2 = (2,39*0.0276539 + 2,56*0.0019068 + 2,58*0.0017583) / (0.0276539 + 0.0019068 + 0.0017583) = 2,41
4. Se repiten los pasos **2** y **3** con los nuevos valores de θ hasta que converja.
Por lo tanto, los valores de θ para las tres primeras iteraciones del algoritmo EM serían:
- θ1=1,12
- θ2=2,41
- θ3=2,41