Cadenas de Markov

Modela transiciones aleatorias, evolución probabilística y equilibrio estacionario en sistemas discretos.

Contexto conceptual

Muchos sistemas cambian de estado de forma aleatoria: una partícula salta entre regiones, una molécula adopta distintas conformaciones o una población cambia entre clases. Una cadena de Márkov simplifica esa evolución suponiendo que el siguiente estado depende del estado actual, no de toda la historia. La descripción no sigue una trayectoria única, sino cómo cambia $p_i(n)$ con $n$. La estructura central está en $P$, que distribuye probabilidades entre estados y permite estudiar si el sistema olvida su condición inicial y converge hacia $\pi_{i}^{*}$.

🟢 Nivel esencial

Una cadena de Márkov describe transiciones aleatorias entre estados discretos. En cada paso, $P$ indica qué probabilidades existen para permanecer o saltar a otros estados. A partir de $\pi_{n}$ se obtiene $\pi_{n1}$, y al repetir el proceso evoluciona $p_i(n)$. Si después de muchos pasos las probabilidades dejan de cambiar, aparece $\pi^{*}$, cuya componente para cada estado es $\pi_{i}^{*}$. Esta situación representa equilibrio estadístico, no ausencia de movimientos. El sistema puede seguir cambiando de estado mientras la distribución global permanece constante. La convergencia no está garantizada: depende de que los estados se comuniquen y de que no exista una periodicidad que mantenga oscilaciones.

La idea clave es distinguir entre el estado observado y la distribución. Una trayectoria concreta ocupa un único estado, mientras la cadena describe frecuencias esperadas en muchas realizaciones o a lo largo de tiempos prolongados. Esta separación permite interpretar correctamente probabilidades, equilibrio y recurrencia.

Confundir ambos niveles es un error común: observar que una partícula concreta permanece varios pasos en el mismo estado no contradice la existencia de una distribución estacionaria, porque esta describe el comportamiento promedio de muchas trayectorias, no el destino de una sola.

🔵 Nivel formal

Fórmulas básicas

La evolución de una distribución se expresa mediante:

Evolución de la distribución

$\pi_{n}$ se multiplica por $P$ para obtener $\pi_{n1}$. Todas las componentes deben ser no negativas y sumar uno.

Una distribución estacionaria satisface:

Distribución estacionaria

$\pi^{*}$ permanece invariante tras una transición. Cada componente define $\pi_{i}^{*}$. La existencia no implica necesariamente unicidad ni convergencia desde cualquier condición inicial.

Preguntas reales del alumno

¿Una distribución estacionaria significa que el sistema no cambia? No. Cambian las trayectorias, pero no las proporciones globales.

¿Todas las cadenas convergen? No. La reducibilidad y la periodicidad pueden impedirlo.

¿Qué representa una entrada de $P_n$? La probabilidad acumulada de ir de un estado a otro tras varios pasos.

¿Por qué importa $\tau_{i}$? Mide con qué frecuencia reaparece un estado en el largo plazo.

¿Una trayectoria basta para estimar probabilidades? Solo si es suficientemente larga y la cadena es ergódica.

Síntesis final

Las cadenas de Márkov describen cómo reglas de transición locales generan evolución probabilística, equilibrio y recurrencia. La convergencia depende tanto de la matriz como de la estructura de comunicación entre estados. Una interpretación fiable también exige comprobar normalización, definición de estados y longitud del muestreo.