1. 14.7. Estados
Absorbentes

2. El estado k se llama estado absorbente si
pkk= 1, de manera que cada vez que la cadena
llegue al estado k permanece ahí para
siempre.
Si k es un estado absorbente y el proceso
comienza en el estado i, la probabilidad de
llegar en algún momento a k se llama
probabilidad de absorción al estado k dado
que el sistema comenzó en i

3. Si el estado k es absorbente, entonces el
conjunto e probabilidades de absorción fik
satisface el sistema de ecuaciones
𝑀
fik= Pijfjk, Para i= 0,1,…M
𝑗=0
Sujeta a las condiciones
fkk=1,
fik=0, si el estado i es recurrente e i≠ k

4. Una caminata aleatoria es una cadena de
Markov con la probabilidad de que, si el
sistema se encuentra en el estado i, entonces
es un sola transición, o bien permanecerá en
i o se moverá a uno de los estados
inmediatamente adyacente a i

5. Ejemplo:
Considere un ejemplo sobre juegos, considere
que dos jugadores con $2 cada uno, aceptan
seguir jugando y apostando $1 cada vez hasta
que unos de ellos quiebre. El numero de
dólares que tiene el jugador A antes de cada
apuesta (0, 1, 2, 3 o 4) proporciona los estados
de una cadena de Markov con matriz de
transición

6. 1 0 0 0 0
1-p 0 P 0 0
P= 0 1.p 0 P 0
0 0 1-p 0 P
0 0 0 0 1
P= probabilidad de que A gane una jugada.
La probabilidad de absorción al estado 0 (A pierde todo su
dinero) se puede obtener a partir del sistema de
ecuaciones anterior.

7. Se puede demostrar que estas ecuaciones
dan como resultado otras expresiones (para
M general en lugar de M=4 como en esta
ejemplo.
𝑖−1 𝑝 𝑚
𝑚=𝑜
1 − 𝑓𝑖0 = 𝑀−0 𝑚
Para i= 0,1,…M
𝑚=0 𝑝
1 − 𝑝𝑖 Para p ≠1
=
1− 𝑝 𝑚 2
1 − 𝑝𝑖 Para p =1
= 2
Donde 1-p = (1-p)/p 1− 𝑝 𝑚

8. Para M =4, 1=2 y p= 2/3, la probabilidad de que A
quiebre esta dada por
1 − 𝑝2 1
𝑓20 =1− 4
= ,
1− 𝑝 5
Y la probabilidad de que A gane $4 (B quiebre) esta
dada por
4
𝑓2 = 1 − 𝑓20 =
5

9. Considere una tienda departamental que clasifica el
saldo de la cuenta de un cliente como
Pagada (estado 0 ),
1 a 30 días de retraso (estado 1),
31 a 60 días de retraso (estado 2) o
mala deuda (estado 3).
Las cuentas se revisan cada mes y se determina el
estado de cada cliente. En general los créditos no se
extienden y se espera que los clientes paguen sus
cuentas dentro de 30 días.

10. En ocasiones, los clientes pagan solo una parte de
sus cuenta. Si esto curre cuando el saldo queda
dentro de los 30 días de retraso (estado 1), la tienda
ve a ese cliente como uno que permanece en el
estado 1. si esto ocurre cuando el saldo esta entre 31
y 60 días de retraso, la tienda considera que le
cliente se mueve al estado 1 (1 a 30 días de retraso).
Los clientes que tienen mas de 60 días de retraso se
clasifican en la categoría de una mala deuda (estado
3); luego, las cuentas se mandan a una agencia de
cobro.

11. Después de examinar los datos de años pasados,
la tienda ha desarrollado la siguiente matriz de
transición:
Estado 0: cuenta 1: 1-30 dias 2:31-60 dias 3: mala
pagada de retraso de retraso deuda
Estado
0: cuenta 1 0 0 0
pagada
1: 1-30 dias de 0.7 0.2 0.1 0
retraso
2:31-60 dias 0.5 0.1 0.2 0.2
de retraso
3: mala deuda 0 0 0 1

12. 𝑓13 = 𝑝10 𝑓03 + 𝑝11 𝑓13 + 𝑝12 𝑓23 + 𝑝13 𝑓33
𝑓23 = 𝑝20 𝑓03 + 𝑝21 𝑓13 + 𝑝22 𝑓23 + 𝑝23 𝑓33
Con 𝑓03 =0 y 𝑓33 =1, ahora se tienen dos ecuaciones
con dos incógnitas, a saber,
(1 − 𝑝11 )𝑓13 = 𝑝13 + 𝑝12 𝑓23,
(1 − 𝑝22 )𝑓23 = 𝑝23 + 𝑝21 𝑓13,
Al sustituir los valores de matriz de transición se llega a
0.8𝑓13 = 0.1𝑓23,
0.8𝑓23 = 0.2 + 0.1𝑓13,
Y la solución es
𝑓13 = 0.032
𝑓13 = 0.254

13. Conclusión:
Entonces aproximadamente 3% de los clientes
cuyas cuentas tienen 1 a 30 días de retraso
acaban por ser una mala deuda mientras que el
25% de los clientes cuyas deudas tiene de 31 a
60 días de retraso llegan a la misma categoría.

14. 14.8. Cadenas de
Markov de tiempo
continuo

15. Existen ciertos casos ( como en algunos modelos de
líneas de espera) en los que se requiere un
parámetro (llamado t´) de tiempo continuo, debido a
que la evolución de un proceso se esta observando
de manera continua a través del tiempo.
Un proceso estocástico de tiempo continuo
{X(t´);t´≥ 0} es una cadena de Markov de tiempo
continuo si tiene la propiedad markoviana
se estudiaran las cadenas de Markov de tiempo
continuo con las siguientes propiedades.
1. Un numero finito de estados
2. Probabilidades de transición estacionarias

16. Algunas variables aleatorias importantes
Cada vez que el proceso entra e el estado i , la cantidad de
tiempo que pasa en ese estado antes de moverse a un estado
diferente, es una variable aleatoria T donde i= 0, 1, …M
La distribución exponencial posee la propiedad de que la
distribución de probabilidad de tiempo que falta para que el
proceso haga una transición fuera de un estado dado siempre
es la misma, independientemente de cuanto tiempo haya
pasado el proceso en ese estado.
Tiene solo un parámetro, llámese q, donde la media es 1/q y la
función de distribución acumulada es
P{ 𝑇𝑖 ≤ 𝑡} = −𝑒 −𝑞𝑡 para t≥ 0

17. Este resultado lleva a una forma equivalente de
definir un cadena de Markov de tiempo continuo.
1. La variable aleatoria 𝑇𝑖 tiene una distribución
exponencial con media 1/q.
2. Cuando sale de un estado i, el proceso se mueve a
otro estado j, como probabilidades 𝑝 𝑖𝑗 , en donde
satisface las condiciones
𝑝 𝑖𝑗 =0 para toda i,
Y
𝑀
𝑗=0 𝑝 𝑖𝑗 = 1 para toda i,
3. El siguiente estado que se visita después del
estado i es independiente del tiempo que paso en
estado i.

18. las intensidades de transición son.
𝑑 1 − 𝑝 𝑖𝑗 (𝑡) para i= 0, 1, …M
𝑞𝑖 = 𝑝 𝑖𝑗 (0) = lim
𝑑𝑡 𝑡→0 𝑡
𝑑 𝑝 𝑖𝑗 (𝑡) para j≠ 𝑖
𝑞 𝑖𝑗 = 𝑝 𝑖𝑗 (0) = lim = 𝑞 𝑖 𝑝 𝑖𝑗
𝑑𝑡 𝑡→0 𝑡
donde 𝑝 𝑖𝑗 𝑡 es la función de probabilidad de transición de
tiempo continuo

19. Probabilidades de estado estable.
Para cualesquiera estados i y j y números no negativos t y s
(0 ≤ s ≤ 0),
𝑀
𝑝 𝑖𝑗 (𝑡) = 𝑘=1 𝑝 𝑖𝑘 (s)𝑝 𝑘𝑗 (t-s).
se dice que un par de estados i y j se comunican si existe
tiempos 𝑡1 𝑦 𝑡2 tales que 𝑝 𝑖𝑗 (𝑡1 )>0 y 𝑝 𝑖𝑗 (𝑡2 )>0. se dice que
todos los estados que se comunican forman una clase. Si
todos los estados cadena forman una sola clase, es decir, si la
cadena de Markov es irreducible, entonces
𝑝 𝑖𝑗 (t)>0 para toda t>0 y todos los estados i y j
Mas aun,
lim 𝑝 𝑖𝑗 𝑡 = 𝜋𝑗
𝑡→∞

20. Siempre existe y es independiente del estado
inicial de la cadena de Markov, para j= 0, 1, …M.
estas propiedades limitantes se conocen como las
probabilidades de estado estable de la cadena de
Markov.
Las 𝜋 𝑗 satisfacen las ecuaciones
𝑀
𝜋 𝑗 = 𝑖=0 𝜋 𝑖 𝑝 𝑖𝑗 𝑡 , para toda j=0, 1, …M y
para toda t ≥0.
Las siguientes ecuaciones de estado estable
proporcionan un sistema de ecuaciones útiles
para obtener la probabilidad del estado estable.
𝜋 𝑗 𝑞 𝑗 = 𝑖≠𝑗 𝜋 𝑗 𝑞 𝑖𝑗 para j=0, 1, …, M

21. Ejemplo.
Un taller tiene dos maquinas idénticas que operan
continuamente excepto cuando se descomponen. Como lo
hacen con bastante frecuencia, la tarea con mas alta prioridad
para las personas de mantenimiento que trabajan tiempo
completo, es repararla cuando lo necesiten.
El tiempo requerido para reparara una maquina tiene
distribución exponencial como media de medio día. Una vez
que se termina la reparación, el tiempo que transcurre hasta la
siguiente descompostura tiene distribución exponencial con
media de 1 día. Estas distribuciones son independientes
Defina la variable aleatoria X(t´) como
X(t´)= numero de maquinas descompuestas en el tiempo t´.

22. Tasas de transición total hacia afuera de cada estado.
𝑞0 = 𝑞01 =2
𝑞1 = 𝑞10 + 𝑞12 = 3
𝑞2 = 𝑞21 =2
Sustituyendo todas las tasas en la ecuaciones de estado
estable dadas se obtiene.
Ecuación de balance para el estado 0: 2 𝜋0 = 2 𝜋1
Ecuación de balance para el estado 1: 3 𝜋0 = 2 𝜋0 +2 𝜋2
Ecuación de balance para el estado 2: 2 𝜋2 = 𝜋1
Las probabilidades suman 1: 𝜋0 +𝜋1 +𝜋2 = 1
Cualquiera de las ecuaciones de balance se puede
eliminar como redundante, y la solucion simultanea de las
ecuaciones restantes da la distribucion del estado estable
como
2 2 1
(𝜋0 , 𝜋1 , 𝜋2 )=( , , )
5 5 5

23. Entonces, ambas maquinas estarán
descompuestas simultáneamente 20% del
tiempo y estará descompuesta una
maquina otro 40%