1. UNIVERSIDAD NACIONAL EXPERIMENTAL POLITÉCNICA
“ANTONIO JOSÉ DE SUCRE”
VICERRECTORADO BARQUISIMETO
DIRECCIÓN DE INVESTIGACIÓN Y POSTGRADO
Dobobuto, Karina
Poletto, Ivonne
Diciembre, 2013

2. Definición de Cadenas de Markov
(Discretas y Continuas)
Los procesos estocásticos son sucesiones de eventos regidos por leyes
probabilísticas. Varios investigadores han estudiado las características y el
comportamiento de estas sucesiones, para aplicarlos a los procesos estocásticos en
física, ingeniería, biología, medicina y otras disciplinas así como también en otras ramas
de la matemática y han establecido sus teorías y propiedades.
Propiedad Markoviana
Según las fuentes consultadas, entre ellas
Vega (s.f), se puede afirmar que una propiedad que
poseen los procesos aleatorios y de ramificación, es
que sus valores en el n-ésimo paso solo dependen
de los valores en el (n − 1)-ésimo paso, y no de los
anteriores. Esta propiedad conocida como
propiedad markoviana es de gran importancia en el
estudio de estos procesos, y en el estudio general de
la teoría de procesos estocásticos.
Cadena de Markov (CM)
Las fuentes consultadas coinciden en la siguiente definición: Un proceso X =
{Xn : n ≥ 0}, es una cadena de Markov si satisface la siguiente condición, llamada
condición de Markov:
P(X[n + 1] = in+1 | X[n] = in, X[n − 1] = in−1, X[n − 2] = in−2, . . .) = P(X[n + 1] = in+1 |
X[n] = in), n N,
La probabilidad de que la secuencia tome un valor dado en el instante n+1 solo
está condicionada por el valor de la secuencia en el instante n y es independiente de los
valores de la secuencia en los instantes anteriores (n − 1, n − 2, ...)
Puede interpretarse esta ecuación como que, dado el “presente” del proceso, el
“futuro” es independiente del “pasado”. Es decir, una cadena de Markov es una
sucesión de variables que “ven el pasado a través del último suceso”.

3. Cadenas de Markov Discretas
En documento consultado en la web denominado CMTD.pdf, (ver referencias
bibliográficas) se encuentra que un proceso estocástico {Xn, n = 0, 1, 2,…} es una
Cadena de Markov en Tiempo Discreto (CMTD) si para cada n y xj, j=0,…,n+1, se
verifica
Por otro lado, Vega (s.f) expone:
Cadenas de Markov Continuas
Sea {Xt}t≥0 un proceso estocástico de tiempo continuo (es decir t [0; T] con T
R fijo), que toma valores en un conjunto numerable E. Decimos que el proceso
{Xt}t≥0 es una Cadena de Markov de Tiempo Continuo (CMTC) si s, t ≥ 0 y i,
j, Xu E con 0 ≤ u ≤ s se cumple que
P(Xt+s = j / Xs = i , Xu = xu 0 ≤ u < s) = P(Xt+s = j /Xs = i)
Es decir, una cadena de Markov de tiempo continuo es un proceso estocástico
que verifica la propiedad markoviana donde la probabilidad condicional de un futuro
estado en el tiempo t + s, dado el estado presente en el tiempo s y todos los estados
pasados, solo depende del presente estado y en independiente del pasado.
P(Xt+s = y / Xt = x ; Xu = xu 0 ≤ u < t) = P(Xt+s = y/Xt = x)
donde x, y, xu E; 0 ≤ u < t.
Ecuaciones de Chapman-Kolmogorov
De las fuentes consultadas a través de internet se recoge la información que se
presenta a continuación.
La ecuación de Chapman-Kolmogorov es una identidad sobre las
distribuciones de probabilidad conjunta de los diferentes conjuntos de coordenadas en
un proceso estocástico.
Supongamos que { fi } es una colección indexada de variables aleatorias, es
decir, un proceso estocástico. Hacemos

4. sea la función conjunta de densidad de probabilidad de los valores de las variables
aleatorias de f1 a fn. Entonces, la ecuación de Chapman-Kolmogorov es
usando el proceso estocástico considerado es markoviano, la ecuación de Chapman-
Kolmogorov es equivalente a una identidad en las densidades de transición. En la
formación de la cadena de Markov, se supone que i1 < ... < in. Así, debido a la propiedad
de Márkov.
donde la probabilidad condicional es la probabilidad de transición entre
los momentos . Así, la ecuación de Chapman-Kolmogorov toma la forma
Cuando la distribución de probabilidad sobre el espacio de estados de una
cadena de Markov es discreta y la cadena de Markov es homogénea, las ecuaciones de
Chapman-Kolmogorov se pueden expresar en términos de multiplicación de matrices
(que pueden ser de dimensión infinita), así:
donde P(t) es la matriz de transición, es decir, si Xt es el estado del proceso en el
momento t, entonces para dos estados cualesquiera i & j, tenemos
De la propiedad de Markov y la homogeneidad temporal, se puede comprobar
que la probabilidad de ir de i a j en m etapas es
P(Xm = j |X0 = i) =
Iterando se obtiene que:
P(Xm = j |X0 = i) = pm(i , j)
Es decir, la probabilidad de ir de i a j en m etapas es el elemento (i , j) de Pm.

5. La paradoja de Borel-Chapman-Kolmogorov
Clasificación de Estados en Cadenas de Markov
Estados Individuales en una Cadena
Con base en lo expuesto por Puigjaner (2001), se pueden clasificarlos los estados
de la siguiente manera:
Estado Transitorio
Se define hj como el instante de la primera visita al estado j, es decir, el instante
en que el proceso entra por primera vez en el estado j, después de abandonar el estado
actual. Además, se define:
[
f P hj <∞|X(0)=i ]
como la probabilidad de visitar el estado j en un tiempo finito partiendo del estado i.
Se dice que un estado j es transitorio (o no recurrente) si y sólo si hay una
probabilidad positiva de que el proceso no vuelva al estado j después de abandonarlo; es
decir, si fjj < 1.
Estado Recurrente
Un estado j se dice que es recurrente si y sólo si, partiendo del estado j, el
proceso vuelve en un tiempo finito al estado j con probabilidad 1: es decir, si fjj = 1.

6. Periodicidad
Sea X una CM irreducible. Entonces, o bien todos los estados son periódicos de
periodo k (y decimos que X es periódica de periodo k), o bien ningún estado es
periódico (y decimos que X es aperiódica)
En toda CM periódica de periodo k, existe una partición de S, ={A1, A2, …,
Ak}, de tal manera que todas las transiciones van desde Ai hasta A(i mod k)+1
Estado Absorbente
Un estado i se dice que es absorbente si qij = 0 para todo j ≠ i, por tanto si qii =
1.
Estado Alcanzable
Un estado j se dice que es alcanzable desde el estado i si para algún t > 0, pij(t) >
0.
Estados de las Cadenas
Un subconjunto A del espacio de estados S se dice que es cerrado si
En este caso pij(t) = 0 para todo i ∈ A, todo j ∈ A, y todo t > 0. De este modo, los
estados de A no son alcanzables desde estados de A.
Después de definir las propiedades de los estados individuales, se va a definir
una importante propiedad de una cadena de Markov considerada como un todo.
Estado Irreducible
Una cadena de Markov se dice que es irreducible si S es cerrado y ningún
subconjunto propio de S es cerrado. Es decir, si cada estado de S es alcanzable desde
cualquier otro estado.

7. Se definen las probabilidades límite {πj, j ∈ S } como
Puede demostrarse que para toda CMTC irreducible y homogénea los límites
anteriores existen y son independientes de la distribución inicial {πj(t), j ∈ S }; por otra
parte, cuando existen los límites:
se obtiene siguiente el sistema de ecuaciones lineales de modo que:
Cadenas Ergódicas
El sistema anterior es un sistema homogéneo, una posible solución es πi =0
para todo i ∈ S. Si ésta es la única solución del sistema, entonces no existe la
distribución estacionaria para la CMTC. Si, en cambio, existen otras soluciones,
entonces la única distribución límite de la CMTC se obtiene imponiendo la condición de
normalización:
En este caso los estados de la CMTC son recurrentes, no nulos y ergódicos, de
modo que se dice que la propia cadena es ergódica.
Las probabilidades límite de una cadena de Markov ergódica satisfacen la
relación
La distribución límite de una CMTC ergódica se llama también distribución en
equilibrio o en régimen estacionario.
El tiempo medio de recurrencia para un estado j, Mj, se define como el tiempo
medio transcurrido entre dos instantes sucesivos en los que el proceso entra en el estado
j. Puede demostrarse que:

8. Cadenas de Markov en Tiempo Continuo
En documento de la autora Vega (s.f) se encuentra la siguiente información:
Definición Sea {Xt}t ≥0 un proceso estocástico de tiempo continuo (es decir t [0; T] con T
R fijo), que toma valores en un conjunto numerable E. Decimos que el proceso {Xt}t ≥0 es
una cadena de Markov de tiempo continuo si s; t ≥ 0 y i; j; xu E con 0 ≤ u < s se cumple
que
P(Xt+s = j /Xs = i ; Xu = xu 0 ≤ u < s) = P(Xt+s = j / Xs = i)
En otras palabras, una cadena de Markov de tiempo continuo (CMTC) es un
proceso estocástico que verifica la propiedad markoviana, es decir, que la probabilidad
condicional de un futuro estado en el tiempo t + s, dado el estado presente en el tiempo s
y todos los estados pasados, solo depende del presente estado y en independiente del
pasado.
Propiedades
En una cadena de Markov de tiempo continuo, el presente, el futuro y el pasado
son independientes.
P(Xt+s = y /Xt = x ; Xu = xu 0 ≤ u < t) = P(Xt+s = y / Xt = x)
donde x; y; xu E; 0 ≤ u < t.
Teorema. Sea un proceso de Markov de tiempo continuo tal que las velocidades
de salida de los estados q(x) están uniformemente acotadas por λ > 0. Entonces vale
que:
P(Tn+1 - Tn > t / Xtn = x) =

9. Ejemplos de Aplicaciones de las Cadenas de Markov
Ejemplo 1
En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente
de uno a otro. El 1 de septiembre, ¼ de los clientes va al S1, ⅓ al S2 y 5/12 al S3 de un
total de 10.000 personas. Cada mes el S1 retiene el 90% de sus clientes y pierde el 10%
que se va al S2. Se averiguó que el S2 solo retiene el 5% y pierde el 85% que va a S1 y
el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el 10% va al
S2.
a) Establecer la matriz de transición
b) ¿Cuál es la proporción de clientes para los supermercados el 1 de noviembre?
Solución:
a) La matriz de transición para el orden S1, S2, S3 es:
b) Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre)
Sabemos P0=( 1/4 1/3 5/12)
Debemos realizar el cálculo P0*P2 y así obtendremos que la proporción de
clientes es del 81,54% para S1, 9,58% para S2 y para S3 8,8%. Lo cual se ha
calculado mediante Matlab.
>> Po=[0.25 0.33 0.42];
>> P=[0.9 0.1 0;0.85 0.05 0.10;0.5 0.1 0.4];
>> X=Po*P^2;Po=[0.25 0.33 0.42];
P=[0.9 0.1 0;0.85 0.05 0.10;0.5 0.1 0.4];
X=Po*P^2;
>> Po=[0.25 0.33 0.42]
Po =
0.2500 0.3300 0.4200
>> P=[0.9 0.1 0;0.85 0.05 0.10;0.5 0.1 0.4]
P=
0.9000 0.1000 0

10. 0.8500 0.0500 0.1000
0.5000 0.1000 0.4000
>> X=Po*P^2
X=
0.8154 0.0958 0.0888
Ejemplo 2.
Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola.
Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que siga
comprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que repita la
vez siguiente. Se pide:
a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que
compre Coca Cola pasadas dos compras a partir de hoy?
b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad
de que compre Coca Cola pasadas tres compras a partir de ahora?
Solución:
Este situación se puede modelar como una cadena de Markov con dos estados {Coca-
Cola, Pepsi-Cola}= {C,P} La matriz de transición para el orden C,P, es:
a) En este caso nos piden la probabilidad de transición en dos pasos, es decir que se
pide el valor en fila 2, columna 1 para la matriz P2. Utilizando Matlab
obtenemos que:
X=
0.8300 0.1700

11. 0.3400 0.6600
Por lo tanto la probabilidad de que compre Coca Cola pasadas dos compras a partir del
momento en el que realizó la compra de Pepsi es de 0.34.
b) En este caso se pide la probabilidad de transición en fila 1, columna 1 para la
matriz P3. De igual manera hacemos uso de Matlab para obtener que:
Y=
0.7810 0.2190
0.4380 0.5620
De esta forma podemos decir que la probabilidad de compra de Coca Cola por una
persona pasadas tres compras es 0.78.
En Meteorología
Si se observa el clima de una región a través de distintos días, es claro que el estado
actual solo depende del último estado y no de toda la historia en sí, de modo que se
pueden usar cadenas de Markov para formular modelos climatológicos básicos.
Ejemplo3.
Supongamos que el clima de una determinada región sólo puede ser soleado (s1) o
nublado (s2) y que las condiciones del clima en mañanas sucesivas forman una cadena
de Markov con probabilidades de transición estacionarias. La matriz de transición está
dada por:
Si un día concreto está nublado, ¿Cuál es la probabilidad de que esté nublado al día
siguiente?
La respuesta es P22 = 0.4
Economía y Finanzas
Las cadenas de Markov se pueden utilizar para realizar análisis de un determinado
producto en el mercado, a los tomadores de decisiones en las organizaciones les permite
establecer la ejecución o no de una determinada estrategias de mercadeo y ventas. En el
siguiente ejemplo se muestra su aplicación en esta área.

12. Ejemplo 4.
En un país como Colombia existen 3 operadores principales de telefonía móvil como lo
son Tigo, Comcel y Movistar (estados). Los porcentajes actuales que tiene cada
operador en el mercado actual son para Tigo 0.4 para Comcel 0.25 y para Movistar
0.35. (estado inicial). Se tiene la siguiente información un usuario actualmente de Tigo
tiene una probabilidad de permanecer en Tigo de 0.60, de pasar a Comcel 0.2 y de
pasarse a Movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una
probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a Tigo 0.3
y que se pase a Movistar de 0.2; si el usuario es cliente en la actualidad de movistar la
probabilidad que permanezca en movistar es de 0.4 de que se cambie a Tigo de 0.3 y a
Comcel de 0.3.
Partiendo de esta información podemos elaborar la matriz de transición.
TIGO COMCEL MOVISTAR
E1 TIGO 0.6 0.2 0.2
E2 COMCEL 0.3 0.5 0.2
E3 MOVISTAR 0.3 0.3 0.4
La suma de las probabilidades de cada estado en este caso operador deben ser iguales a
1
Estado Inicial Po= (0.4 0.25 0.35)
Seguidamente se procede a encontrar los estados en los siguientes pasos o tiempos, se
realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente
pero multiplicando por el estado inmediatamente anterior.
TIGO COMCEL MOVISTAR
E1 TIGO 0.6 0.2 0.2
E2 COMCEL 0.3 0.5 0.2
E3 MOVISTAR 0.3 0.3 0.4

13. Llamaremos T a la Matriz de Transición
P0 0.4 0.25 0.35
P0 es el estado inicial
P1 0.42 0.31 0.27
P1=P0*T
P2 0.426 0.32 0.254
P2=P0*T2
P3 0.4278 0.3214 0.2508
P3=P0*T3
P4 0.42834 0.3215 0.25016
P4=P0*T4
P5 0.428502 0.321466 0.250032
P5=P0*T5
Como se observa la variación en el periodo 4 al 5 mínima casi insignificante, por
lo tanto podemos decir que ya se ha llegado al vector o estado estable.
Ejemplo 5.
Consideremos una sucesión de elecciones políticas en cierto país: el sistema podría
tomarse como el país mismo y cada elección lo dejaría en cierto estado, es decir en el
control del partido ganador. Si sólo hay dos partidos políticos fuertes, llamados A y B,
los que por lo regular controlan el gobierno, entonces podemos decir que el país se
encuentra en el estado A o B si el partido A o B ganara la elección. Cada ensayo (o sea
cada elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10
elecciones podría producir resultados tales como los siguientes:
A, B, A, A, B, B, B, A, B, B

14. La primera elección en la sucesión deja en el poder al partido A, la segunda fue ganada
por el partido B, y así sucesivamente, hasta que la décima elección la gane el partido B.
Supongamos que las probabilidades de que el partido A o B ganen la próxima elección
son determinadas por completo por el partido que está en el poder ahora. Por ejemplo
podríamos tener las probabilidades siguientes:
• Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A ganará
la próxima elección y una probabilidad de ¾ de que el partido B gane la elección
siguiente.
• Si el partido B está en el poder, hay una probabilidad de ⅓ de que el partido A gane la
elección siguiente y una probabilidad de ⅔ que el partido B permanezca en el poder.
En tal caso, la sucesión de elecciones forman una cadena de Markov, dado que las
probabilidades de los dos resultados de cada elección están determinadas por el
resultado de la elección precedente.
Lo descrito anteriormente puede representarse gráficamente usando la siguiente red:
Los círculos A y B se denominan nodos y representan los estados del proceso, las
flechas que van de un nodo a sí mismo o al otro son los arcos y representan la
probabilidad de cambiar de un estado al otro.
La información probabilística que se acaba de dar se puede representar de manera
conveniente por la siguiente matriz:
Resultado de la próxima elección
Resultado de A B
la última A ¼ ¾
elección B ⅓ ⅔

15. Esta matriz es la matriz de transición. Los elementos de la matriz de transición
representan las probabilidades de que en el próximo ensayo el estado del sistema del
partido indicado a la izquierda de la matriz cambie al estado del partido indicado arriba
de la matriz.
Aplicaciones en Bioinformática
 Búsqueda de genes
 Mapeo de vinculación genética
 Análisis filogenético
 Predicción de estructura secundaria de proteínas
 Búsqueda de sitios conservados vs sitios variables
 Predicción de regiones que codifican proteínas dentro de genomas
 Modelado de familias de secuencias de proteína o ADN relacionado
 Predicción de elementos de estructura secundaria en secuencias primarias de
proteína

16. Referencias Electrónicas
http://www.ugr.es/~bioestad/_private/cpfund10.pdf
http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Mark
ov-1.pdf
http://www.lcc.uma.es/~ezeqlr/ios/Tema4.pdf
http://www.matematicas.unam.mx/lars/libros/procesos2012.pdf
http://www.rac.es/ficheros/doc/00204.pdf
http://ocw.uc3m.es/estadistica/procesos-estocasticos-con-aplicaciones-al-ambito-
empresarial/presentaciones/2MC.pdf
http://www.santafe-conicet.gov.ar/~aguilera/apuntes/markov.pdf
http://materias.fi.uba.ar/6615/Material/markov.pdf
http://www.vc.ehu.es/campus/centros/farmacia/deptos-
f/depme/profesor/gracia/defip.pdf
http://www.compelect.com.co/archivos/diamatlab/2006/pdf/Aplicacion%20de%20las%
20Cadenas%20de%20Markov%20en%20Tiempo%20Continuo%20a%20Partir%2
0del%20Modelamiento%20de%20Sistemas%20Reactivos%20Utilizando%20State
flow%20de%20MATLAB.pdf
http://www.scielo.cl/pdf/ingeniare/v14n2/art09.pdf
http://invoperacionesid2.blogspot.com/2011/06/cadenas-de-markov.html
https://notas-or.wikispaces.com/4-+Cadenas+de+Markov
http://mate.dm.uba.ar/~pgroisma/pr1.pdf
http://mate.dm.uba.ar/~pgroisma/markov.m
http://mate.dm.uba.ar/~pgroisma/simulacion.html
http://www.mathworks.com/videos/getting-started-with-matlab-
68985.html?s_tid=main_tutorial_ML_rp
http://www.eumed.net/cursecon/ecolat/cu/2011/pdc.htm
http://www.vc.ehu.es/campus/centros/farmacia/deptos-
f/depme/profesor/gracia/defip.pdf
http://gavilan.uis.edu.co/~hortegab/radiogis/biblioteca_virtual/radiopropagacion/outdoo
r/Curso_Canal/Talleres_Estadistica_Canal_Movil.pdf
http://www.uv.es/montes/probabilitat/manual.pdf
http://knuth.uca.es/repos/l_edyp/pdf/febrero06/lib_edyp.c4.pdf
http://www.matematicas.unam.mx/lars/libros/procesos2012.pdf

17. http://www.miscelaneamatematica.org/Misc48/4803.pdf
http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Mark
ov-1.pdf