Téléchargé 31 fois
![Introduction
On peut d´ finir un processus stochastique comme etant une famille {Xt }t∈T de variables al´ atoires
e ´ e
ind´ x´ es par le temps t. Les mots processus et stochastique signifient respectivement fonction et al´ atoire.
e e e
Alors qu’une variable al´ atoire X associe a chaque ω ∈ Ω une r´ alisation X(ω), un processus stochastique
e ` e
{Xt }t∈T associe a chaque ω une fonction (ou trajectoire) {Xt (ω)}t∈T :
`
T → E
,
t → Xt (ω)
o` E est l’espace d’arriv´ e des variables al´ atoires Xt . Passer des variables al´ atoires aux processus sto-
u e e e
chastiques revient a passer en analyse des points aux fonctions. A
` ` titre d’exemple, la trajectoire d’une
mouche en fonction du temps peut etre mod´ lis´ e par un processus stochastique a valeurs dans E = R3 .
ˆ e e `
Lorsque l’ensemble des temps T est au plus d´ nombrable (par exemple T = N), on parle de processus
e
stochastiques a temps discret. Lorsqu’il est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus
`
stochastiques a temps continu.
`
Dans tout ce cours, on abr` ge les expressions “variable al´ atoire” en v.a. et “ind´ pendantes et identique-
e e e
ment distribu´ es” en i.i.d.
e
Les situations r´ elles pouvant etre mod´ lis´ es par des processus stochastiques sont nombreuses. En voici
e ˆ e e
quelques exemples :
E XEMPLES :
• Probl` me de la ruine du joueur. Consid´ rons une suite de v.a. (Yn )n≥1 i.i.d. dont la loi commune
e e
est d´ finie par
e
IP(Y1 = 1) = p et IP(Y1 = −1) = 1 − p
et une quantit´ initiale (d´ terministe ou al´ atoire) Y0 ∈ Z ind´ pendante des v.a. Yn . On d´ finit la marche
e e e e e
al´ atoire simple par
e
Xn+1 = Xn + Yn+1
= Y0 + Y1 + . . . + Yn + Yn+1 ,
pour tout n ∈ N. La suite (Xn )n≥1 est un processus stochastique a temps discret T = N (ce sont les
`
instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n≥1 repr´ sente l’´ volution de la fortune
` e e
d’un joueur (jouant a pile ou face, a la roulette...) gagnant un montant fixe (ici 1 euro) avec probabilit´ p et
` ` e
perdant le mˆ me montant avec probabilit´ 1 − p. Les parties, dont les r´ sultats sont les Yn , sont suppos´ es
e e e e
ind´ pendantes. La fortune du joueur a l’issue de la n
e ` e partie est X . La quantit´ Y repr´ sente la fortune
n e 0 e
initiale du joueur.
Le joueur est ruin´ (et donc arrˆ te de jouer) d` s que la suite (Xn )n≥1 touche l’axe des abscisses. On peut
e e e
3](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-3-320.jpg)
![sens : si le nombre moyen IE[Y0,1 ] de fils de chaque individu est elev´ , la population devrait rapidement
´ e
ı ` l’inverse, si IE[Y0,1 ] est proche de 0, la population devrait s’´ teindre.
croˆtre. A e
• S´ ries temporelles ou chronologiques. Les s´ ries temporelles peuvent etre mod´ lis´ es par des
e e ˆ e e
processus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dans
`
un pays donn´ durant un intervalle de temps, le nombre de passagers dans les transports a´ riens ou encore
e e
les valeurs de clˆ tures journali` res du CAC40.
o e
4000
3500
EuStockMarkets[, 3]
3000
2500
2000
1500
1992 1993 1994 1995 1996 1997 1998
Time
F IGURE 3 – Valeurs de clˆ tures journali` res du CAC40 de 1991 a 1998.
o e `
Un des objectifs principaux de l’´ tude d’une s´ rie temporelle est la pr´ vision des r´ alisations futures, tr` s
e e e e e
souvent pour des raisons economiques (pr´ voir l’´ volution de la demande d’un produit pour ajuster au
´ e e
mieux les moyens de production, pr´ voir l’´ volution d’un march´ financier...).
e e e
Les s´ ries temporelles feront l’objet de tout un cours en GIS5.
e
• Files d’attente. La salle de r´ servation d’une grande gare SNCF donne une bonne repr´ sentation
e e
d’une file d’attente (queue en anglais). Elle comprend un certain nombre de guichets et des clients qui sont
soit en train d’ˆ tre servis, soit en attente qu’un guichet se lib` re. Le nombre total de ces clients pr´ sents
e e e
dans la salle de r´ servation au temps t est not´ Nt . Le hasard intervient dans les arriv´ es des clients ainsi
e e e
que dans la dur´ e des services. La suite (Nt )t≥0 est un processus stochastique a temps continu et a valeurs
e ` `
dans E = N. L’objectif est d’´ tudier l’´ volution de Nt au cours du temps afin d’optimiser le nombre de
e e
guichets n´ cessaires pour satisfaire en un temps raisonnable les clients.
e
On peut egalement mod´ liser par une file d’attente un syst` me informatique dans lequel les nouvelles
´ e e
tˆ ches se mettent en attente avant d’ˆ tre trait´ es, ou encore un poste de travail dans une usine.
a e e
Les files d’attentes seront etudi´ es en d´ tails dans ce cours.
´ e e
En GIS3 ou en GIS4, vous avez d´ j` vu des processus stochastiques : n’importe quelle suite de v.a. i.i.d.
ea
en est un exemple ! L’ind´ pendance entre les variables facilite les calculs et permet d’obtenir sans trop
e
d’efforts des th´ or` mes limites int´ ressants (Loi des Grands Nombres, Th´ or` me Central Limite...). Mal-
e e e e e
heureusement, l’ind´ pendance n’est pas un ph´ nom` ne courant dans la nature. Int´ grer de la d´ pendance
e e e e e
entre les variables permet de mod´ liser plus fid` lement la r´ alit´ . Il y a n´ anmoins un coˆ t a payer ; les
e e e e e u `
calculs sont plus durs et les th´ or` mes plus chers.
e e
Les processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine d´ pen-
´ e
dance entre les variables ; une d´ pendance de type markovienne (ou de Markov). Cela signifie que l’´ volu-
e e
tion future du processus ne d´ pend de son pass´ que par l’interm´ diaire du pr´ sent. Par exemple pour
e e e e
d´ cider au mieux du 21e coup a jouer dans une partie d’´ checs, il suffit de connaˆtre la configuration du jeu
e ` e ı
a l’issue du 20e coup, le d´ tail des 19 premiers coups n’ayant alors aucune importance.
` e
5](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-5-320.jpg)
![Lemme 1.2.5 Pour tout entier n et tous etats i et j,
´
IP(Ni ≥ n + 1 | X0 = j) = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) .
Les etats transients sont ceux dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, on
´
revient une infinit´ de fois dans un etat r´ current.
e ´ e
Proposition 1.2.6 Les conditions suivantes sont equivalentes :
´
(1) l’´ tat i est r´ current : IP(Ti < +∞|X0 = i) = 1 ;
e e
(2) conditionnellement a X0 = i, la chaˆne de markov (Xn )n∈N revient presque sˆ rement une infinit´
` ı u e
de fois en i :
IP(Ni = +∞ | X0 = i) = 1 ;
(n)
(3) la s´ rie
e pi,i diverge.
Proposition 1.2.7 Les conditions suivantes sont equivalentes :
´
(4) l’´ tat i est transient : IP(Ti < +∞|X0 = i) < 1 ;
e
(5) conditionnellement a X0 = i, la v.a. Ni est presque sˆ rement finie et suit la loi g´ om´ trique de
` u e e
param` tre αi = IP(Ti < +∞|X0 = i) :
e
∀n ∈ N, IP(Ni = n | X0 = i) = αn (1 − αi ) ;
i
(n)
(6) conditionnellement a X0 = i, la v.a. Ni est int´ grable : IE[Ni |X0 = i] =
` e pi,i < +∞.
(n)
Remarquons que l’identit´ entre l’esp´ rance conditionnelle IE[Ni |X0 = i] et la s´ rie
e e e pi,i est valable
quelle que soit la nature de cette derni` re, en la consid´ rant comme un el´ ment de [0; +∞]. Elle repose sur
e e ´e
le th´ or` me de Fubini.
e e
IE[Ni | X0 = i] = IE 1 Xn =i
1 X0 = i
n≥1
= IE[1 Xn =i | X0 = i]
1
n≥1
= IP(Xn = i | X0 = i)
n≥1
(n)
= pi,i .
n≥1
Les deux propositions ci-dessus se d´ montrent simultan´ ment.
e e
D´ monstration Prouvons (1) ⇒ (2). En combinant, IP(Ti < +∞|X0 = i) = 1 et le Lemme 1.2.5, il
e
vient :
IP(Ni ≥ n + 1 | X0 = i) = IP(Ni ≥ n | X0 = i) = . . . = IP(Ni ≥ 1 | X0 = i),
16](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-16-320.jpg)
![en it´ rant. Par ailleurs, {Ni ≥ 1} = {Ti < +∞}. On en d´ duit que pour tout n, IP(Ni ≥ n|X0 = i) = 1.
e e
Il ne reste plus qu’` faire tendre n vers l’infini pour obtenir (2) :
a
IP(Ni = +∞ | X0 = i) = IP {Ni ≥ n} X0 = i
n≥1
= lim IP(Ni ≥ n | X0 = i)
n→+∞
= 1.
L’implication (2) ⇒ (3) repose sur :
(n)
pi,i = IE[Ni | X0 = i] ≥ (+∞) IP(Ni = +∞ | X0 = i) = +∞ .
n≥1
Supposons (4) : αi = IP(Ti < +∞|X0 = i) < 1. Le Lemme 1.2.5 donne :
IP(Ni ≥ n + 1 | X0 = i) = αi IP(Ni ≥ n | X0 = i) = . . . = αn IP(Ni ≥ 1 | X0 = i) .
i
Ainsi,
IP(Ni ≥ n + 1 | X0 = i) = αn IP(Ti < +∞ | X0 = i) = αn+1 .
i i
On en d´ duit d’une part que Ni est presque sˆ rement finie
e u
IP(Ni = +∞ | X0 = i) = lim IP(Ni ≥ n | X0 = i) = 0
n→+∞
(car αi < 1) et d’autre part que sa loi est g´ om´ trique de param` tre αi . Ce qui prouve (5).
e e e
IP(Ni = n | X0 = i) = IP(Ni ≥ n | X0 = i) − IP(Ni ≥ n + 1 | X0 = i) = αn (1 − αi ) .
i
L’implication (5) ⇒ (6) est imm´ diate :
e
αi
IE[Ni | X0 = i] = IP(Ni ≥ n | X0 = i) = < +∞ .
1 − αi
n≥1
Enfin, (3) ⇒ (1) et (6) ⇒ (4) sont respectivement les contrapos´ es de (4) ⇒ (6) et (1) ⇒ (3). Les
e
boucles sont boucl´ es !
e
La r´ currence et la transience sont des propri´ t´ s de classe irr´ ductible :
e ee e
Proposition 1.2.8 Si les etats i et j communiquent alors ils sont tous deux r´ currents ou tous deux tran-
´ e
sients.
Ainsi, tous les etats appartenant a la mˆ me classe irr´ ductible qu’un etat transient (resp. r´ current), le seront
´ ` e e ´ e
egalement. La classe sera alors qualifi´ e de transiente (resp. r´ currente).
´ e e
(k) (l)
D´ monstration Si les etats i et j communiquent, il existe deux instants k et l tels que pi,j > 0 et pj,i > 0.
e ´
Soit m ≥ k + l. Partant de i, une facon d’y revenir en m pas consiste a d’abord aller en j en l pas, puis d’y
¸ `
revenir en m − k − l pas pour enfin aller en i en k pas :
(m) (l) (m−k−l) (k)
pi,i ≥ pi,j pj,j pj,i .
17](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-17-320.jpg)
![De la mˆ me mani` re,
e e
(m) (k) (m−k−l) (l)
pj,j ≥ pj,i pi,i pi,j .
(m) (m)
Les deux s´ ries m pi,i et
e m pj,j sont donc de mˆ me nature. Les Propositions 1.2.6 et 1.2.7 permettent
e
alors de conclure.
Proposition 1.2.9 La probabilit´ de sortir d’une classe irr´ ductible r´ currente est nulle. Plus pr´ cis´ ment,
e e e e e
si i est un etat r´ current et C(i) sa classe alors
´ e
(n)
∀j ∈ C(i), ∀n ∈ N, IP(Xn = j | X0 = i) = pi,j = 0 .
/
(n)
D´ monstration Soit j ∈ C(i) et supposons par l’absurde qu’il existe un entier n tel que pi,j > 0. Il
e /
(m) (m)
existe alors un entier m tel que pj,i > 0. Dans le cas contraire, i.e. ∀m pj,i = 0, l’´ tat i ne pourrait etre
e ˆ
r´ current puisqu’il existerait une probabilit´ non nulle de quitter i et de ne jamais y revenir. D` s lors, les
e e e
etats i et j communiquent, ce qui contredit j ∈ C(i).
´ /
Proposition 1.2.10 Toute chaˆne de Markov homog` ne sur un espace d’´ tats fini a au moins un etat
ı e e ´
r´ current. En particulier, toute chaˆne irr´ ductible sur un espace d’´ tats fini est r´ currente.
e ı e e e
D´ monstration Montrons que, etant donn´ un etat i transient, le nombre moyen de passage par l’´ tat i en
e ´ e ´ e
partant d’un etat j, i.e. IE[Ni |X0 = j], est finie. Cette affirmation repose sur le Lemme 1.2.5, la Proposition
´
1.2.7, le fait que IE[Z] = n≥1 IP(Z ≥ n) pour une v.a. positive Z et le calcul suivant :
IE[Ni | X0 = j] = IP(Ni ≥ n + 1 | X0 = j)
n∈N
= IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i)
n∈N
= IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i)
n∈N
= IP(Ti < +∞ | X0 = j)(1 + IE[Ni | X0 = i])
< +∞ .
Donc, presque sˆ rement, chaque etat de E est visit´ un nombre fini de fois. C’est impossible : E etant fini,
u ´ e ´
notre chaˆne fr´ quente au moins l’un des etats de E une infinit´ de fois.
ı e ´ e
1.2.3 P´ riodicit´
e e
D´ finition 1.2.11 La p´ riode d’un etat i est l’entier d(i) d´ fini par
e e ´ e
(n)
d(i) = PGCD{n ≥ 1, pi,i > 0} .
Lorsque d(i) = 1, l’´ tat i est qualifi´ de ap´ riodique.
e e e
18](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-18-320.jpg)
![Consid´ rons enfin une chaˆne de Markov (Xn )n∈N a espace d’´ tats E fini et de matrice de transition P .
e ı ` e
Supposons de plus que la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ sur E, not´ e ν :
e e
pour tout j ∈ E, lim µn (j) = ν(j) .
n→+∞
Puisque E est fini, l’application lin´ aire t P est continue donc t P t µn converge (coordonn´ e par coor-
e e
donn´ e) vers
e t P t ν, lorsque n tend vers l’infini. D’autre part, t P t µ = t µ
n n+1 converge egalement (coor-
´
donn´ e par coordonn´ e) vers la loi t ν. Celle-ci v´ rifie donc t P t ν = t ν, ou encore ν = νP . En conclusion,
e e e
si la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ alors cette loi limite est n´ cessairement
e e
une mesure stationnaire pour la chaˆne de Markov correspondante.
ı
1.3.2 Lorsque l’espace d’´ tats E est fini
e
Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de matrice de transition
e ı e ` e
P . Comme la somme des coefficients sur chaque ligne de P vaut 1, tout vecteur a coordonn´ es constantes
` e
est vecteur propre de P associ´ a la valeur propre 1. Une matrice carr´ e et sa transpos´ e ayant les mˆ mes
e` e e e
valeurs propres, 1 est donc egalement valeur propre de t P . Notons E1 l’espace propre associ´ a la valeur
´ e`
propre 1 pour t P :
E1 = {v ∈ RCard(E) , tP v = v} .
On vient de montrer que dim E1 ≥ 1. D` s lors, tout vecteur (colonne) t π appartenant a E1 et dont la
e `
somme des coordonn´ es vaut 1, produit un vecteur ligne π, loi de probabilit´ sur E et v´ rifiant π = πP .
e e e
C’est donc une mesure stationnaire pour la chaˆne de Markov de matrice de transition P . En conclusion,
ı
l’existence d’au moins une mesure stationnaire est automatique lorsque l’espace d’´ tats E est fini.
e
Lorsque la chaˆne est irr´ ductible (dans ce cas, tous les etats sont r´ currents), l’espace propre E1 est de
ı e ´ e
dimension 1, ce qui implique l’unicit´ de la mesure stationnaire.
e
Proposition 1.3.2 Consid´ rons une chaˆne de Markov homog` ne a espace d’´ tats fini E et de matrice de
e ı e ` e
transition P . Elle admet au moins une mesure stationnaire. Si la chaˆne est irr´ ductible alors il y a unicit´
ı e e
de la mesure stationnaire (notons-la π). Dans ce cas, elle charge tous les etats
´
π(i) > 0, pour tout i ∈ E
et le temps moyen de retour en i est egal a l’inverse de π(i) :
´ `
1
IE[T (i) | X0 = i] = , pour tout i ∈ E.
π(i)
Cependant, l’existence et l’unicit´ de la mesure stationnaire π n’assure pas la convergence en loi de la suite
e
(Xn )n∈N vers π. Cette convergence repose en fait sur l’ap´ riodicit´ de la chaˆne.
e e ı
Le r´ sultat suivant est non trivial. Il ne sera pas d´ montr´ .
e e e
Th´ or` me 1.3.3 Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de
e e e ı e ` e
matrice de transition P . Supposons de plus que la chaˆne est irr´ ductible et ap´ riodique. Notons π sa
ı e e
mesure stationnaire.
(1) La matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont
egales a π.
´ `
21](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-21-320.jpg)
![(2) Quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers
π : pour tout etat i, IP(Xn = i) → π(i).
´
Les points (1) et (2) s’interpr` tent par de l’ind´ pendance asymptotique : en deux instants eloign´ s l’un de
e e ´ e
l’autre, la chaˆne se comporte de mani` re presque ind´ pendante. En effet, les quantit´ s IP(Xn = j|X0 = i)
ı e e e
et IP(Xn = j) tendent toutes les deux vers la mˆ me limite π(j). Elles sont donc proches asymptotiquement,
e
ce qui donne
IP(Xn = j , X0 = i) ≃ IP(Xn = j) IP(X0 = i) .
En utilisant l’invariance par translation dans le temps, la relation ci-dessus se g´ n´ ralise en
e e
IP(Xn+m = j , Xm = i) ≃ IP(Xn+m = j) IP(Xm = i) .
Consid´ rons une nouvelle fois l’exemple du bit informatique dont la matrice de transition est donn´ e par
e e
p 1−p
P = .
1−p p
La chaˆne de Markov correspondante est irr´ ductible si et seulement si p < 1. Dans ce cas, l’unique
ı e
mesure stationnaire est le vecteur ligne π = (1/2, 1/2). Si de plus p > 0, alors la chaˆne est ap´ riodique.
ı e
Le th´ or` me limite s’applique :
e e
1
∀i ∈ {0, 1}, lim IP(Xn = i) = .
n→+∞ 2
Autrement dit, quelque soit le bit initial X0 et quelle que soit la valeur de 0 < p < 1, au bout d’un certain
temps, le bit sortant suit une loi uniforme sur {0, 1}.
Lorque p = 0, la matrice de transition devient
0 1
P = .
1 0
La chaˆne est alors 2−p´ riodique. Puisque P 2 est egale a la matrice identit´ , il en va de mˆ me pour toutes
ı e ´ ` e e
les puissances paires de P , tandis que les puissances impaires sont egales a P . Par cons´ quent, le coefficient
´ ` e
(n) (n)
p0,0 prend alternativement les valeurs 0 et 1 : la suite (p0,0 )n∈N ne peut converger.
(n)
Terminons par une comparaison. La Th´ or` me 1.3.3 stipule que, sous les bonnes hypoth` ses, pi,j tend
e e e
vers une limite strictement positive (Proposition 1.3.2). Ceci concerne le cas o` j est r´ current. Lorsque
u e
(n)
j est transient, pi,j tend vers 0. En effet, l’esp´ rance conditionnelle IE[Nj |X0 = i] est finie (voir la
e
d´ monstration de la Proposition 1.2.10). Par cons´ quent, la s´ rie
e e e
(n)
pi,j = IP(Xn = j | X0 = i)
n≥1 n≥1
= IE[1 Xn =j | X0 = i]
1
n≥1
= IE[Nj | X0 = i]
(n)
est convergente. Son terme g´ n´ ral, i.e. pi,j , tend donc vers 0 quand n tend vers l’infini.
e e
22](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-22-320.jpg)
![1.3.3 Lorsque l’espace d’´ tats E est infini
e
L’´ tude th´ orique de la convergence en loi d’une chaˆne de Markov devient plus d´ licate lorsque l’espace
e e ı e
e `
d’´ tats E est infini. A plus forte raison que dans la partie pr´ c´ dente, les r´ sultats qui suivent ne seront pas
e e e
d´ montr´ s.
e e
Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N irr´ ductible et r´ currente, a espace d’´ tats infini E
e ı e e e ` e
E , a coordonn´ es
et de matrice de transition P . On peut alors montrer qu’il existe un vecteur colonne v ∈ R ` e
strictement positives, v´ rifiant t P v = v. Si la somme des coordonn´ es de v est finie
e e
M := v(j) < +∞ , (1.2)
j∈E
alors il suffit de renormaliser le vecteur v par sa masse totale M pour obtenir une mesure stationnaire (qui
sera unique). Cependant la condition (1.2) n’est pas toujours v´ rifi´ e. Une hypoth` se suppl´ mentaire sur
e e e e
la chaˆne doit etre faite pour assurer l’existence (et l’unicit´ ) d’une mesure stationnaire.
ı ˆ e
D´ finition 1.3.4 Consid´ rons une chaˆne de Markov homog` ne irr´ ductible et r´ currente a espace d’´ tats
e e ı e e e ` e
infini E. Soit i ∈ E. Le temps de retour T (i) a i est fini presque sˆ rement (car i est r´ current). Si, de plus,
` u e
IE[T (i)|X0 = i] < +∞ ,
l’´ tat i est qualifi´ de r´ current positif. Dans le cas contraire, i est qualifi´ de r´ current nul.
e e e e e
ˆ
Etre r´ current nul signifie que l’on revient presque sˆ rement en temps fini en cet etat mais que le temps de
e u ´
retour est plutˆ t long. Si long que son esp´ rance est infinie.
o e
La marche al´ atoire simple et sym´ trique (i.e. avec p = 1/2) sur Z est un exemple de chaˆne de Markov
e e ı
pour laquelle tous les etats sont r´ currents nuls.
´ e
Le th´ or` me suivant etablit que la r´ currence positive est une propri´ t´ de classe (mˆ me chose pour la
e e ´ e ee e
r´ currence nulle) : c’est une condition n´ cessaire et suffisante pour l’existence d’une mesure stationnaire.
e e
Si c’est le cas, il y a unicit´ de la mesure stationnaire.
e
Th´ or` me 1.3.5 Soit (Xn )n∈N une chaˆne de Markov homog` ne irr´ ductible, a espace d’´ tats infini E.
e e ı e e ` e
Sont equivalentes :
´
(i) tous les etats sont r´ currents positifs ;
´ e
(ii) il existe au moins un etat r´ current positif ;
´ e
(iii) la chaˆne (Xn )n∈N admet (au moins) une mesure stationnaire.
ı
Lorsque ces conditions sont v´ rifi´ es, il y a unicit´ de la mesure statonnaire. Notons-la π. Elle est d´ finie
e e e e
par :
1
∀i ∈ E, = IE[T (i) | X0 = i] .
π(i)
Si de plus, la chaˆne (Xn )n∈N est ap´ riodique alors :
ı e
(1) la matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales
´
aπ;
`
(2) quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π :
pour tout etat i, IP(Xn = i) → π(i).
´
23](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-23-320.jpg)
![Proposition 2.1.3 La somme de n v.a. ind´ pendantes de loi exponentielle de param` tre λ suit une loi,
e e
appal´ e loi Gamma de param` tres n et λ et not´ e Γ(n, λ), dont la densit´ est donn´ e par :
e e e e e
λn xn−1 −λx
f (x) = e 1 x≥0 .
1
(n − 1)!
2.1.2 Pr´ sentation du processus de Poisson
e
D´ finition 2.1.4 Soit (Xn )n≥1 une suite de v.a. ind´ pendantes et de mˆ me loi, exponentielle de param` tre
e e e e
λ. Posons S0 = 0 et pour tout entier n ≥ 1, Sn = X1 + . . . + Xn . Pour tout r´ el t ≥ 0, d´ finissons la v.a.
e e
Nt , a valeurs enti` res, par :
` e
Nt = n ⇔ Sn ≤ t < Sn+1 .
Le processus stochastique {Nt }t≥0 est appel´ processus de Poisson d’intensit´ λ.
e e
Le processus de Poisson est un mod` le de comptage d’´ v´ nements al´ atoires isol´ s dans le temps, comme
e e e e e
des “tops” d’horloge s´ par´ s par des dur´ es al´ atoires. Dans ce mod` le :
e e e e e
• Xn est la dur´ e s´ parant le (n − 1)e top du ne ;
e e
• Sn est la date a laquelle survient le ne top. D’apr` s la Proposition 2.1.3, la v.a. Sn suit la loi Gamma
` e
de param` tres n et λ ;
e
• Nt est le nombre de tops compt´ s entre l’instant 0 et l’instant t :
e
Nt = 1 Sn ≤t .
1
n≥1
Nt
5
4
3
2
1
0 t
S1 S2 S3 S4 S5
X1 X2 X4 X5 X6
F IGURE 2.1 – Ci-dessus est repr´ sent´ e la trajectoire simul´ e d’un processus de Poisson d’intensit´
e e e e
λ = 1/2 sur l’intervalle [0; 10]. On constate que d’assez longues p´ riodes sans aucun top alternent
e
avec des rafales de tops rapproch´ s : il n’y a pas d’autre explication a la fameuse “loi des s´ ries” ch` re
e ` e e
aux journalistes. Si des ev´ nements (comme par exemple des accidents d’avion) arrivent rarement, de
´ e
mani` re impr´ visible et ind´ pendante, on ne peut pas imaginer qu’ils surviennent a des intervalles de
e e e `
temps r´ guliers. Il faut plutˆ t s’attendre a les voir survenir parfois de mani` re rapproch´ e, par “s´ ries”.
e o ` e e e
Soit 0 ≤ s ≤ t des r´ els. La diff´ rence Nt − Ns est appel´ e accroissement. Elle est egale au nombre de
e e e ´
tops entre les instants s et t.
28](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-28-320.jpg)
![Th´ or` me 2.1.5 Consid´ rons un processus de Poisson {Nt }t≥0 d’intensit´ λ. Il v´ rifie les propri´ t´ s sui-
e e e e e ee
vantes :
(P1) {Nt }t≥0 est un processus de comptage ; il est a valeurs enti` res, v´ rifie N0 = 0 p.s. et pour tous
` e e
r´ els 0 ≤ s ≤ t, Ns ≤ Nt .
e
(P2) {Nt }t≥0 est un processus a accroissements ind´ pendants ; pour tout entier k et pour toute suite
` e
d’instants 0 < t1 < t2 < . . . < tk , les accroissements Nt2 − Nt1 , . . . , Ntk − Ntk−1 sont des v.a.
ind´ pendantes.
e
(P3) Les accroissements du processus {Nt }t≥0 sont poissonniens ; pour tous r´ els 0 ≤ s < t, la v.a.
e
Nt − Ns suit la loi de Poisson de param` tre λ(t − s) ;
e
(P4) {Nt }t≥0 est un processus homog` ne ou a accroissements stationnaires ; pour tous instants 0 ≤
e `
t1 < t2 et s ≥ 0, la v.a. Nt2 +s − Nt1 +s suit la mˆ me loi que Nt2 − Nt1 . ;
e
(P5) {Nt }t≥0 est un processus d’´ v´ nements rares ; IP(Nt+h − Nt ≥ 2) = o(h).
e e
Nous ne d´ montrerons pas ces r´ sultats et nous nous contenterons de quelques commentaires.
e e
Par d´ finition, un processus de Poisson est une fonction du hasard et du temps, a valeurs enti` res, qui est
e ` e
croissante dans le temps. De plus,
IP(N0 = 0) = 1 − IP(N0 = 0) ≥ 1 − IP(X1 = 0) = 1 .
C’est donc un processus de comptage.
La d´ monstration de la propri´ t´ (P2) est li´ e a l’absence de m´ moire de la loi exponentielle (Proposi-
e ee e ` e
tion 2.1.1). Elle signifie que les nombres de tops compt´ s dans des intervalles de temps disjoints sont
e
ind´ pendants. En particulier, les nombres de tops dans les intervalles [0; t] et ]t; t + s] sont ind´ pendants.
e e
C’est la propri´ t´ (P3) qui est a l’origine du nom du processus de Poisson. La probabilit´ pour qu’il y ait
ee ` e
n tops entre les instants s et t (avec s < t) est donn´ e par :
e
(λ(t − s))n −λ(t−s)
IP(Nt − Ns = n) = e .
n!
En particulier,
IE[Nt − Ns ] = λ(t − s) .
Le nombre moyen de tops compt´ s dans un intervalle de temps est donc proportionnel a la longueur de cet
e `
intervalle et le coefficient de proportionnalit´ n’est autre que λ. Par cons´ quent, le nombre moyen de tops
e e
par unit´ de temps est egal a λ, fort justement appel´ intensit´ du processus. La dur´ e moyenne entre deux
e ´ ` e e e
tops etant de 1/λ (ce sont des exponentielles de param` tre λ), il est normal de compter λ tops par unit´ de
´ e e
temps en moyenne.
Avec la condition N0 = 0 p.s., le nombre de tops jusqu’` l’instant t est distribu´ selon la loi de Poisson de
a e
param` tre λt :
e
Nt ∼ P(λt) .
La propri´ t´ (P4) est une cons´ quence imm´ diate de (P3) : les v.a. Nt2 +s − Nt1 +s et Nt2 − Nt1 suivent
ee e e
toutes les deux la loi de Poisson de param` tre λ((t2 + s) − (t1 + s)) = λ(t2 − t1 ).
e
La propri´ t´ (P5) signifie que la probabilit´ de compter plus d’un top dans un petit intervalle de temps est
ee e
n´ gligeable. Elle d´ coule egalement de la propri´ t´ (P3). Rappelons tout d’abord que f (h) = o(h) signifie
e e ´ ee
que le rapport f (h)/h tend vers 0 quand h tend vers 0. La notation o(h) a un caract` re infinit´ simal (et en
e e
aucun cas global). Puisque
IP(Nt+h − Nt = 0) = e−λh = 1 − λh + o(h)
29](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-29-320.jpg)
![et
IP(Nt+h − Nt = 1) = (λh)e−λh = λh + o(h) ,
on en d´ duit que
e
IP(Nt+h − Nt ≥ 2) = 1 − IP(Nt+h − Nt = 0) − IP(Nt+h − Nt = 1) = o(h) .
R´ ciproquement, un processus stochastique v´ rifiant les propri´ t´ s (P1), (P2), (P4) et (P5) est un processus
e e ee
de Poisson. Il v´ rifie donc egalement la propri´ t´ (P3).
e ´ ee
Les instants de saut d’un processus de Poisson v´ rifient la propri´ t´ int´ ressante suivante : lorsqu’on sait
e ee e
qu’exactement n sauts ont eu lieu dans l’intervalle [0; t], la distribution de ces sauts dans [0; t] est celle de
n points tir´ s uniform´ ment au hasard dans cet intervalle.
e e
Proposition 2.1.6 Conditionnellement en {Nt = n}, la loi du vecteur (S1 , . . . , Sn ) des n premiers instants
de saut d’un processus de Poisson est la mˆ me que celle du r´ ordonnement par ordre croissant d’une suite
e e
de n v.a. ind´ pendantes et de mˆ me loi uniforme sur [0; t]. Autrement dit, si on tire des v.a. U1 , . . . , Un
e e
ind´ pendantes de loi uniforme sur [0; t] et si on les r´ ordonne en posant
e e
U(1) = min Ui < U(2) < . . . < U(n) = max Ui ,
1≤i≤n 1≤i≤n
alors la loi conditionnelle de (S1 , . . . , Sn ) sachant Nt = n est la mˆ me que celle de (U(1) , . . . , U(n) ).
e
e ´
D´ monstration Nous d´ montrons uniquement le cas n = 1. Etant donn´ s des r´ els 0 ≤ u ≤ t, on peut
e e e
ecrire :
´
IP(S1 ≤ u, Nt = 1) = IP(Nu = 1, Nt = 1)
= IP(Nu = 1, Nt − Nu = 0)
= IP(Nu = 1) IP(Nt − Nu = 0) ,
du fait de l’ind´ pendance des accroissements (P2). Par la propri´ t´ (P3), les v.a. Nu et Nt − Nu suivent
e ee
des lois de Poisson de param` tres respectifs λu et λ(t − u) (o` λ est l’intensit´ du processus). Ainsi,
e u e
IP(S1 ≤ u, Nt = 1) = IP(Nu = 1) IP(Nt − Nu = 0)
= λue−λu × e−λ(t−u)
= λue−λt .
Finalement,
u
IP(S1 ≤ u | Nt = 1) = .
t
Autrement dit, la fonction de r´ partition de la v.a. S1 conditionnellement a {Nt = 1} est celle d’une loi
e `
uniforme sur l’intervalle [0; t].
Terminons en donnant deux r´ sultats sur la superposition de processus de Poisson ind´ pendants et sur
e e
l’op´ ration inverse de d´ composition.
e e
Proposition 2.1.7
30](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-30-320.jpg)
![1. Soient {Nt1 }t≥0 et {Nt2 }t≥0 deux processus de Poisson ind´ pendants (i.e. tout ev´ nement li´ a
e ´ e e `
l’un est ind´ pendant de tout ev´ nement li´ a l’autre), d’intensit´ s respectives λ1 et λ2 . On appelle
e ´ e e` e
superposition de ces deux processus le processus somme :
∀t ≥ 0, Nt = Nt1 + Nt2 .
Alors {Nt }t≥0 est encore un processus de Poisson d’intensit´ λ1 + λ2 .
e
2. Inversement, si {Nt }t≥0 est un processus de Poisson d’intensit´ λ, on associe aux instants de saut
e
(Sn )n∈N de ce processus une suite de v.a. (Yn )n∈N ind´ pendantes, ind´ pendantes du processus
e e
{Nt }t≥0 , et de mˆ me loi de Bernoulli :
e
∀n ∈ N, IP(Yn = 1) = p et IP(Yn = 0) = 1 − p .
Soit {Nt′ }t≥0 le processus dont les instants de saut sont les (Sn )n∈N tels que Yn = 1. Alors, {Nt′ }t≥0
est encore un processus de Poisson d’intensit´ λ′ = pλ.
e
Voici deux exemples d’application :
– Sur une voie a double sens, si les flux de v´ hicules venant de droite et de gauche sont deux processus
` e
de Poisson d’intensit´ respectives λ1 et λ2 , pouvant etre consid´ r´ s comme ind´ pendants, alors le
e ˆ ee e
flux global de v´ hicules est encore un processus de Poisson d’intensit´ λ1 + λ2 .
e e
– Si le flux global de v´ hicules est un processus de Poisson d’intensit´ λ et que 5% des v´ hicules sont
e e e
rouges alors le flux des v´ hicules rouges est encore un processus de Poisson d’intensit´ λ′ = 0, 05λ.
e e
2.1.3 Simulation et mod´ lisation
e
De nombreuses situations sont mod´ lis´ es par les processus de Poisson : arriv´ es de clients dans une file
e e e
d’attente, appels a un central t´ l´ phonique, d´ sint´ gration de particules radioactives, pannes de composants
` ee e e
electroniques, passages de voitures sur une route a grande circulation non embouteill´ e. . . Pour se faire une
´ ` e
id´ e concr` te de ce qu’est un processus de Poisson, rien ne vaut la simulation. On peut bien sˆ r programmer
e e u
en suivant la d´ finition, ce qui implique des tirages successifs de variables exponentielles. On peut aussi
e
appliquer la propri´ t´ (P3) et la Proposition 2.1.6 : pour simuler des ev´ nements poissoniens sur l’intervalle
ee ´ e
de temps [0; t], on commence par choisir la valeur n prise par Nt suivant la loi P(λt), puis on simule les
dates d’arriv´ es de ces n ev´ nements en les tirant au hasard suivant la loi uniforme sur [0; t]. En R, cela
e ´ e
donne :
n = rpois(1,λt)
v = runif(n,0,t)
w = sort(v)
Le vecteur w contient les instants de sauts S1 , . . . , Sn du processus de Poisson d’intensit´ λt sur l’intervalle
e
[0; t].
Il est important de comprendre quelles hypoth` ses de mod´ lisation l’utilisation d’un processus de Poisson
e e
sous-entend. Dire que des ev´ nements surviennent selon un processus de Poisson, c’est supposer qu’`
´ e a
chaque instant, l’arriv´ e du prochain ev´ nement est parfaitement impr´ visible, i.e. ind´ pendante de ce qui
e ´ e e e
a pr´ c´ d´ . On suppose de plus que l’intensit´ (nombre moyen d’´ v´ nements par unit´ de temps) reste
e e e e e e e
constante. Supposons que l’on souhaite mod´ liser des arriv´ es de clients dans un magasin. Les questions
e e
sont les suivantes.
– Les clients arrivent-ils un par un (´ v´ nements rares) ?
e e
31](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-31-320.jpg)
![– Le temps qui s’est ecoul´ depuis l’arriv´ e du dernier client est-il sans incidence sur les chances d’en
´ e e
voir arriver un bientˆ t (accroissements ind´ pendants) ?
o e
– Dans une seconde fix´ e, les chances de voir arriver un client sont-elles constantes (homog´ n´ it´ en
e e e e
temps) ?
Mˆ me si les r´ ponses a ces questions sont g´ n´ ralement plutˆ t n´ gatives, il est raisonnable de commencer
e e ` e e o e
par mod´ liser cette situation par un processus de Poisson. Lorsque cette premi` re mod´ lisation conduit
e e e
a des r´ sultats aberrants, on a recours a des mod` les plus sophistiqu´ s qui sont des g´ n´ ralisations du
` e ` e e e e
processus de Poisson. Par exemple, les processus de renouvellement sont des processus de comptage
d’´ v´ nements rares s´ par´ s par des dur´ es ind´ pendantes, mais de loi autre qu’exponentielle. Les processus
e e e e e e
de Poisson non homog` nes sont des processus de comptage, a accroissements ind´ pendants, d’´ v´ nements
e ` e e e
rares, mais la loi de Nt+h − Nt d´ pend de t. L’int´ rˆ t des processus de Poisson compos´ s r´ side dans la
e ee e e
possibilit´ d’ajouter, a chaque top, une v.a. enti` re plutˆ t que d’augmenter syst´ matiquement de 1. Ceci
e ` e o e
permet en particulier de tenir compte des arriv´ es group´ es dans les mod` les d’attente.
e e e
Signalons enfin que le processus de Poisson peut etre etendu a des dimensions sup´ rieures a 1. Les tops
ˆ ´ ` e `
sont alors interpr´ t´ s comme des points de l’espace, pouvant par exemple mod´ lis´ s les individus d’une
ee e e
esp` ce prot´ g´ e dans un parc naturel. Dans la fenˆ tre [0; 20]2 , le nombre de points d’un processus de Pois-
e e e e
son (bi-dimensionnel) d’intensit´ λ suit la loi de Poisson de param` tre λ × 202 . Puis, en ces points, nous
e e
centrons des disques dont les rayons sont des v.a. i.i.d. L’union de ces disques forme un sous-ensemble
al´ atoire Γ, appel´ Mod` le Bool´ en ; voir la Figure 2.2. Le Mod` le Bool´ en permet de mod´ liser de nom-
e e e e e e e
breux ph´ nom` nes physiques ou biologiques : la porosit´ d’un milieu ou d’un mat´ riau, la propagation
e e e e
d’une maladie sur un territoire, etc.
F IGURE 2.2 – Trois simulations du Mod` le Bool´ en. Dans les trois cas, les rayons sont distribu´ s selon la
e e e
loi exponentielle de param` tre 1. L’intensit´ du processus de Poisson sous-jacent vaut, de gauche a droite,
e e `
λ = 1, 4, 7. Il n’est donc pas etonnant que l’ensemble Γ (en noir) remplisse de plus en plus la fenˆ tre
´ e
[0; 20]2 . Dans la derni` re simulation, est-il possible de traverser la fenˆ tre [0; 20]2 , disons de gauche a
e e `
droite, tout en restant dans Γ ?
Voici le code en R produisant ces simulations :
n = rpois(1,λL2 )
X = runif(n,0,L)
Y = runif(n,0,L)
R = rexp(n,1)
plot(0 :L, 0 :L, type=”n”, xlab=””, ylab=””)
32](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-32-320.jpg)
![for (i in 1 :n) points(X[i],Y[i],cex=R[i],pch=16)
2.2 Processus markoviens de sauts
Les Processus markoviens de sauts sont la g´ n´ ralisation des chaˆnes de Markov au temps continu.
e e ı
Le passage du temps discret au temps continu se fait en remplacant le pas de temps fixe d’une chaˆne de
ı
Markov par des intervalles de temps al´ atoires ind´ pendants de loi exponentielle. Le processus de Poisson
e e
sera notre premier exemple de processus markoviens de sauts. Un second sera li´ aux files d’attente et sera
e
abord´ dans la derni` re partie de ce cours.
e e
2.2.1 D´ finition et exemples
e
Consid´ rons un ensemble E fini ou d´ nombrable et une suite croissante de v.a. (Sn )n∈N a valeurs dans
e e `
R+ . Un processus de sauts {Xt }t≥0 a espace d’´ tats E et d’instants de sauts (Sn )n∈N est un processus
` e
stochastique dont la valeur ne peut changer qu’en ses instants de sauts :
∀n ∈ N, ∃!x ∈ E tel que ∀t ∈ [Sn ; Sn+1 [, Xt = x .
Nous nous int´ ressons exclusivement a une classe particuli` re de processus de sauts, appel´ s processus
e ` e e
markoviens de sauts. Ces processus evoluent de la mani` re suivante. Supposons que le processus se trouve
´ e
a l’´ tat x a l’issu du saut intervenant a l’instant Sn .
` e ` `
1. Le temps de s´ jour dans l’´ tat x, a savoir la v.a. Sn+1 − Sn , suit la loi exponentielle de param` tre
e e ` e
λ(x). Le param` tre de cette loi peut donc d´ pendre de l’´ tat x o` le processus se trouve. Mais a part
e e e u `
cette d´ pendance en l’´ tat x, la v.a. Sn+1 − Sn est ind´ pendante du pass´ du processus.
e e e e
` l’instant Sn+1 , le processus saute de l’´ tat x vers l’´ tat y (avec y = x) avec une probabilit´ qx,y ,
2. A e e e
quantit´ ind´ pendante de Sn+1 − Sn et du pass´ .
e e e
L’´ volution du processus est donc d´ termin´ e par la suite (λ(x))x∈E et par la matrice Q := (qx,y )x,y∈E .
e e e
Voici une d´ finition plus formelle :
e
D´ finition 2.2.1 Un processus de sauts {Xt }t≥0 a espace d’´ tats E et d’instants de sauts (Sn )n∈N est
e ` e
markovien s’il existe :
• une suite born´ e (λ(x))x∈E de r´ els strictement positifs,
e e
• une matrice Q = (qx,y )x,y∈E de r´ els positifs v´ rifiant
e e
∀x ∈ E, qx,x = 0 et qx,y = 1 ,
y∈E
telles que, pour tout entier n, pour tous etats x0 , x1 , . . . , xn , xn+1 et pour tous r´ els positifs t1 , . . . , tn ,
´ e
tn+1 :
XSn+1 = xn+1 , XSn = xn , Sn − Sn−1 > tn , . . . ,
IP
Sn+1 − Sn > tn+1 XS1 = x1 , S1 − S0 > t1 , XS0 = x0
XSn+1 = xn+1 ,
= IP XSn = xn (2.3)
Sn+1 − Sn > tn+1
= e−λ(xn )tn+1 qxn ,xn+1 . (2.4)
33](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-33-320.jpg)
![markov = function(x0 ,T,λ,Q)
{ X = x0
T = T - rexp(1,λ[x0 ])
while (T > 0)
{ U = runif(1,0,1)
R = qX,x1
i=1
while (R < U)
{i=i+1
R = R + qX,xi
}
X = xi
T = T - rexp(1,λ[xi ])
}
X
}
Le cœur de cette routine consiste a choisir le prochain etat visit´ par le processus selon le vecteur de
` ´ e
probabilit´ (qX,xi )i≥1 , l’´ tat occup´ etant X. Cette simulation peut se simplifier consid´ rablement suivant
e e e´ e
le contexte (processus de Poisson, automate binaire).
2.2.2 Probabilit´ s de transition et g´ n´ rateur de Markov
e e e
Le r´ sultat suivant est l’analogue de la propri´ t´ de Markov et de l’homog´ n´ it´ en temps qui d´ finissent
e ee e e e e
habituellement les chaˆnes de Markov. Comme dans le cas discret, cela conduit a une caract´ risation simple
ı ` e
de la loi du processus.
Proposition 2.2.2 Un processus markovien de sauts {Xt }t≥0 a espace d’´ tats E satisfait les deux egalit´ s
` e ´ e
suivantes : pour tout entier n, pour tous etats x0 , x1 , . . . , xn , xn+1 et pour toute suite croissante de r´ els
´ e
positifs 0 < t1 < . . . < tn < tn+1 ,
IP(Xtn+1 = xn+1 | Xtn = xn , . . . , Xt1 = x1 , X0 = x0 ) = IP(Xtn+1 = xn+1 | Xtn = xn )
= IP(Xtn+1 −tn = xn+1 | X0 = xn ) .
D` s lors, la probabilit´ conditionnelle IP(Xt = y|Xs = x) ne d´ pend que des etats x, y et de l’accroisse-
e e e ´
ment t − s, ce qui justifie la notation suivante. Pour tout r´ el positif t et pour tous etats x, y, la probabilit´
e ´ e
de transition de x vers y sur un intervalle (de temps) de longueur t est d´ finie par :
e
p(t) := IP(Xt = y | X0 = x) .
x,y
(t)
Attention, la notation px,y ne pr´ cise pas le nombre de sauts pour aller de l’´ tat x a l’instant 0 a l’´ tat y a
e e ` ` e `
l’instant t.
(t)
La matrice P (t) := (px,y )x,y∈E est appel´ e matrice de transition sur un intervalle (de temps) de longueur
e
t. Comme dans le cas discret, la taille de la matrice P (t) d´ pend du cardinal de E (´ ventuellement infini),
e e
ses coefficients sont des r´ els positifs et la somme de ces coefficients sur toute une ligne vaut 1.
e
Comme dans le cas discret, la loi µt de la v.a. Xt est obtenue par produit matriciel entre la loi initiale µ0
(i.e. celle de X0 ) et la matrice de transition P (t) :
µt = µ0 P (t) .
35](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-35-320.jpg)
![2.4 Exercices
Exercice 1 : Bit informatique poissonnien
Consid´ rons un processus de Poisson {Nt }t≥0 d’intensit´ λ et une v.a. X0 , ind´ pendante du processus
e e e
{Nt }t≥0 , valant −1 ou 1 avec probabilit´ 1/2. Soit {Xt }t≥0 le processus a valeurs dans {−1, 1}, changeant
e `
de signe a chaque saut du processus {Nt }t≥0 et issu de X0 .
`
1. Apr` s avoir donn´ une expression de Xt en fonction de Nt et de X0 , d´ terminer son esp´ rance et
e e e e
sa variance.
2. Calculer la probabilit´ pour que la valeur du bit au temps t0 soit la mˆ me qu’initialement. Puis la
e e
limite de cette probabilit´ quand t0 → +∞. Comparer avec le bit informatique a temps discret. On pourra
e `
utiliser la formule
∞
z 2k 1 z
= e + e−z .
(2k)! 2
k=0
Exercice 2 : Temps d’attente de voyageurs
Supposons que des voyageurs en partance pour Londres arrivent a la gare Lille Europe selon un processus
`
de Poisson d’intensit´ λ. Le d´ part de leur train est pr´ vu au temps t0 (nous conviendrons que la gare ouvre
e e e
ses portes au temps t = 0).
1. Calculer le nombre moyen de voyageurs prenant ce train.
2. Calculer la moyenne de la somme des temps d’attente de ces voyageurs.
Exercice 3 : Loi binomiale et processus de Poisson
Comme il fait beau ce matin, je prends mon petit-d´ jeuner dans le jardin. Des merles et des moineaux
e
viennent chiper des miettes de pain que j’´ parpille volontairement sur la table. Les passages des merles et
e
des moineaux peuvent etre mod´ lis´ s par deux processus de Poisson ind´ pendants d’intensit´ s respectives
ˆ e e e e
λ et λ′ .
1. Calculer la probabilit´ pour que le premier oiseau venant sur la table soit un merle.
e
2. Calculer la probabilit´ pour que les deux premiers oiseaux venant sur la table soient des merles.
e
3. Quelle est la loi du nombre d’oiseaux venant sur la table jusqu’au temps t ? Sachant que ce nombre
vaut n, quelle est la loi du nombre de merles venant sur la table jusqu’au temps t ?
Exercice 4 : Radioactivit´
e
Une source radioactive emet des particules selon un processus de Poisson d’intensit´ λ. Chaque particule
´ e
est emise suivant une direction al´ atoire, de loi uniforme sur [0; 2π], et ind´ pendante des autres particules.
´ e e
Un compteur Geiger, plac´ pr` s de la source, enregistre les particules emises de direction comprise entre
e e ´
−π/4 et π/4. Quelle est la loi du nombre de particules enregistr´ es jusqu’au temps t ?
e
Exercice 5 (Examen 2009) :
Une fois la nuit tomb´ e, Pierre et Paul se retrouvent a l’observatoire afin de contempler des etoiles filantes.
e ` ´
Le passage des etoiles filantes dans le ciel est mod´ lis´ par un processus de Poisson d’intensit´ 0.1 (l’unit´
´ e e e e
de temps etant la minute), not´ {Nt }t≥0 . Soit Xn le temps al´ atoire s´ parant le passage de la (n − 1) ´
´ e e e e etoile
filante du passage de la ne.
46](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-46-320.jpg)
![1. Quelle est la probabilit´ pour Pierre et Paul de ne voir aucune etoile filante durant la premi` re heure
e ´ e
d’observation ? Quel est le nombre moyen d’´ toiles filantes qu’ils devraient voir durant cette premi` re
e e
heure d’observation ? Et pendant la seconde heure d’observation ?
2. Paul est de nature impatiente (seulement pour cette question) : s’il ne voit aucune etoile filante
´
durant 20 minutes (cons´ cutives) alors il s’en va ! Quelle est la probabilit´ qu’il en voit exactement 3 ?
e e
Plus g´ n´ ralement, quelle est la loi du nombre d’´ toiles filantes que Paul verra ? En d´ duire le nombre
e e e e
moyen d’´ toiles filantes que l’impatient Paul verra.
e
3. On suppose enfin que Paul est arriv´ en retard au rendez-vous (disons au temps t0 > 0 alors que
e
Pierre est arriv´ au temps t = 0).
e
(a) Sachant qu’aucune etoile filante n’est pass´ e avant l’arriv´ e de Paul, quelle est la loi du temps
´ e e
qu’il devra patienter pour en observer une ?
(b) Supposons dans cette question que t0 = 20. Sachant qu’une seule etoile filante est pass´ e avant
´ e
l’arriv´ e de Paul, quelle aurait et´ la probabilit´ pour Paul de la voir s’il etait arriv´ 5 minutes plus tˆ t ?
e ´e e ´ e o
Exercice 6 : Loi g´ om´ trique et processus de Poisson
e e
Je souhaite traverser une route a grande circulation dont le flux de v´ hicules peut etre mod´ lis´ par un
` e ˆ e e
processus de Poisson d’intensit´ λ = 1 (l’unit´ etant la minute). Depuis l’ablation de mes deux jambes, il
e e´
me faut tout de mˆ me 3 minutes pour traverser une telle route. Avant de me lancer, je pr´ f` re r´ fl´ chir un
e ee e e
peu. . .
1. Quelle est la loi du nombre de v´ hicules que je dois laisser passer avant de pouvoir traverser ?
e
2. Quel est le temps moyen d’attente avant de traverser ?
Exercice 7 (Examen 2010) : Probl` mes de simulations
e
Pr´ cisons que les g´ n´ rateurs mentionnn´ s ci-dessous g´ n` rent des v.a. ind´ pendantes entre elles, mais
e e e e e e e
aussi de tout le reste !
1. Comment simuler une loi exponentielle de param` tre 2 lorsqu’on dispose uniquement d’un g´ n´ rateur
e e e
de loi exponentielle de param` tre 1 ?
e
2. Comment simuler un processus de Poisson d’intensit´ 1 sur l’intervalle [0; 100] sans utiliser de lois
e
exponentielles (quel que soit le param` tre) ?
e
` e 1
3. A partir de la simulation pr´ c´ dente et d’un g´ n´ rateur de loi de Bernoulli de parm` tre 2 , comment
e e e e
e 1
simuler un processus de Poisson d’intensit´ 2 sur l’intervalle [0; 100] ?
Exercice 8 : Deux automates binaires d´ pendants
e
Consid´ rons un syst` me a deux composants identiques tel que, en cas de panne de l’un des deux compo-
e e `
sants, l’autre puisse aussi tomber en panne. Les hypoth` ses de mod´ lisation sont les suivantes.
e e
• Le temps de fonctionnement de chaque composant suit la loi E(λ).
• Le temps de r´ paration d’un composant seul (pendant le fonctionnement de l’autre) suit la loi E(µ).
e
• Le temps de r´ paration des deux composants simultan´ ment suit la loi E(ν).
e e
• En cas de panne d’un des composants, l’autre continue a fonctionner avec probabilit´ c.
` e
• Toutes les v.a. du mod` le sont ind´ pendantes.
e e
Soit Zt l’´ tat du syst` me au temps t : Zt ∈ E = {00, 10, 01, 11} o` , par exemple, l’´ tat 01 signifie que le
e e u e
premier composant est en panne tandis que le second est en fonctionnement.
1. Nous admettons que {Zt }t≥0 est un processus markovien de sauts sur E. Pr´ ciser cependant la
e
47](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-47-320.jpg)
![Annexe : quelques formules
Voici quelques formules ultra classique du calcul des probabilit´ s dont vous ne pourrez pas vous passer
e
durant ce cours.
On se donne un tripl´ (Ω, F, IP) o` :
e u
– Ω est un ensemble ;
– F est une tribu sur Ω, i.e. une tr` s grande famille de sous-ensembles de Ω ;
e
– IP est une mesure de probabilit´ sur Ω : les seuls sous-ensembles de Ω pouvant etre mesur´ s par IP
e ˆ e
sont ceux de la tribu F.
Dans la suite, A, B et (An )n∈N sont dans la tribu F.
[A1] On a toujours
IP An ≤ IP(An )
n∈N n∈N
avec egalit´ si et seulement si les ev´ nements An , n ∈ N, sont deux a deux disjoints.
´ e ´ e `
[A2] Supposons que la famille (An )n∈N forme une partition de Ω, i.e. les An , n ∈ N, sont deux a deux
`
disjoints et leur union remplit tout Ω. Alors ;
IP(B) = IP(B ∩ An ) = IP(B | An ) IP(An ) .
n∈N n∈N
[A3] Les ev´ nements A et B sont ind´ pendants si et seulement si IP(A ∩ B) = IP(A) IP(B), ce qui s’´ crit
´ e e e
encore
IP(A | B) = IP(A) d` s que IP(B) > 0.
e
[A4] Si la suite (An )n∈N est croissante, i.e. An ⊂ An+1 , alors
IP An = lim IP(An ) .
n→∞
n∈N
[A5] Si la suite (An )n∈N est d´ croissante, i.e. An ⊃ An+1 , alors
e
IP An = lim IP(An ) .
n→∞
n∈N
[A6] La probabilit´ d’un ev´ nement est egale a l’esp´ rance de son indicatrice :
e ´ e ´ ` e
IP(A) = IE [1 A ] .
1
49](https://image.slidesharecdn.com/coursprostoc-121002170116-phpapp02/85/Cours-stochastic-processes-49-320.jpg)
Cours stochastic processes
- 1. P OLYTECH ’LILLE GIS 4 P ROCESSUS S TOCHASTIQUES
- 2. Table des mati`res e Introduction 3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1 Chaˆnes de Markov ı 8 1.1 D´ finitions . . . . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Classification des etats . . . . . . . . . . . ´ . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.1 Classes irr´ ductibles . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.2 R´ currence et transience . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.3 P´ riodicit´ . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Th´ or` mes limites . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.2 Lorsque l’espace d’´ tats E est fini . e . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.3.3 Lorsque l’espace d’´ tats E est infini e . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2 Processus stochastiques markoviens en temps continu 26 2.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.1.1 Trois propri´ t´ s de la loi exponentielle . . . . . . . ee . . . . . . . . . . . . . . . . . 26 2.1.2 Pr´ sentation du processus de Poisson . . . . . . . e . . . . . . . . . . . . . . . . . 28 2.1.3 Simulation et mod´ lisation . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 31 2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.1 D´ finition et exemples . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 33 2.2.2 Probabilit´ s de transition et g´ n´ rateur de Markov e e e . . . . . . . . . . . . . . . . . 35 2.2.3 Th´ or` me limite . . . . . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . 39 2.3 Application aux mod` les de files d’attente . . . . . . . . . e . . . . . . . . . . . . . . . . . 41 2.3.1 Pr´ sentation g´ n´ rale . . . . . . . . . . . . . . . . e e e . . . . . . . . . . . . . . . . . 41 ´ 2.3.2 Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 Annexe : quelques formules 49 2
- 3. Introduction On peut d´ finir un processus stochastique comme etant une famille {Xt }t∈T de variables al´ atoires e ´ e ind´ x´ es par le temps t. Les mots processus et stochastique signifient respectivement fonction et al´ atoire. e e e Alors qu’une variable al´ atoire X associe a chaque ω ∈ Ω une r´ alisation X(ω), un processus stochastique e ` e {Xt }t∈T associe a chaque ω une fonction (ou trajectoire) {Xt (ω)}t∈T : ` T → E , t → Xt (ω) o` E est l’espace d’arriv´ e des variables al´ atoires Xt . Passer des variables al´ atoires aux processus sto- u e e e chastiques revient a passer en analyse des points aux fonctions. A ` ` titre d’exemple, la trajectoire d’une mouche en fonction du temps peut etre mod´ lis´ e par un processus stochastique a valeurs dans E = R3 . ˆ e e ` Lorsque l’ensemble des temps T est au plus d´ nombrable (par exemple T = N), on parle de processus e stochastiques a temps discret. Lorsqu’il est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus ` stochastiques a temps continu. ` Dans tout ce cours, on abr` ge les expressions “variable al´ atoire” en v.a. et “ind´ pendantes et identique- e e e ment distribu´ es” en i.i.d. e Les situations r´ elles pouvant etre mod´ lis´ es par des processus stochastiques sont nombreuses. En voici e ˆ e e quelques exemples : E XEMPLES : • Probl` me de la ruine du joueur. Consid´ rons une suite de v.a. (Yn )n≥1 i.i.d. dont la loi commune e e est d´ finie par e IP(Y1 = 1) = p et IP(Y1 = −1) = 1 − p et une quantit´ initiale (d´ terministe ou al´ atoire) Y0 ∈ Z ind´ pendante des v.a. Yn . On d´ finit la marche e e e e e al´ atoire simple par e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 , pour tout n ∈ N. La suite (Xn )n≥1 est un processus stochastique a temps discret T = N (ce sont les ` instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n≥1 repr´ sente l’´ volution de la fortune ` e e d’un joueur (jouant a pile ou face, a la roulette...) gagnant un montant fixe (ici 1 euro) avec probabilit´ p et ` ` e perdant le mˆ me montant avec probabilit´ 1 − p. Les parties, dont les r´ sultats sont les Yn , sont suppos´ es e e e e ind´ pendantes. La fortune du joueur a l’issue de la n e ` e partie est X . La quantit´ Y repr´ sente la fortune n e 0 e initiale du joueur. Le joueur est ruin´ (et donc arrˆ te de jouer) d` s que la suite (Xn )n≥1 touche l’axe des abscisses. On peut e e e 3
- 4. egalement ajouter commecondition que le joueur s’arrˆ te de jouer si sa fortune atteint un certain seuil ´ e a > Y0 . Dans ce jeu, on aimerait connaˆtre l’esp´ rance de gain en fonction des param` tres Y0 , a et p, ou ı e e encore la dur´ e moyenne du jeu. e Y0 n F IGURE 1 – Le joueur est ruin´ a l’issue de la 12e partie. e` • Probl` me de l’extinction d’une population. Consid´ rons une suite doublement ind´ x´ e de v.a. e e e e {Yn,m , n ∈ N, m ∈ N∗ } i.i.d. et a valeurs enti` res. La variable Yn,m repr´ sente le nombre de fils du me ` e e individu dans la ne g´ n´ ration (s’il existe). Posons X0 = 1 ; il y a initialement un seul individu (g´ n´ ration e e e e 0). Puis, pour tout n, Xn Xn+1 = Yn,m m=1 repr´ sente le nombre d’individu dans la (n+1)e g´ n´ ration. La suite (Xn )n≥1 est un processus stochastique e e e a temps discret T = N (ce sont les g´ n´ rations) et a valeurs dans E = N. Il est connu sous le nom de ` e e ` processus de branchement ou arbre de Galton-Watson. F IGURE 2 – Sont repr´ sent´ es les quatre premi` res g´ n´ rations d’un arbre de Galton-Watson. Le premier e e e e e individu a Y0,1 = 3 fils. Ceux-ci auront respectivement Y1,1 = 1, Y1,2 = 4 et Y1,3 = 0 fils. La 2e g´ n´ ration e e comprend donc 5 individus : X2 = 5. Historiquement, Galton et Watson ont introduit ce mod` le pour etudier la perp´ tuation des lign´ es des e ´ e e Lords en Angletrre au 19e si` cle : les individus sont des Lords qui transmettent leur titre uniquement a e ` leurs fils. Il s’agit alors d’´ tudier l’´ volution de la population au cours du temps, i.e. la quantit´ Xn quand e e e n devient grand. Y aura-t’il extinction de la lign´ e de Lords ? Voici une premi` re r´ ponse pleine de bon e e e 4
- 5. sens : sile nombre moyen IE[Y0,1 ] de fils de chaque individu est elev´ , la population devrait rapidement ´ e ı ` l’inverse, si IE[Y0,1 ] est proche de 0, la population devrait s’´ teindre. croˆtre. A e • S´ ries temporelles ou chronologiques. Les s´ ries temporelles peuvent etre mod´ lis´ es par des e e ˆ e e processus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dans ` un pays donn´ durant un intervalle de temps, le nombre de passagers dans les transports a´ riens ou encore e e les valeurs de clˆ tures journali` res du CAC40. o e 4000 3500 EuStockMarkets[, 3] 3000 2500 2000 1500 1992 1993 1994 1995 1996 1997 1998 Time F IGURE 3 – Valeurs de clˆ tures journali` res du CAC40 de 1991 a 1998. o e ` Un des objectifs principaux de l’´ tude d’une s´ rie temporelle est la pr´ vision des r´ alisations futures, tr` s e e e e e souvent pour des raisons economiques (pr´ voir l’´ volution de la demande d’un produit pour ajuster au ´ e e mieux les moyens de production, pr´ voir l’´ volution d’un march´ financier...). e e e Les s´ ries temporelles feront l’objet de tout un cours en GIS5. e • Files d’attente. La salle de r´ servation d’une grande gare SNCF donne une bonne repr´ sentation e e d’une file d’attente (queue en anglais). Elle comprend un certain nombre de guichets et des clients qui sont soit en train d’ˆ tre servis, soit en attente qu’un guichet se lib` re. Le nombre total de ces clients pr´ sents e e e dans la salle de r´ servation au temps t est not´ Nt . Le hasard intervient dans les arriv´ es des clients ainsi e e e que dans la dur´ e des services. La suite (Nt )t≥0 est un processus stochastique a temps continu et a valeurs e ` ` dans E = N. L’objectif est d’´ tudier l’´ volution de Nt au cours du temps afin d’optimiser le nombre de e e guichets n´ cessaires pour satisfaire en un temps raisonnable les clients. e On peut egalement mod´ liser par une file d’attente un syst` me informatique dans lequel les nouvelles ´ e e tˆ ches se mettent en attente avant d’ˆ tre trait´ es, ou encore un poste de travail dans une usine. a e e Les files d’attentes seront etudi´ es en d´ tails dans ce cours. ´ e e En GIS3 ou en GIS4, vous avez d´ j` vu des processus stochastiques : n’importe quelle suite de v.a. i.i.d. ea en est un exemple ! L’ind´ pendance entre les variables facilite les calculs et permet d’obtenir sans trop e d’efforts des th´ or` mes limites int´ ressants (Loi des Grands Nombres, Th´ or` me Central Limite...). Mal- e e e e e heureusement, l’ind´ pendance n’est pas un ph´ nom` ne courant dans la nature. Int´ grer de la d´ pendance e e e e e entre les variables permet de mod´ liser plus fid` lement la r´ alit´ . Il y a n´ anmoins un coˆ t a payer ; les e e e e e u ` calculs sont plus durs et les th´ or` mes plus chers. e e Les processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine d´ pen- ´ e dance entre les variables ; une d´ pendance de type markovienne (ou de Markov). Cela signifie que l’´ volu- e e tion future du processus ne d´ pend de son pass´ que par l’interm´ diaire du pr´ sent. Par exemple pour e e e e d´ cider au mieux du 21e coup a jouer dans une partie d’´ checs, il suffit de connaˆtre la configuration du jeu e ` e ı a l’issue du 20e coup, le d´ tail des 19 premiers coups n’ayant alors aucune importance. ` e 5
- 6. Les exemples d´crits p´ c´ demment sont markoviens. La fortune du joueur a l’issue de la (n + 1)e partie ne e e e ` d´ pend que de sa fortune a l’issue de la n e ` e et du r´ sultat de la (n + 1)e partie, mais pas de l’´ volution totale e e de sa fortune depuis le d´ but du jeu. Pour un processus de Galton-Watson, le nombre d’individus dans la e g´ n´ ration a venir ne d´ pend que du nombre d’individus dans la g´ n´ ration actuelle et du nombre de fils e e ` e e e qu’ils auront. Les files d’attente que nous etudierons seront aussi des processus stochastiques markoviens. ´ Pour les s´ ries temporelles, vous verrez l’ann´ e prochaine... e e 6
- 7. Exercices Exercice 1 :D´ nombrement de trajectoires d’une marche al´ atoire e e Partie 1. Consid´ rons la marche al´ atoire simple (Xn )n∈N a valeurs dans Z, d´ finie par e e ` e X0 = y0 ∈ Z Xn = y0 + Y1 + . . . + Yn , ∀n ≥ 1 o` (Yn )n≥1 est une suite de v.a. i.i.d., chacune valant 1 avec probabilit´ p et −1 avec probabilit´ 1 − p, et u e e y0 ∈ Z. 1. Quelles sont les valeurs que peut prendre X100 ? Notons E100 cet ensemble. 2. Soit y ∈ E100 . Combien y-a-t’il de trajectoires v´ rifiant X100 = y ? Pr´ ciser ce nombre lorsque e e y = y0 + 100, y = y0 − 100 et y = y0 . 3. Soit y ∈ E100 . Montrer que toutes les trajectoires v´ rifiant X100 = y ont la mˆ me probabilit´ . e e e Quelle est cette probabilit´ ? e 4. Principe de r´ flexion. Soient x, x′ , y, y ′ des entiers tels que 0 ≤ x ≤ x′ et yy ′ ≥ 0. Justifier e heuristiquement qu’il y a autant de trajectoires de la marche al´ atoire allant de (x, y) a (x′ , y ′ ) en touchant e ` l’axe des abscisses, que de trajectoires allant de de (x, −y) a (x′ , y ′ ). ` Partie 2. Application au distributeur automatique de boissons. Consid´ rons un distributeur automatique de boissons, chacunes valant 1 euro. Supposons que 60% des e clients d´ sirant acheter une boisson la paie avec une pi` ce de 1 euro, et le reste, avec une pi` ce de 2 euros. e e e ` Dans ce dernier cas, le distributeur rend au consommateur sa monnaie, i.e. une pi` ce de 1 euro. A condition e qu’il en ait... Il s’agit donc pour l’appariteur de pr´ voir dans le distributeur, en d´ but de journ´ e, un stock e e e suffisant de pi` ces de 1 euro. Mais pas trop pour ne pas bloquer inutilement de la tr´ sorerie ! e e 5. Mod´ liser par une marche al´ atoire l’´ volution au cours du temps du stock du distributeur. e e e 6. Supposons que dans une journ´ e donn´ e, 100 clients se pr´ sentent et que exactement 60 d’entre e e e eux paient avec une pi` ce de 1 euro. Quel stock initial permet d’assurer (disons a 95%) que chaque client e ` r´ cup` re sa monnaie ? e e 7
- 8. Chapitre 1 Chaˆnes deMarkov ı Un mod` le d’´ volution dynamique en temps discret dans lequel on fait d´ pendre l’´ volution future de e e e e l’´ tat pr´ sent et du hasard est une chaˆne de Markov. C’est un processus stochastique a temps discret. On e e ı ` en rencontre dans de nombreux domaines d’applications... 1.1 D´ finitions e D´ finition 1.1.1 Soit (Xn )n∈N une suite de v.a. a valeurs dans un espace E fini ou d´ nombrable, appel´ e ` e e espace d’´ tats. On dit que (Xn )n∈N est une chaˆne de Markov si e ı IP(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = IP(Xn+1 = j | Xn = i) , pour tout entier n ∈ N, pour tout etat j et pour toute suite d’´ tats i0 , i1 , . . . , in−1 , i pour lesquels la ´ e probabilit´ conditionnelle a un sens, i.e. e IP(Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 . Si de plus la quantit´ IP(Xn+1 = j | Xn = i) ne d´ pend pas de n, i.e. e e IP(Xn+1 = j | Xn = i) = IP(X1 = j | X0 = i) alors la chaˆne de Markov (Xn )n∈N est dite homog` ne. ı e Il faut comprendre une chaˆne de Markov (Xn )n∈N comme une promenade dans l’espace d’´ tats E, la ı e variable Xn indiquant l’´ tat dans lequel on est a l’instant n. La v.a. X0 repr´ sente l’´ tat initial duquel e ` e e d´ marre la chaˆne. Selon le contexte, X0 pourra etre al´ atoire ou d´ terministe. e ı ˆ e e La propri´ t´ de Markov signifie que, connaissant le dernier etat visit´ (disons a l’instant n), la loi du ee ´ e ` prochain etat visit´ (i.e. la loi de Xn+1 ) ne d´ pend pas des etats visit´ s depuis l’instant 0 jusqu’` l’instant ´ e e ´ e a n − 1. Plus prosa¨quement, on dit que ı conditionnellement au pr´ sent, le futur ne d´ pend pas du pass´ . e e e Mais il d´ pend du pr´ sent : Xn et Xn+1 n’ont aucune raison d’ˆ tre ind´ pendantes ! e e e e La propri´ t´ d’homog´ n´ it´ d’une chaˆne de Markov exprime quant a elle que la probabilit´ d’aller de i en ee e e e ı ` e j reste la mˆ me au cours du temps. Elle permet de regrouper en une seule matrice (ind´ pendante de n) les e e probabilit´ s de transition entre deux etats quelconques. e ´ 8
- 9. D´ finition 1.1.2Soit (Xn )n∈N une chaˆne de Markov homog` ne a espace d’´ tats E. Soient i, j ∈ E deux e ı e ` e etats. La probabilit´ ´ e pi,j := IP(X1 = j | X0 = i) est appel´ e probabilit´ de transition de i a j. La matrice P := (pi,j )i,j∈E est appel´ e matrice de transition e e ` e de la chaˆne. ı Lorsque l’espace d’´ tats E est fini, la matrice P est carr´ e de taille Card(E). Lorsqu’il est infini, elle e e admet un nombre infini de lignes et de colonnes. Les coefficients de la matrice P sont positifs ou nuls. Leur somme sur une mˆ me ligne vaut 1 : pour tout i ∈ E, e pi,j = IP(X1 = j | X0 = i) = IP {X1 = j} X0 = i = 1 . j∈E j∈E j∈E Comme nous le verrons dans les exemples suivants, il arrive fr´ quemment dans les applications que pour e un etat i donn´ , le nombre d’´ tats j directement accessibles depuis i (i.e. tel que pi,j > 0) soit faible. La ´ e e matrice de transition est alors tr` s creuse ; elle contient beaucoup de 0. Il est souvent plus economique (et e ´ plus pertinent) de r´ sumer les probabilit´ s de transition dans le diagramme de transition. C’est un graphe e e orient´ et pond´ r´ dont l’ensemble des sommets est E. Une arˆ te de poids pi,j va de i a j si pi,j > 0. e ee e ` E XEMPLES : • Transmission d’un bit informatique. Un bit informatique valant 0 ou 1 est transmis d’un poste A vers un poste B en passant par N interm´ diaires. Chacun de ces interm´ diaires transmet correctement le bit e e avec probabilit´ p et l’inverse avec probabilit´ 1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) e e e e d’entr´ e, disons X0 , est suppos´ ind´ pendent des interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit e e e e sortant du ne interm´ diaire. e 1 n N A B Xn−1 Xn La suite de v.a. (Xn )0≤n≤N est a valeurs dans l’espace d’´ tats E = {0, 1}. V´ rifions que c’est une chaˆne ` e e ı de Markov. Consid´ rons pour ce faire, une suite i0 , . . . , in , in+1 d’´ l´ ments de {0, 1}. e ee IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) IP(Xn+1 − Xn = in+1 − in et Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) = IP(Xn+1 − Xn = in+1 − in ) , du fait de l’ind´ pendance entre la v.a. Xn+1 − Xn (qui repr´ sente l’action du (n + 1)e interm´ diaire) et e e e l’´ tat du bit a la sortie des n premiers interm´ diaires. Pour la mˆ me raison ; e ` e e IP(Xn+1 − Xn = in+1 − in ) IP(Xn = in ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in ) = IP(Xn+1 = in+1 | Xn = in ) . 9
- 10. Enfin, le caract`re homog` ne de la chaˆne (Xn )0≤n≤N r´ sulte du calcul : e e ı e p si i = j IP(Xn+1 = j | Xn = i) = IP(Xn+1 − Xn = j − i) = . 1−p sinon. Voici la matrice et le graphe de transition de cette chaˆne : ı 1−p p 1−p P = p 0 1 p 1−p p 1−p • La marche al´ atoire simple. Soient (Yn )n≥1 une suite de v.a. i.i.d., chacune valant 1 avec proba- e bilit´ p et −1 avec probabilit´ 1 − p. Soit Y0 ∈ Z une v.a. ind´ pendante des Yn , repr´ sentant le point de e e e e d´ part sur l’axe Z de la chaˆne. On d´ finit la marche al´ atoire simple par e ı e e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 , pour tout n ∈ N. Le processus stochastique (Xn )n≥1 est une chaˆne de Markov homog` ne. Son espace ı e d’´ tats E = Z est cette fois infini. Comme dans l’exemple du bit informatique, le caract` re markovien e e provient de l’ind´ pendance des Yn : e IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) IP(Yn+1 = in+1 − in et Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) = IP(Yn+1 = in+1 − in ) IP(Yn+1 = in+1 − in ) IP(Xn = in ) = IP(Xn = in ) IP(Xn+1 − Xn = in+1 − in et Xn = in ) = IP(Xn = in ) = IP(Xn+1 = in+1 | Xn = in ) , o` les i0 , . . . , in , in+1 sont des etats. Idem pour le caract` re homog` ne : u ´ e e p si j = i + 1 IP(Xn+1 = j | Xn = i) = IP(Yn+1 = j − i) = 1−p si j = i − 1 . 0 sinon. La matrice de transition de la chaˆne (Xn )n≥1 est de taille infinie. Sa ie ligne est de la forme : ı ··· 0 0 1−p 0 p 0 0 ··· o` le “0” intercal´ entre les coefficients 1 − p et p est sur la ie colonne. Son graphe de transition est donn´ u e e par la Figure 1.1. 10
- 11. p p i−1 i i+1 1−p 1−p F IGURE 1.1 – Le graphe de transition de la marche al´ atoire simple. e • Le processus de Galton-Watson d´ crit en introduction est egalement une chaˆne de Markov ho- e ´ ı mog` ne. e Dans la pratique, nous prouverons qu’une suite de v.a. est une chaˆne de Markov en utilisant le r´ sultat ı e intuitif suivant : Proposition 1.1.3 Une suite de v.a. (Xn )n≥1 d´ finie r´ cursivement par Xn+1 = f (Xn , Yn+1 ) o` e e u - (Yn )n≥1 est une suite de v.a. i.i.d. a valeurs dans un espace E ′ , ` - X0 ∈ E est une v.a. donn´ e et ind´ pendante des (Yn )n≥1 , e e - f :E×E ′ → E est une application d´ terministe, e est une chaˆne de Markov homog` ne a espace d’´ tats E. ı e ` e Ce crit` re permet d’affirmer tr` s rapidement que la marche al´ atoire simple d´ finie pr´ c´ demment est e e e e e e une chaˆne de Markov homog` ne. En effet, les incr´ ments Y0 , Y1 , Y2 . . . sont des v.a. i.i.d. a valeurs dans ı e e ` l’espace E ′ = {−1; 1} (E ′ = Z convenait egalement), X0 = Y0 et Xn+1 = f (Xn , Yn+1 ) avec comme ´ application d´ terministe f : f (x, y) = x + y. e Proposition 1.1.4 La loi d’une chaˆne de Markov homog` ne (Xn )n∈N est enti` rement d´ termin´ e par la ı e e e e donn´ e de sa matrice de transition P et de la loi de X0 , appel´ e loi initiale et not´ e µ0 : e e e pour tout i ∈ E, µ0 (i) := IP(X0 = i). Plus pr´ cis´ ment, pour tout entier n et toute suite d’´ tats i0 , i1 , . . . , in−1 , in de E : e e e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = µ0 (i0 )pi0 ,i1 . . . pin−1 ,in . (1.1) La formule (1.1) permet d’´ crire la probabilit´ d’une intersection, i.e. e e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) , comme un produit de probabilit´ s conditionnelles, les coefficients pi,j . e En divisant par µ0 (i0 ) dans (1.1), il s’ensuit que : IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 | X0 = i0 ) = pi0 ,i1 . . . pin−1 ,in . D´ monstration Le r´ sultat repose sur la formule e e n IP Ak = IP(A0 ) IP(A1 | A0 ) IP(A2 | A1 ∩ A0 ) . . . IP(An | An−1 ∩ . . . ∩ A0 ) k=0 11
- 12. a d´ montrerpar r´ currence sur n ∈ N et appliqu´ e aux ev´ nements Ak = {Xk = ik }. Il ne reste plus qu’` ` e e e ´ e a identifier les termes : IP(A0 ) = IP(X0 = i0 ) vaut µ(i0 ), IP(A1 | A0 ) = IP(X1 = i1 | X0 = i0 ) vaut par d´ finition pi0 ,i1 et e IP(A2 | A1 ∩ A0 ) = IP(X2 = i2 | X1 = i1 , X0 = i0 ) = IP(X2 = i2 | X1 = i1 ) = pi1 ,i2 , par la propri´ t´ de Markov. C’est pareil pour les autres termes. ee Dans toute la suite, consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a valeurs dans E, de matrice e ı e ` de transition P et de loi initiale µ0 . Proposition 1.1.5 La loi de la chaˆne de Markov homog` ne (Xn )n∈N est invariante par translation dans le ı e temps. Autrement dit, pour tous entiers n, m, toute suite d’´ tats i0 , i1 , . . . , in , in+1 , . . . , in+m pour lesquels e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 , il vient : IP(Xn+m = in+m , . . . , Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xm = in+m , . . . , X1 = in+1 | X0 = in ) . La probabilit´ conditionnelle d’une trajectoire donn´ e (i.e. les etats in+1 , . . . , in+m ) reste la mˆ me au cours e e ´ e du temps, qu’elle ait lieu entre les instants n + 1 et n + m ou entre les instants 1 et m. Seul compte le dernier etat visit´ , en l’occurrence in . ´ e Une g´ n´ ralisation de ce r´ sultat est connue sous le nom de relation de Chapman-Kolmogorov : e e e IP(Xn+m = j | X0 = i) = IP(Xm = j | X0 = k) IP(Xn = k | X0 = i) . k∈E Il faut la lire comme suit : aller de i a j en n + m pas, c’est aller de i a un certain etat k en n pas puis de k ` ` ´ a j en m pas. ` Notons par µn la loi de Xn . C’est une mesure de probabilit´ sur E que l’on peut ecrire sous la forme e ´ d’un vecteur ligne (µn (j))j∈E (i.e. un el´ ment de R ´e Card(E) ). L’objectif de la fin de cette section consiste a ` etablir une relation matricielle liant µn a la loi initiale µ0 et a la matrice P ´ ` ` (n) Pour ce faire, notons par (pi,j )i,j∈E les coefficients de la matrice P n , puissance ne de P . L’expression (n) brute de pi,j est (n) pi,j = pi,i1 pi1 ,i2 . . . pin−1 ,j . i1 ,...,in−1 ∈E (n) Cette formule etant purement alg´ brique, voici une nouvelle expression du coefficient pi,j lui donnant ´ e davantage de sens : Proposition 1.1.6 Soient n un entier et i, j des etats. ´ (n) (1) IP(Xn = j | X0 = i) = pi,j . 12
- 13. (2) µn+1 =µn P . (3) µn = µ0 P n , ce qui signifie que IP(Xn = j) est le j e el´ ment du vecteur ligne µ0 P n . ´e En utilisant des vecteurs colonnes pour d´ crire les lois de Xn et Xn+1 , le point (2) devient e t µn+1 =t P t µn . On peut donc voir l’´ volution en loi de la suite (Xn )n∈N comme un syst` me it´ ratif lin´ aire dont t P est la e e e e matrice d’´ volution : on obtient la loi de Xn+1 en multipliant (matriciellement et par la gauche) la loi de e Xn par t P . D´ monstration Seul le cas n = 2 sera trait´ pour donner l’intuition concernant le point (1). Le coefficient e e (2) e ligne et de la j e colonne de la matrice P 2 vaut pi,j de la i (2) pi,j = pi,k pk,j . k∈E La formule des probabilit´ s totales et la Proposition 1.1.4 permettent d’´ crire les egalit´ s : e e ´ e IP(X2 = j, X0 = i) = IP(X2 = j, X1 = k, X0 = i) k∈E = µ0 (i) pi,k pk,j , k∈E (2) desquelles on en d´ duit le r´ sultat ; IP(X2 = j|X0 = i) = pi,j . Par ailleurs, e e µn+1 (j) = IP(Xn+1 = j) = IP(Xn+1 = j, Xn = i) i∈E = IP(Xn+1 = j | Xn = i) IP(Xn = i) i∈E = pi,j IP(Xn = i) . i∈E Cette egalit´ implique la relation matricielle µn+1 = µn P (i.e. le point (2)). Enfin, le point (3) s’obtient ´ e par une r´ currence imm´ diate. e e ´ 1.2 Classification des etats 1.2.1 Classes irr´ ductibles e D´ finition 1.2.1 Soient i et j deux etats de E. On dit que l’´ tat j est accessible depuis l’´ tat i si e ´ e e (n) ∃n ∈ N, pi,j = IP(Xn = j | X0 = i) > 0 . On dit que les etats i et j communiquent si chacun est accessible depuis l’autre. On note alors i ↔ j. ´ Proposition 1.2.2 La relation ↔ est une relation d’´ quivalence sur E. e 13
- 14. D´ monstration Lar´ fl´ xivit´ (i.e. i ↔ i) est imm´ diate : pour n = 0, IP(X0 = i | X0 = i) = 1. Il en va e e e e e de mˆ me pour la sym´ trie (i ↔ j implique j ↔ i). Enfin, la transitivit´ repose sur la relation de Chapman- e e e Kolmogorov. Supposons que i ↔ j et j ↔ k. En particulier, les etats j et k sont respectivement accessibles ´ depuis i et j. Il existe donc des entiers m et n tels que IP(Xm = k|X0 = j) > 0 et IP(Xn = j|X0 = i) > 0. Par cons´ quent, e IP(Xn+m = k | X0 = i) = IP(Xm = k | X0 = l) IP(Xn = l | X0 = i) l∈E ≥ IP(Xm = k | X0 = j) IP(Xn = j | X0 = i) > 0 , d’o` k est accessible depuis l’´ tat i. C’est la mˆ me chose dans l’autre sens. u e e L’espace E peut donc etre partitionn´ en classes d’´ quivalence pour la relation ↔, appel´ es classes ˆ e e e irr´ ductibles. Nous insisterons dans les paragraphes suivants sur le fait que les etats d’une mˆ me classe e ´ e irr´ ductible ont des propri´ t´ s equivalentes vis a vis de la chaˆne (r´ currence, transience et p´ riodicit´ ). e ee ´ ` ı e e e Lorsque l’espace E est r´ duit a une seule classe (i.e. tous les etats communiquent), on dit que la chaˆne est e ` ´ ı irr´ ductible. En g´ n´ ral, E se partitionne en etats isol´ s dans lesquels on ne revient jamais une fois qu’on e e e ´ e les a quitt´ s, et en classes irr´ ductibles disjointes. e e Pour d´ terminer les classes irr´ ductibles d’une chaˆne de Markov, il est commode de travailler sur le graphe e e ı de transition plutˆ t que sur la matrice de transition P . o E XEMPLE : Consid´ rons une chaˆne de Markov a valeurs dans E = {a, b, c, d, e} et dont la matrice et le e ı ` graphe de transition sont donn´ es par : e 1/2 1/2 0 0 0 1/2 1/4 1/2 1/4 0 0 1/2 1/4 1 1/2 P = 0 0 0 1 0 b 1/2 a c d e 0 0 1/2 0 1/2 0 0 0 1 0 1/4 1/2 1 La chaˆne comporte deux classes irr´ ductibles : {a, b} et {c, d, e}. ı e 1.2.2 R´ currence et transience e D´ finition 1.2.3 Soit i ∈ E. La v.a. Ti d´ finie par e e Ti = inf{n ≥ 1, Xn = i} est appel´ e temps d’atteinte de i ou encore temps de retour a i lorsque la chaˆne (Xn )n∈N part de i. Par e ` ı convention, lorsque pour tout n ≥ 1, Xn = i, on pose Ti = +∞. D´ finition 1.2.4 Un etat i ∈ E est dit r´ current si, partant de i, on y revient presque sˆ rement en temps e ´ e u fini : IP(Ti < +∞ | X0 = i) = 1 . L’´ tat i est dit transient dans le cas contraire, i.e. lorsque IP(Ti = +∞ | X0 = i) > 0. e 14
- 15. Autrement dit, unetat est transient si avec probabilit´ strictement positive, on peut le quitter pour ne jamais ´ e (n) y revenir. Comme cas particulier d’´ tat transient, on retrouve les etats pour lesquels pi,i = 0, pour tout e ´ n ≥ 1. Ce sont ceux que l’on quitte au premier pas pour ne jamais y revenir ; IP(Ti < +∞ | X0 = i) = IP(∃n ≥ 1, Xn = i | X0 = i) = IP {Xn = i} X0 = i n≥1 ≤ IP(Xn = i | X0 = i) n≥1 (n) ≤ pi,i = 0 . n≥1 E XEMPLES : • Reprenons le cas de la chaˆne de Markov a valeurs dans E = {a, b, c, d, e} d´ finie dans le paragraphe ı ` e pr´ c´ dent. L’´ tat b est transient. En effet, l’´ tat c est accessible depuis b mais pas l’inverse. Autrement dit, e e e e en allant en c depuis b, on est sˆ r de ne jamais y revenir : u IP(Tb = +∞ | X0 = b) = IP {Xn = b} X0 = b n≥1 ≥ IP(X1 = c | X0 = b) = 1/4 . Ce qui donne IP(Tb < +∞ | X0 = b) < 1. Il en va de mˆ me pour l’´ tat a : e e 1 1 IP(Ta = +∞ | X0 = a) ≥ IP(X2 = c, X1 = b | X0 = a) = × , 4 2 ´ ` e ´ d’apr` s la Proposition 1.1.4. Les etats c, d et e seront quant a eux r´ currents. Etudions le cas de c. En e partant de c, l’unique solution pour ne jamais y revenir consiste a aller en d puis a transiter ind´ finiment ` ` e entre d et e, ce qui est de probabilit´ nulle. En effet, pour tout n, e IP(Tc = +∞ | X0 = c) ≤ IP(X2n+1 = d, X2n = e, . . . , X3 = d, X2 = e, X1 = d | X0 = c) ≤ pc,d (pd,e pe,d )n , toujours d’apr` s la Proposition 1.1.4. Avec pd,e pe,d = 1/2, on obtient la majoration : e 1 IP(Tc = +∞ | X0 = c) ≤ . 2n Il ne reste plus qu’` faire tendre n tend vers l’infini. a • En exercice, il sera montr´ que la marche al´ atoire sur Z est r´ currente dans le cas sym´ trique, i.e. e e e e pour p = q = 1/2, et transiente sinon. La v.a. Ni est le nombre de passages de la chaˆne (Xn )n∈N par l’´ tat i apr` s l’instant 0 : ı e e Ni = 1 Xn =i 1 n≥1 Partant de j, on acc` de en i en temps fini, puis on revient en i au moins n fois (i.e. Ni ≥ n). Cela fait donc e au moins n + 1 passages en i (partant de j). 15
- 16. Lemme 1.2.5 Pourtout entier n et tous etats i et j, ´ IP(Ni ≥ n + 1 | X0 = j) = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) . Les etats transients sont ceux dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, on ´ revient une infinit´ de fois dans un etat r´ current. e ´ e Proposition 1.2.6 Les conditions suivantes sont equivalentes : ´ (1) l’´ tat i est r´ current : IP(Ti < +∞|X0 = i) = 1 ; e e (2) conditionnellement a X0 = i, la chaˆne de markov (Xn )n∈N revient presque sˆ rement une infinit´ ` ı u e de fois en i : IP(Ni = +∞ | X0 = i) = 1 ; (n) (3) la s´ rie e pi,i diverge. Proposition 1.2.7 Les conditions suivantes sont equivalentes : ´ (4) l’´ tat i est transient : IP(Ti < +∞|X0 = i) < 1 ; e (5) conditionnellement a X0 = i, la v.a. Ni est presque sˆ rement finie et suit la loi g´ om´ trique de ` u e e param` tre αi = IP(Ti < +∞|X0 = i) : e ∀n ∈ N, IP(Ni = n | X0 = i) = αn (1 − αi ) ; i (n) (6) conditionnellement a X0 = i, la v.a. Ni est int´ grable : IE[Ni |X0 = i] = ` e pi,i < +∞. (n) Remarquons que l’identit´ entre l’esp´ rance conditionnelle IE[Ni |X0 = i] et la s´ rie e e e pi,i est valable quelle que soit la nature de cette derni` re, en la consid´ rant comme un el´ ment de [0; +∞]. Elle repose sur e e ´e le th´ or` me de Fubini. e e IE[Ni | X0 = i] = IE 1 Xn =i 1 X0 = i n≥1 = IE[1 Xn =i | X0 = i] 1 n≥1 = IP(Xn = i | X0 = i) n≥1 (n) = pi,i . n≥1 Les deux propositions ci-dessus se d´ montrent simultan´ ment. e e D´ monstration Prouvons (1) ⇒ (2). En combinant, IP(Ti < +∞|X0 = i) = 1 et le Lemme 1.2.5, il e vient : IP(Ni ≥ n + 1 | X0 = i) = IP(Ni ≥ n | X0 = i) = . . . = IP(Ni ≥ 1 | X0 = i), 16
- 17. en it´ rant.Par ailleurs, {Ni ≥ 1} = {Ti < +∞}. On en d´ duit que pour tout n, IP(Ni ≥ n|X0 = i) = 1. e e Il ne reste plus qu’` faire tendre n vers l’infini pour obtenir (2) : a IP(Ni = +∞ | X0 = i) = IP {Ni ≥ n} X0 = i n≥1 = lim IP(Ni ≥ n | X0 = i) n→+∞ = 1. L’implication (2) ⇒ (3) repose sur : (n) pi,i = IE[Ni | X0 = i] ≥ (+∞) IP(Ni = +∞ | X0 = i) = +∞ . n≥1 Supposons (4) : αi = IP(Ti < +∞|X0 = i) < 1. Le Lemme 1.2.5 donne : IP(Ni ≥ n + 1 | X0 = i) = αi IP(Ni ≥ n | X0 = i) = . . . = αn IP(Ni ≥ 1 | X0 = i) . i Ainsi, IP(Ni ≥ n + 1 | X0 = i) = αn IP(Ti < +∞ | X0 = i) = αn+1 . i i On en d´ duit d’une part que Ni est presque sˆ rement finie e u IP(Ni = +∞ | X0 = i) = lim IP(Ni ≥ n | X0 = i) = 0 n→+∞ (car αi < 1) et d’autre part que sa loi est g´ om´ trique de param` tre αi . Ce qui prouve (5). e e e IP(Ni = n | X0 = i) = IP(Ni ≥ n | X0 = i) − IP(Ni ≥ n + 1 | X0 = i) = αn (1 − αi ) . i L’implication (5) ⇒ (6) est imm´ diate : e αi IE[Ni | X0 = i] = IP(Ni ≥ n | X0 = i) = < +∞ . 1 − αi n≥1 Enfin, (3) ⇒ (1) et (6) ⇒ (4) sont respectivement les contrapos´ es de (4) ⇒ (6) et (1) ⇒ (3). Les e boucles sont boucl´ es ! e La r´ currence et la transience sont des propri´ t´ s de classe irr´ ductible : e ee e Proposition 1.2.8 Si les etats i et j communiquent alors ils sont tous deux r´ currents ou tous deux tran- ´ e sients. Ainsi, tous les etats appartenant a la mˆ me classe irr´ ductible qu’un etat transient (resp. r´ current), le seront ´ ` e e ´ e egalement. La classe sera alors qualifi´ e de transiente (resp. r´ currente). ´ e e (k) (l) D´ monstration Si les etats i et j communiquent, il existe deux instants k et l tels que pi,j > 0 et pj,i > 0. e ´ Soit m ≥ k + l. Partant de i, une facon d’y revenir en m pas consiste a d’abord aller en j en l pas, puis d’y ¸ ` revenir en m − k − l pas pour enfin aller en i en k pas : (m) (l) (m−k−l) (k) pi,i ≥ pi,j pj,j pj,i . 17
- 18. De la mˆme mani` re, e e (m) (k) (m−k−l) (l) pj,j ≥ pj,i pi,i pi,j . (m) (m) Les deux s´ ries m pi,i et e m pj,j sont donc de mˆ me nature. Les Propositions 1.2.6 et 1.2.7 permettent e alors de conclure. Proposition 1.2.9 La probabilit´ de sortir d’une classe irr´ ductible r´ currente est nulle. Plus pr´ cis´ ment, e e e e e si i est un etat r´ current et C(i) sa classe alors ´ e (n) ∀j ∈ C(i), ∀n ∈ N, IP(Xn = j | X0 = i) = pi,j = 0 . / (n) D´ monstration Soit j ∈ C(i) et supposons par l’absurde qu’il existe un entier n tel que pi,j > 0. Il e / (m) (m) existe alors un entier m tel que pj,i > 0. Dans le cas contraire, i.e. ∀m pj,i = 0, l’´ tat i ne pourrait etre e ˆ r´ current puisqu’il existerait une probabilit´ non nulle de quitter i et de ne jamais y revenir. D` s lors, les e e e etats i et j communiquent, ce qui contredit j ∈ C(i). ´ / Proposition 1.2.10 Toute chaˆne de Markov homog` ne sur un espace d’´ tats fini a au moins un etat ı e e ´ r´ current. En particulier, toute chaˆne irr´ ductible sur un espace d’´ tats fini est r´ currente. e ı e e e D´ monstration Montrons que, etant donn´ un etat i transient, le nombre moyen de passage par l’´ tat i en e ´ e ´ e partant d’un etat j, i.e. IE[Ni |X0 = j], est finie. Cette affirmation repose sur le Lemme 1.2.5, la Proposition ´ 1.2.7, le fait que IE[Z] = n≥1 IP(Z ≥ n) pour une v.a. positive Z et le calcul suivant : IE[Ni | X0 = j] = IP(Ni ≥ n + 1 | X0 = j) n∈N = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) n∈N = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) n∈N = IP(Ti < +∞ | X0 = j)(1 + IE[Ni | X0 = i]) < +∞ . Donc, presque sˆ rement, chaque etat de E est visit´ un nombre fini de fois. C’est impossible : E etant fini, u ´ e ´ notre chaˆne fr´ quente au moins l’un des etats de E une infinit´ de fois. ı e ´ e 1.2.3 P´ riodicit´ e e D´ finition 1.2.11 La p´ riode d’un etat i est l’entier d(i) d´ fini par e e ´ e (n) d(i) = PGCD{n ≥ 1, pi,i > 0} . Lorsque d(i) = 1, l’´ tat i est qualifi´ de ap´ riodique. e e e 18
- 19. Un etat enlequel on peut rester avec probabilit´ non nulle, i.e. pi,i > 0, est automatiquement ap´ riodique. ´ e e ` Voici deux exemples. A gauche, l’´ tat a est de p´ riode 2 (idem pour b). En effet, chaque chemin de e e e ` probabilit´ non nulle partant de a et y revenant comprend un nombre pair de pas. A droite, tous les etats ´ e ´ sont ap´ riodiques. Etudions en particulier le cas de l’´ tat 1. Depuis cet etat, il est possible d’y revenir en 3 e ´ pas (en faisant 1 → 2 → 3 → 1) : (3) p1,1 = p1,i pi,j pj,1 ≥ p1,2 p2,3 p3,1 > 0 . i,j∈E (5) Il est egalement possible d’y revenir en 5 pas : p1,1 > 0 (en faisant 1 → 2 → 3 → 4 → 3 → 1). Puisque 3 ´ et 5 sont premiers entre eux, l’´ tat 1 est ap´ riodique. e e 1/2 1 1/2 1 2/3 1/3 3 4 a b 2 1 1 1/3 2/3 Simuler une chaˆne de Markov est tr` s facile. Voici le code R de la fonction iteration qui prend en entr´ e ı e e un etat x ∈ E et renvoie l’´ tat visit´ juste apr` s conform´ ment a la dynamique d´ crite par le graphe de ´ e e e e ` e transition ci-dessus a droite. ` iteration <– function(X) { U <– runif(1,min=0,max=1) if (X==a) { if (U < 1/3) {Y=b} else {Y=c}} if (X==b) { if (U < 2/3) {Y=b} else {Y=c}} if (X==c) { if (U < 1/2) {Y=a} else {Y=d}} if (X==d) {Y=c} Y } La p´ riodicit´ est une propri´ t´ de classe irr´ ductible : e e ee e Proposition 1.2.12 Si les etats i et j communiquent alors ils ont la mˆ me p´ riode. ´ e e Tous les etats d’une mˆ me classe irr´ ductible ont donc la mˆ me p´ riode. Si celle-ci vaut 1, la classe est ´ e e e e alors qualifi´ e de ap´ riodique. e e D´ monstration Soient i et j deux etats qui communiquent. Il suffit de montrer que d(j) divise d(i). En e ´ effet, par sym´ trie, on aura egalement d(i) divise d(j), et donc d(j) = d(i). Comme i et j communiquent, e ´ (l) (m) il existe deux entiers l et m tels que pi,j > 0 et pj,i > 0. Consid´ rons maintenant un entier n tel que e (n) pi,i > 0. Les in´ galit´ s e e (m+n+l) (m) (n) (l) pj,j ≥ pj,i pi,i pi,j > 0 19
- 20. et (m+l) (m) (l) pj,j ≥ pj,i pi,j > 0 impliquent respectivement que d(j) divise les entiers m + n + l et m + l : il divise donc la diff´ rence, i.e. e (n) n. Autrement dit, d(j) divise tous les entiers n tels que pi,i > 0. Il divise donc leur PGCD d(i). 1.3 Th´ or` mes limites e e ´ Etant donn´ une chaˆne de Markov homog` ne (Xn )n∈N , l’objectif de cette derni` re partie est d’approximer e ı e e la loi de la v.a. Xn lorsque n tend vers l’infini. 1.3.1 Les mesures stationnaires D´ finition 1.3.1 Une mesure stationnaire (ou invariante) d’une chaˆne de Markov de matrice de transition e ı P est une loi de probabilit´ sur E, disons π = (π(j))j∈E , v´ rifiant π = πP . e e Soit π une mesure stationnaire pour la chaˆne de Markov (Xn )n∈N de matrice de transition P . Rappelons ı que le vecteur ligne (µn (j))j∈E d´ signe la loi de la v.a. Xn . La formule µn+1 = µn P (Proposition 1.1.6) e implique que si la loi de Xn est π (i.e. µn = π) alors il en est de mˆ me pour la loi de Xn+1 (i.e. µn+1 = π). e Par cons´ quent, si la loi initiale µ0 (celle de X0 ) est π alors toutes les v.a. Xn seront distribu´ es selon π. e e C’est ce qui justifie le qualificatif de stationnaire. Cela signifie que la probabilit´ de se trouver dans un etat e ´ donn´ reste constante au cours du temps, bien que la chaˆne saute constamment d’´ tat en etat. Une mesure e ı e ´ stationnaire doit donc etre comprise comme un equilibre dynamique en loi. ˆ ´ E XEMPLE : Consid´ rons une chaˆne de Markov (Xn )n∈N a espace d’´ tats E = {a, b, c} dont la matrice et le graphe de e ı ` e transition sont donn´ s par : e a 1 0 1 0 1/2 b 1/2 P = 0 1/2 1/2 1/2 0 1/2 c 1/2 1/2 R´ solvons le syst` me lin´ aire π = πP o` les coordonn´ es du vecteur π sont not´ es (πa , πb , πc ). On obtient e e e u e e une droite vectorielle de solutions, engendr´ e par le vecteur (1/2, 1, 1). Par ailleurs, la mesure stationnaire e π est une mesure de probabilit´ . Elle doit donc satisfaire la condition πa + πb + πc = 1. Ceci d´ termine π e e de mani` re unique ; π = (1/5, 2/5, 2/5). e Attention, contrairement a l’exemple ci-dessus, une chaˆne de Markov peut ne pas admettre de mesure ` ı stationnaire, ou mˆ me en admettre plusieurs... e 20
- 21. Consid´ rons enfinune chaˆne de Markov (Xn )n∈N a espace d’´ tats E fini et de matrice de transition P . e ı ` e Supposons de plus que la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ sur E, not´ e ν : e e pour tout j ∈ E, lim µn (j) = ν(j) . n→+∞ Puisque E est fini, l’application lin´ aire t P est continue donc t P t µn converge (coordonn´ e par coor- e e donn´ e) vers e t P t ν, lorsque n tend vers l’infini. D’autre part, t P t µ = t µ n n+1 converge egalement (coor- ´ donn´ e par coordonn´ e) vers la loi t ν. Celle-ci v´ rifie donc t P t ν = t ν, ou encore ν = νP . En conclusion, e e e si la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ alors cette loi limite est n´ cessairement e e une mesure stationnaire pour la chaˆne de Markov correspondante. ı 1.3.2 Lorsque l’espace d’´ tats E est fini e Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de matrice de transition e ı e ` e P . Comme la somme des coefficients sur chaque ligne de P vaut 1, tout vecteur a coordonn´ es constantes ` e est vecteur propre de P associ´ a la valeur propre 1. Une matrice carr´ e et sa transpos´ e ayant les mˆ mes e` e e e valeurs propres, 1 est donc egalement valeur propre de t P . Notons E1 l’espace propre associ´ a la valeur ´ e` propre 1 pour t P : E1 = {v ∈ RCard(E) , tP v = v} . On vient de montrer que dim E1 ≥ 1. D` s lors, tout vecteur (colonne) t π appartenant a E1 et dont la e ` somme des coordonn´ es vaut 1, produit un vecteur ligne π, loi de probabilit´ sur E et v´ rifiant π = πP . e e e C’est donc une mesure stationnaire pour la chaˆne de Markov de matrice de transition P . En conclusion, ı l’existence d’au moins une mesure stationnaire est automatique lorsque l’espace d’´ tats E est fini. e Lorsque la chaˆne est irr´ ductible (dans ce cas, tous les etats sont r´ currents), l’espace propre E1 est de ı e ´ e dimension 1, ce qui implique l’unicit´ de la mesure stationnaire. e Proposition 1.3.2 Consid´ rons une chaˆne de Markov homog` ne a espace d’´ tats fini E et de matrice de e ı e ` e transition P . Elle admet au moins une mesure stationnaire. Si la chaˆne est irr´ ductible alors il y a unicit´ ı e e de la mesure stationnaire (notons-la π). Dans ce cas, elle charge tous les etats ´ π(i) > 0, pour tout i ∈ E et le temps moyen de retour en i est egal a l’inverse de π(i) : ´ ` 1 IE[T (i) | X0 = i] = , pour tout i ∈ E. π(i) Cependant, l’existence et l’unicit´ de la mesure stationnaire π n’assure pas la convergence en loi de la suite e (Xn )n∈N vers π. Cette convergence repose en fait sur l’ap´ riodicit´ de la chaˆne. e e ı Le r´ sultat suivant est non trivial. Il ne sera pas d´ montr´ . e e e Th´ or` me 1.3.3 Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de e e e ı e ` e matrice de transition P . Supposons de plus que la chaˆne est irr´ ductible et ap´ riodique. Notons π sa ı e e mesure stationnaire. (1) La matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales a π. ´ ` 21
- 22. (2) Quelle quesoit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π : pour tout etat i, IP(Xn = i) → π(i). ´ Les points (1) et (2) s’interpr` tent par de l’ind´ pendance asymptotique : en deux instants eloign´ s l’un de e e ´ e l’autre, la chaˆne se comporte de mani` re presque ind´ pendante. En effet, les quantit´ s IP(Xn = j|X0 = i) ı e e e et IP(Xn = j) tendent toutes les deux vers la mˆ me limite π(j). Elles sont donc proches asymptotiquement, e ce qui donne IP(Xn = j , X0 = i) ≃ IP(Xn = j) IP(X0 = i) . En utilisant l’invariance par translation dans le temps, la relation ci-dessus se g´ n´ ralise en e e IP(Xn+m = j , Xm = i) ≃ IP(Xn+m = j) IP(Xm = i) . Consid´ rons une nouvelle fois l’exemple du bit informatique dont la matrice de transition est donn´ e par e e p 1−p P = . 1−p p La chaˆne de Markov correspondante est irr´ ductible si et seulement si p < 1. Dans ce cas, l’unique ı e mesure stationnaire est le vecteur ligne π = (1/2, 1/2). Si de plus p > 0, alors la chaˆne est ap´ riodique. ı e Le th´ or` me limite s’applique : e e 1 ∀i ∈ {0, 1}, lim IP(Xn = i) = . n→+∞ 2 Autrement dit, quelque soit le bit initial X0 et quelle que soit la valeur de 0 < p < 1, au bout d’un certain temps, le bit sortant suit une loi uniforme sur {0, 1}. Lorque p = 0, la matrice de transition devient 0 1 P = . 1 0 La chaˆne est alors 2−p´ riodique. Puisque P 2 est egale a la matrice identit´ , il en va de mˆ me pour toutes ı e ´ ` e e les puissances paires de P , tandis que les puissances impaires sont egales a P . Par cons´ quent, le coefficient ´ ` e (n) (n) p0,0 prend alternativement les valeurs 0 et 1 : la suite (p0,0 )n∈N ne peut converger. (n) Terminons par une comparaison. La Th´ or` me 1.3.3 stipule que, sous les bonnes hypoth` ses, pi,j tend e e e vers une limite strictement positive (Proposition 1.3.2). Ceci concerne le cas o` j est r´ current. Lorsque u e (n) j est transient, pi,j tend vers 0. En effet, l’esp´ rance conditionnelle IE[Nj |X0 = i] est finie (voir la e d´ monstration de la Proposition 1.2.10). Par cons´ quent, la s´ rie e e e (n) pi,j = IP(Xn = j | X0 = i) n≥1 n≥1 = IE[1 Xn =j | X0 = i] 1 n≥1 = IE[Nj | X0 = i] (n) est convergente. Son terme g´ n´ ral, i.e. pi,j , tend donc vers 0 quand n tend vers l’infini. e e 22
- 23. 1.3.3 Lorsque l’espaced’´ tats E est infini e L’´ tude th´ orique de la convergence en loi d’une chaˆne de Markov devient plus d´ licate lorsque l’espace e e ı e e ` d’´ tats E est infini. A plus forte raison que dans la partie pr´ c´ dente, les r´ sultats qui suivent ne seront pas e e e d´ montr´ s. e e Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N irr´ ductible et r´ currente, a espace d’´ tats infini E e ı e e e ` e E , a coordonn´ es et de matrice de transition P . On peut alors montrer qu’il existe un vecteur colonne v ∈ R ` e strictement positives, v´ rifiant t P v = v. Si la somme des coordonn´ es de v est finie e e M := v(j) < +∞ , (1.2) j∈E alors il suffit de renormaliser le vecteur v par sa masse totale M pour obtenir une mesure stationnaire (qui sera unique). Cependant la condition (1.2) n’est pas toujours v´ rifi´ e. Une hypoth` se suppl´ mentaire sur e e e e la chaˆne doit etre faite pour assurer l’existence (et l’unicit´ ) d’une mesure stationnaire. ı ˆ e D´ finition 1.3.4 Consid´ rons une chaˆne de Markov homog` ne irr´ ductible et r´ currente a espace d’´ tats e e ı e e e ` e infini E. Soit i ∈ E. Le temps de retour T (i) a i est fini presque sˆ rement (car i est r´ current). Si, de plus, ` u e IE[T (i)|X0 = i] < +∞ , l’´ tat i est qualifi´ de r´ current positif. Dans le cas contraire, i est qualifi´ de r´ current nul. e e e e e ˆ Etre r´ current nul signifie que l’on revient presque sˆ rement en temps fini en cet etat mais que le temps de e u ´ retour est plutˆ t long. Si long que son esp´ rance est infinie. o e La marche al´ atoire simple et sym´ trique (i.e. avec p = 1/2) sur Z est un exemple de chaˆne de Markov e e ı pour laquelle tous les etats sont r´ currents nuls. ´ e Le th´ or` me suivant etablit que la r´ currence positive est une propri´ t´ de classe (mˆ me chose pour la e e ´ e ee e r´ currence nulle) : c’est une condition n´ cessaire et suffisante pour l’existence d’une mesure stationnaire. e e Si c’est le cas, il y a unicit´ de la mesure stationnaire. e Th´ or` me 1.3.5 Soit (Xn )n∈N une chaˆne de Markov homog` ne irr´ ductible, a espace d’´ tats infini E. e e ı e e ` e Sont equivalentes : ´ (i) tous les etats sont r´ currents positifs ; ´ e (ii) il existe au moins un etat r´ current positif ; ´ e (iii) la chaˆne (Xn )n∈N admet (au moins) une mesure stationnaire. ı Lorsque ces conditions sont v´ rifi´ es, il y a unicit´ de la mesure statonnaire. Notons-la π. Elle est d´ finie e e e e par : 1 ∀i ∈ E, = IE[T (i) | X0 = i] . π(i) Si de plus, la chaˆne (Xn )n∈N est ap´ riodique alors : ı e (1) la matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales ´ aπ; ` (2) quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π : pour tout etat i, IP(Xn = i) → π(i). ´ 23
- 24. 1.4 Exercices Exercice 1: Transmission d’un bit informatique Un bit informatique valant 0 ou 1 est transmis d’un poste A vers un poste B en passant par N interm´ diaires. e Chacun de ces interm´ diaires transmet correctement le bit avec probabilit´ p et l’inverse avec probabilit´ e e e 1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) d’entr´ e, disons X0 , est suppos´ ind´ pendent e e e e e des interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit sortant du ne interm´ diaire. e e 1. Il a et´ v´ rifi´ en cours que la suite de v.a. (Xn )0≤n≤N est une chaˆne de Markov homog` ne. ´e e e ı e Rappeler sa matrice et son graphe de transition. 2. Calculer la probabilit´ que le bit arrive correct en B. Que vaut cette probabilit´ lorsque N tend vers e e l’infini ? Commentaires : le th´ or` me limite 1.3.3 permet de retrouver rapidement ces r´ sultats. e e e Exercice 2 : Jeu de l’oie Soit le petit jeu de l’oie suivant. Les cases sont 0, 1, 2, 3 et forment un cycle. Sur la case 3, il est ecrit “au ´ ` prochain tour, reculez de deux cases”. On part de la case 0 et on gagne d` s que l’on y retourne. A chaque e etape, on lance une pi` ce sym´ trique : on avance d’une case si c’est face et de deux si c’est pile. On note ´ e e Xn la suite des etats (le joueur continue de jouer apr` s avoir gagn´ ). ´ e e 1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne issue de 0 et donner sa matrice ı e de transition. ´ 2. Etudier la convergence en loi de la chaˆne. ı 3. En d´ duire le nombre moyen de coups jou´ s pour gagner. e e Exercice 3 : Gestion de stock Dans un magasin, on souhaite suivre l’´ volution au cours du temps du stock d’un article donn´ , i.e. le e e nombre d’exemplaires de cet article en r´ serve dans le magasin. Notons Xn ce nombre au matin du ne jour. e Ce jour-l` , Dn+1 exemplaires de cet article sont demand´ s. Le stock evolue comme suit. Si Xn −Dn+1 ≥ s a e ´ alors on ne r´ approvisionne pas. Dans le cas contraire, on r´ approvisionne a hauteur de S. Les entiers s et e e ` S sont les niveaux minimal et maximal du stock. La suite de v.a. (Dn )n≥1 est i.i.d. et le niveau initial du stock X0 peut etre suppos´ ind´ pendant des (Dn )n≥1 . ˆ e e 1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne et donner son graphe de tran- ı e sition (du moins, les arˆ tes issues d’un etat s ≤ x ≤ S). e ´ 2. Supposons d´ sormais que s = 1, S = 2 et que la loi commune des (Dn )n≥1 est uniforme sur e {0, 1, 2}. Donner la matrice et le graphe de transition. Quelle est la probabilit´ d’ˆ tre en rupture de stock a e e ` long terme ? Exercice 4 (Examen 2009) : Consid´ rons la chaˆne de Markov (Xn )n∈N a valeurs dans E = {a, b, c, d} et dont la matrice de transition e ı ` est donn´ e par : e 1/2 1/4 1/4 0 1/2 1/2 0 0 P = 0 . 0 0 1 0 1/2 1/2 0 24
- 25. 1. Repr´ senterle graphe de transition de la chaˆne (Xn )n∈N et montrer qu’elle est irr´ ductible. e ı e (n) 2. Calculer le coefficient pd,d pour n = 1, 2, 3, 4. (n) 3. La s´ rie pd,d est-elle convergente ou divergente ? e ´ 4. Etudier la convergence en loi de la chaˆne. En d´ duire le temps moyen de retour en l’´ tat d. ı e e Exercice 5 : Existence de plusieurs mesures stationnaires Consid´ rons la chaˆne de Markov (Xn )0≤n≤N a valeurs dans E = {a, b, c, d} et dont la matrice de transi- e ı ` tion est donn´ e par : e 1/2 1/2 0 0 1/2 1/2 0 0 P = 1/4 1/4 1/4 1/4 . 0 0 0 1 1. D´ terminer les classes irr´ ductibles. Lesquelles sont transientes, r´ currentes ? e e e 2. Montrer que la matrice P n converge (coefficient par coefficient) vers une matrice P ∞ que l’on d´ terminera. e 3. En d´ duire l’existence de plusieurs mesures stationnaires (associ´ es a P ). e e ` Exercice 6 : La marche al´ atoire simple e Soient (Yn )n≥1 une suite de v.a. i.i.d., chacune valant 1 avec probabilit´ p et −1 avec probabilit´ 1− p. Soit e e Y0 ∈ Z une v.a. ind´ pendante des Yn , repr´ sentant le point de d´ part sur l’axe Z de la chaˆne. On d´ finit la e e e ı e marche al´ atoire simple par e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 , pour tout n ∈ N. Il a et´ v´ rifi´ que le processus stochastique (Xn )n≥1 est une chaˆne de Markov homog` ne ´e e e ı e sur E = Z. (2n+1) (2n) (2n) 1. Montrer que, pour tout n, p0,0 = 0 et p0,0 = C2n pn q n . Puis, donner un equivalent de p0,0 en n ´ utilisant la formule de Stirling : √ n n ∃A > 0, n! ∼ A n . e 2. Conclure quant a la r´ currence ou la transience de la chaˆne en fonction du param` tre p. Interpr´ ter. ` e ı e e 25
- 26. Chapitre 2 Processus stochastiquesmarkoviens en temps continu Un mod` le d’´ volution dynamique en temps continu dans lequel on fait d´ pendre l’´ volution future e e e e de l’´ tat pr´ sent et du hasard est un processus de Markov. On en rencontre dans de nombreux domaines e e d’applications, comme par exemple l’´ tude des files d’attente. e 2.1 Processus de Poisson 2.1.1 Trois propri´ t´ s de la loi exponentielle ee La loi exponentielle est l’ingr´ dient de base pour mod´ liser des temps d’attente d’´ v´ nements “impr´ - e e e e e visibles”. Cette partie contient quelques-unes de ses propri´ t´ s el´ mentaires. ee ´e Soit X une v.a. suivant la loi exponentielle de param` tre λ, not´ e E(λ). Sa densit´ est : e e e fX (x) = λe−λx 1 x≥0 . 1 Elle est sans atome, i.e. ∀x, IP(X = x) = 0. Sa fonction de r´ partition vaut e FX (x) = IP(X ≤ x) = (1 − e−λx )1 x≥0 , 1 (2.1) son esp´ rance et sa variance valent respectivement 1/λ et 1/λ2 . De l’expression (2.1), on d´ duit qu’` partir e e a d’une v.a. X de loi exponentielle de param` tre λ, on obtient une v.a. Y de loi exponentielle de param` tre e e 1 en posant simplement Y = λX. En pratique, une v.a. de loi exponentielle repr´ sente une dur´ e, typiquement le temps d’attente d’un e e ev´ nement ou une dur´ e de vie. La propri´ t´ importante des lois exponentielles est d’ˆ tre “sans m´ moire”. ´ e e ee e e Dans le cas particulier d’un composant electronique dont la dur´ e de vie serait mod´ lis´ e par une loi expo- ´ e e e nentielle, cela signifie que la probabilit´ pour que le composant vive un temps t est la mˆ me, qu’il soit neuf e e ou qu’il ait d´ j` v´ cu un temps s. Cette absence de m´ moire est caract´ ristique des lois exponentielles. ea e e e Proposition 2.1.1 Une v.a. X a valeurs dans R+ et de fonction de r´ partition continue suit une loi expo- ` e nentielle si et seulement si pour tous r´ els s, t ≥ 0, e IP(X > s + t | X > s) = IP(X > t) . (2.2) 26
- 27. D´ monstration SiX suit la loi E(λ) alors, d’apr` s (2.1), e e IP(X > s + t) IP(X > s + t | X > s) = IP(X > s) e−λ(s+t) = e−λs −λt = e = IP(X > t) . R´ ciproquement, en notant g(t) = 1 − FX (t), l’´ quation (2.2) s’´ crit g(s + t) = g(s)g(t), pour tous r´ els e e e e s, t ≥ 0. Un petit travail permet de montrer que les solutions continues de cette equation sont de la forme ´ g(t) = eat , i.e. FX (t) = 1 − eat . Enfin, le fait que FX (t) tende vers 1 quand t tend vers l’infini force le r´ el a a etre strictement n´ gatif. La v.a. X suit donc la loi exponentielle de param` tre −a. e `ˆ e e Proposition 2.1.2 Consid´ rons n v.a. ind´ pendantes X1 , . . . , Xn de lois respectives E(λ1 ), . . . , E(λn ). e e Posons Y = min{X1 , . . . , Xn }. Alors Y suit la loi exponentielle de param` tre λ1 + . . . + λn et pour tout e indice i = 1, . . . , n, λi IP(Y = Xi ) = . λ1 + . . . + λn D´ monstration Pour identifier la loi de Y , le plus simple est de calculer sa fonction de r´ partition : e e ∀t ≥ 0, IP(Y > t) = IP(∀i = 1, . . . , n, Xi > t) n = IP(Xi > t) i=1 −(λ1 +...+λn )t = e . On conclut en utilisant le fait qu’une fonction de r´ partition caract´ rise la loi. e e L’´ v´ nement Y = Xi equivaut a Xi ≤ Xj , ∀j. De plus, l’ind´ pendance entre les v.a. X1 , . . . , Xn nous e e ´ ` e permet d’´ crire : e IP(Y = Xi ) = λj e−λj xj 1 xj ≥0 dx1 . . . dxn 1 {(x1 ,...,xn ),xi ≤xj ∀j} 1≤j≤n ∞ ∞ = λj e−λj xj dxj λi e−λi xi dxi 0 j=i xi ∞ = λi e−(λ1 +...+λn )xi dxi 0 λi = . λ1 + . . . + λn 27
- 28. Proposition 2.1.3 Lasomme de n v.a. ind´ pendantes de loi exponentielle de param` tre λ suit une loi, e e appal´ e loi Gamma de param` tres n et λ et not´ e Γ(n, λ), dont la densit´ est donn´ e par : e e e e e λn xn−1 −λx f (x) = e 1 x≥0 . 1 (n − 1)! 2.1.2 Pr´ sentation du processus de Poisson e D´ finition 2.1.4 Soit (Xn )n≥1 une suite de v.a. ind´ pendantes et de mˆ me loi, exponentielle de param` tre e e e e λ. Posons S0 = 0 et pour tout entier n ≥ 1, Sn = X1 + . . . + Xn . Pour tout r´ el t ≥ 0, d´ finissons la v.a. e e Nt , a valeurs enti` res, par : ` e Nt = n ⇔ Sn ≤ t < Sn+1 . Le processus stochastique {Nt }t≥0 est appel´ processus de Poisson d’intensit´ λ. e e Le processus de Poisson est un mod` le de comptage d’´ v´ nements al´ atoires isol´ s dans le temps, comme e e e e e des “tops” d’horloge s´ par´ s par des dur´ es al´ atoires. Dans ce mod` le : e e e e e • Xn est la dur´ e s´ parant le (n − 1)e top du ne ; e e • Sn est la date a laquelle survient le ne top. D’apr` s la Proposition 2.1.3, la v.a. Sn suit la loi Gamma ` e de param` tres n et λ ; e • Nt est le nombre de tops compt´ s entre l’instant 0 et l’instant t : e Nt = 1 Sn ≤t . 1 n≥1 Nt 5 4 3 2 1 0 t S1 S2 S3 S4 S5 X1 X2 X4 X5 X6 F IGURE 2.1 – Ci-dessus est repr´ sent´ e la trajectoire simul´ e d’un processus de Poisson d’intensit´ e e e e λ = 1/2 sur l’intervalle [0; 10]. On constate que d’assez longues p´ riodes sans aucun top alternent e avec des rafales de tops rapproch´ s : il n’y a pas d’autre explication a la fameuse “loi des s´ ries” ch` re e ` e e aux journalistes. Si des ev´ nements (comme par exemple des accidents d’avion) arrivent rarement, de ´ e mani` re impr´ visible et ind´ pendante, on ne peut pas imaginer qu’ils surviennent a des intervalles de e e e ` temps r´ guliers. Il faut plutˆ t s’attendre a les voir survenir parfois de mani` re rapproch´ e, par “s´ ries”. e o ` e e e Soit 0 ≤ s ≤ t des r´ els. La diff´ rence Nt − Ns est appel´ e accroissement. Elle est egale au nombre de e e e ´ tops entre les instants s et t. 28
- 29. Th´ or` me2.1.5 Consid´ rons un processus de Poisson {Nt }t≥0 d’intensit´ λ. Il v´ rifie les propri´ t´ s sui- e e e e e ee vantes : (P1) {Nt }t≥0 est un processus de comptage ; il est a valeurs enti` res, v´ rifie N0 = 0 p.s. et pour tous ` e e r´ els 0 ≤ s ≤ t, Ns ≤ Nt . e (P2) {Nt }t≥0 est un processus a accroissements ind´ pendants ; pour tout entier k et pour toute suite ` e d’instants 0 < t1 < t2 < . . . < tk , les accroissements Nt2 − Nt1 , . . . , Ntk − Ntk−1 sont des v.a. ind´ pendantes. e (P3) Les accroissements du processus {Nt }t≥0 sont poissonniens ; pour tous r´ els 0 ≤ s < t, la v.a. e Nt − Ns suit la loi de Poisson de param` tre λ(t − s) ; e (P4) {Nt }t≥0 est un processus homog` ne ou a accroissements stationnaires ; pour tous instants 0 ≤ e ` t1 < t2 et s ≥ 0, la v.a. Nt2 +s − Nt1 +s suit la mˆ me loi que Nt2 − Nt1 . ; e (P5) {Nt }t≥0 est un processus d’´ v´ nements rares ; IP(Nt+h − Nt ≥ 2) = o(h). e e Nous ne d´ montrerons pas ces r´ sultats et nous nous contenterons de quelques commentaires. e e Par d´ finition, un processus de Poisson est une fonction du hasard et du temps, a valeurs enti` res, qui est e ` e croissante dans le temps. De plus, IP(N0 = 0) = 1 − IP(N0 = 0) ≥ 1 − IP(X1 = 0) = 1 . C’est donc un processus de comptage. La d´ monstration de la propri´ t´ (P2) est li´ e a l’absence de m´ moire de la loi exponentielle (Proposi- e ee e ` e tion 2.1.1). Elle signifie que les nombres de tops compt´ s dans des intervalles de temps disjoints sont e ind´ pendants. En particulier, les nombres de tops dans les intervalles [0; t] et ]t; t + s] sont ind´ pendants. e e C’est la propri´ t´ (P3) qui est a l’origine du nom du processus de Poisson. La probabilit´ pour qu’il y ait ee ` e n tops entre les instants s et t (avec s < t) est donn´ e par : e (λ(t − s))n −λ(t−s) IP(Nt − Ns = n) = e . n! En particulier, IE[Nt − Ns ] = λ(t − s) . Le nombre moyen de tops compt´ s dans un intervalle de temps est donc proportionnel a la longueur de cet e ` intervalle et le coefficient de proportionnalit´ n’est autre que λ. Par cons´ quent, le nombre moyen de tops e e par unit´ de temps est egal a λ, fort justement appel´ intensit´ du processus. La dur´ e moyenne entre deux e ´ ` e e e tops etant de 1/λ (ce sont des exponentielles de param` tre λ), il est normal de compter λ tops par unit´ de ´ e e temps en moyenne. Avec la condition N0 = 0 p.s., le nombre de tops jusqu’` l’instant t est distribu´ selon la loi de Poisson de a e param` tre λt : e Nt ∼ P(λt) . La propri´ t´ (P4) est une cons´ quence imm´ diate de (P3) : les v.a. Nt2 +s − Nt1 +s et Nt2 − Nt1 suivent ee e e toutes les deux la loi de Poisson de param` tre λ((t2 + s) − (t1 + s)) = λ(t2 − t1 ). e La propri´ t´ (P5) signifie que la probabilit´ de compter plus d’un top dans un petit intervalle de temps est ee e n´ gligeable. Elle d´ coule egalement de la propri´ t´ (P3). Rappelons tout d’abord que f (h) = o(h) signifie e e ´ ee que le rapport f (h)/h tend vers 0 quand h tend vers 0. La notation o(h) a un caract` re infinit´ simal (et en e e aucun cas global). Puisque IP(Nt+h − Nt = 0) = e−λh = 1 − λh + o(h) 29
- 30. et IP(Nt+h − Nt = 1) = (λh)e−λh = λh + o(h) , on en d´ duit que e IP(Nt+h − Nt ≥ 2) = 1 − IP(Nt+h − Nt = 0) − IP(Nt+h − Nt = 1) = o(h) . R´ ciproquement, un processus stochastique v´ rifiant les propri´ t´ s (P1), (P2), (P4) et (P5) est un processus e e ee de Poisson. Il v´ rifie donc egalement la propri´ t´ (P3). e ´ ee Les instants de saut d’un processus de Poisson v´ rifient la propri´ t´ int´ ressante suivante : lorsqu’on sait e ee e qu’exactement n sauts ont eu lieu dans l’intervalle [0; t], la distribution de ces sauts dans [0; t] est celle de n points tir´ s uniform´ ment au hasard dans cet intervalle. e e Proposition 2.1.6 Conditionnellement en {Nt = n}, la loi du vecteur (S1 , . . . , Sn ) des n premiers instants de saut d’un processus de Poisson est la mˆ me que celle du r´ ordonnement par ordre croissant d’une suite e e de n v.a. ind´ pendantes et de mˆ me loi uniforme sur [0; t]. Autrement dit, si on tire des v.a. U1 , . . . , Un e e ind´ pendantes de loi uniforme sur [0; t] et si on les r´ ordonne en posant e e U(1) = min Ui < U(2) < . . . < U(n) = max Ui , 1≤i≤n 1≤i≤n alors la loi conditionnelle de (S1 , . . . , Sn ) sachant Nt = n est la mˆ me que celle de (U(1) , . . . , U(n) ). e e ´ D´ monstration Nous d´ montrons uniquement le cas n = 1. Etant donn´ s des r´ els 0 ≤ u ≤ t, on peut e e e ecrire : ´ IP(S1 ≤ u, Nt = 1) = IP(Nu = 1, Nt = 1) = IP(Nu = 1, Nt − Nu = 0) = IP(Nu = 1) IP(Nt − Nu = 0) , du fait de l’ind´ pendance des accroissements (P2). Par la propri´ t´ (P3), les v.a. Nu et Nt − Nu suivent e ee des lois de Poisson de param` tres respectifs λu et λ(t − u) (o` λ est l’intensit´ du processus). Ainsi, e u e IP(S1 ≤ u, Nt = 1) = IP(Nu = 1) IP(Nt − Nu = 0) = λue−λu × e−λ(t−u) = λue−λt . Finalement, u IP(S1 ≤ u | Nt = 1) = . t Autrement dit, la fonction de r´ partition de la v.a. S1 conditionnellement a {Nt = 1} est celle d’une loi e ` uniforme sur l’intervalle [0; t]. Terminons en donnant deux r´ sultats sur la superposition de processus de Poisson ind´ pendants et sur e e l’op´ ration inverse de d´ composition. e e Proposition 2.1.7 30
- 31. 1. Soient {Nt1}t≥0 et {Nt2 }t≥0 deux processus de Poisson ind´ pendants (i.e. tout ev´ nement li´ a e ´ e e ` l’un est ind´ pendant de tout ev´ nement li´ a l’autre), d’intensit´ s respectives λ1 et λ2 . On appelle e ´ e e` e superposition de ces deux processus le processus somme : ∀t ≥ 0, Nt = Nt1 + Nt2 . Alors {Nt }t≥0 est encore un processus de Poisson d’intensit´ λ1 + λ2 . e 2. Inversement, si {Nt }t≥0 est un processus de Poisson d’intensit´ λ, on associe aux instants de saut e (Sn )n∈N de ce processus une suite de v.a. (Yn )n∈N ind´ pendantes, ind´ pendantes du processus e e {Nt }t≥0 , et de mˆ me loi de Bernoulli : e ∀n ∈ N, IP(Yn = 1) = p et IP(Yn = 0) = 1 − p . Soit {Nt′ }t≥0 le processus dont les instants de saut sont les (Sn )n∈N tels que Yn = 1. Alors, {Nt′ }t≥0 est encore un processus de Poisson d’intensit´ λ′ = pλ. e Voici deux exemples d’application : – Sur une voie a double sens, si les flux de v´ hicules venant de droite et de gauche sont deux processus ` e de Poisson d’intensit´ respectives λ1 et λ2 , pouvant etre consid´ r´ s comme ind´ pendants, alors le e ˆ ee e flux global de v´ hicules est encore un processus de Poisson d’intensit´ λ1 + λ2 . e e – Si le flux global de v´ hicules est un processus de Poisson d’intensit´ λ et que 5% des v´ hicules sont e e e rouges alors le flux des v´ hicules rouges est encore un processus de Poisson d’intensit´ λ′ = 0, 05λ. e e 2.1.3 Simulation et mod´ lisation e De nombreuses situations sont mod´ lis´ es par les processus de Poisson : arriv´ es de clients dans une file e e e d’attente, appels a un central t´ l´ phonique, d´ sint´ gration de particules radioactives, pannes de composants ` ee e e electroniques, passages de voitures sur une route a grande circulation non embouteill´ e. . . Pour se faire une ´ ` e id´ e concr` te de ce qu’est un processus de Poisson, rien ne vaut la simulation. On peut bien sˆ r programmer e e u en suivant la d´ finition, ce qui implique des tirages successifs de variables exponentielles. On peut aussi e appliquer la propri´ t´ (P3) et la Proposition 2.1.6 : pour simuler des ev´ nements poissoniens sur l’intervalle ee ´ e de temps [0; t], on commence par choisir la valeur n prise par Nt suivant la loi P(λt), puis on simule les dates d’arriv´ es de ces n ev´ nements en les tirant au hasard suivant la loi uniforme sur [0; t]. En R, cela e ´ e donne : n = rpois(1,λt) v = runif(n,0,t) w = sort(v) Le vecteur w contient les instants de sauts S1 , . . . , Sn du processus de Poisson d’intensit´ λt sur l’intervalle e [0; t]. Il est important de comprendre quelles hypoth` ses de mod´ lisation l’utilisation d’un processus de Poisson e e sous-entend. Dire que des ev´ nements surviennent selon un processus de Poisson, c’est supposer qu’` ´ e a chaque instant, l’arriv´ e du prochain ev´ nement est parfaitement impr´ visible, i.e. ind´ pendante de ce qui e ´ e e e a pr´ c´ d´ . On suppose de plus que l’intensit´ (nombre moyen d’´ v´ nements par unit´ de temps) reste e e e e e e e constante. Supposons que l’on souhaite mod´ liser des arriv´ es de clients dans un magasin. Les questions e e sont les suivantes. – Les clients arrivent-ils un par un (´ v´ nements rares) ? e e 31
- 32. – Le tempsqui s’est ecoul´ depuis l’arriv´ e du dernier client est-il sans incidence sur les chances d’en ´ e e voir arriver un bientˆ t (accroissements ind´ pendants) ? o e – Dans une seconde fix´ e, les chances de voir arriver un client sont-elles constantes (homog´ n´ it´ en e e e e temps) ? Mˆ me si les r´ ponses a ces questions sont g´ n´ ralement plutˆ t n´ gatives, il est raisonnable de commencer e e ` e e o e par mod´ liser cette situation par un processus de Poisson. Lorsque cette premi` re mod´ lisation conduit e e e a des r´ sultats aberrants, on a recours a des mod` les plus sophistiqu´ s qui sont des g´ n´ ralisations du ` e ` e e e e processus de Poisson. Par exemple, les processus de renouvellement sont des processus de comptage d’´ v´ nements rares s´ par´ s par des dur´ es ind´ pendantes, mais de loi autre qu’exponentielle. Les processus e e e e e e de Poisson non homog` nes sont des processus de comptage, a accroissements ind´ pendants, d’´ v´ nements e ` e e e rares, mais la loi de Nt+h − Nt d´ pend de t. L’int´ rˆ t des processus de Poisson compos´ s r´ side dans la e ee e e possibilit´ d’ajouter, a chaque top, une v.a. enti` re plutˆ t que d’augmenter syst´ matiquement de 1. Ceci e ` e o e permet en particulier de tenir compte des arriv´ es group´ es dans les mod` les d’attente. e e e Signalons enfin que le processus de Poisson peut etre etendu a des dimensions sup´ rieures a 1. Les tops ˆ ´ ` e ` sont alors interpr´ t´ s comme des points de l’espace, pouvant par exemple mod´ lis´ s les individus d’une ee e e esp` ce prot´ g´ e dans un parc naturel. Dans la fenˆ tre [0; 20]2 , le nombre de points d’un processus de Pois- e e e e son (bi-dimensionnel) d’intensit´ λ suit la loi de Poisson de param` tre λ × 202 . Puis, en ces points, nous e e centrons des disques dont les rayons sont des v.a. i.i.d. L’union de ces disques forme un sous-ensemble al´ atoire Γ, appel´ Mod` le Bool´ en ; voir la Figure 2.2. Le Mod` le Bool´ en permet de mod´ liser de nom- e e e e e e e breux ph´ nom` nes physiques ou biologiques : la porosit´ d’un milieu ou d’un mat´ riau, la propagation e e e e d’une maladie sur un territoire, etc. F IGURE 2.2 – Trois simulations du Mod` le Bool´ en. Dans les trois cas, les rayons sont distribu´ s selon la e e e loi exponentielle de param` tre 1. L’intensit´ du processus de Poisson sous-jacent vaut, de gauche a droite, e e ` λ = 1, 4, 7. Il n’est donc pas etonnant que l’ensemble Γ (en noir) remplisse de plus en plus la fenˆ tre ´ e [0; 20]2 . Dans la derni` re simulation, est-il possible de traverser la fenˆ tre [0; 20]2 , disons de gauche a e e ` droite, tout en restant dans Γ ? Voici le code en R produisant ces simulations : n = rpois(1,λL2 ) X = runif(n,0,L) Y = runif(n,0,L) R = rexp(n,1) plot(0 :L, 0 :L, type=”n”, xlab=””, ylab=””) 32
- 33. for (i in1 :n) points(X[i],Y[i],cex=R[i],pch=16) 2.2 Processus markoviens de sauts Les Processus markoviens de sauts sont la g´ n´ ralisation des chaˆnes de Markov au temps continu. e e ı Le passage du temps discret au temps continu se fait en remplacant le pas de temps fixe d’une chaˆne de ı Markov par des intervalles de temps al´ atoires ind´ pendants de loi exponentielle. Le processus de Poisson e e sera notre premier exemple de processus markoviens de sauts. Un second sera li´ aux files d’attente et sera e abord´ dans la derni` re partie de ce cours. e e 2.2.1 D´ finition et exemples e Consid´ rons un ensemble E fini ou d´ nombrable et une suite croissante de v.a. (Sn )n∈N a valeurs dans e e ` R+ . Un processus de sauts {Xt }t≥0 a espace d’´ tats E et d’instants de sauts (Sn )n∈N est un processus ` e stochastique dont la valeur ne peut changer qu’en ses instants de sauts : ∀n ∈ N, ∃!x ∈ E tel que ∀t ∈ [Sn ; Sn+1 [, Xt = x . Nous nous int´ ressons exclusivement a une classe particuli` re de processus de sauts, appel´ s processus e ` e e markoviens de sauts. Ces processus evoluent de la mani` re suivante. Supposons que le processus se trouve ´ e a l’´ tat x a l’issu du saut intervenant a l’instant Sn . ` e ` ` 1. Le temps de s´ jour dans l’´ tat x, a savoir la v.a. Sn+1 − Sn , suit la loi exponentielle de param` tre e e ` e λ(x). Le param` tre de cette loi peut donc d´ pendre de l’´ tat x o` le processus se trouve. Mais a part e e e u ` cette d´ pendance en l’´ tat x, la v.a. Sn+1 − Sn est ind´ pendante du pass´ du processus. e e e e ` l’instant Sn+1 , le processus saute de l’´ tat x vers l’´ tat y (avec y = x) avec une probabilit´ qx,y , 2. A e e e quantit´ ind´ pendante de Sn+1 − Sn et du pass´ . e e e L’´ volution du processus est donc d´ termin´ e par la suite (λ(x))x∈E et par la matrice Q := (qx,y )x,y∈E . e e e Voici une d´ finition plus formelle : e D´ finition 2.2.1 Un processus de sauts {Xt }t≥0 a espace d’´ tats E et d’instants de sauts (Sn )n∈N est e ` e markovien s’il existe : • une suite born´ e (λ(x))x∈E de r´ els strictement positifs, e e • une matrice Q = (qx,y )x,y∈E de r´ els positifs v´ rifiant e e ∀x ∈ E, qx,x = 0 et qx,y = 1 , y∈E telles que, pour tout entier n, pour tous etats x0 , x1 , . . . , xn , xn+1 et pour tous r´ els positifs t1 , . . . , tn , ´ e tn+1 : XSn+1 = xn+1 , XSn = xn , Sn − Sn−1 > tn , . . . , IP Sn+1 − Sn > tn+1 XS1 = x1 , S1 − S0 > t1 , XS0 = x0 XSn+1 = xn+1 , = IP XSn = xn (2.3) Sn+1 − Sn > tn+1 = e−λ(xn )tn+1 qxn ,xn+1 . (2.4) 33
- 34. Le pass´ duprocessus {Xt }t≥0 , a savoir les etats visit´ s et les temps de s´ jours dans chacun de ces etats, e ` ´ e e ´ est d´ crit par l’´ v´ nement e e e XSn = xn , Sn − Sn−1 > tn , . . . , XS1 = x1 , S1 − S0 > t1 , XS0 = x0 . L’´ galit´ (2.3) traduit le caract` re markovien du processus : conditionnellement a l’´ tat pr´ sent, l’´ volution e e e ` e e e future ne d´ pend pas du pass´ . Dans l’´ galit´ (2.4), le terme e−λ(xn )tn+1 repr´ sente la probabilit´ pour un e e e e e e temps de s´ jour de loi exponentielle de param` tre λ(xn ) d’ˆ tre sup´ rieur a tn+1 et le terme qxn ,xn+1 la e e e e ` probabilit´ de sauter de xn vers xn+1 . Le produit des termes e−λ(xn )tn+1 et qxn ,xn+1 traduit l’ind´ pendance e e entre le temps de s´ jour et le futur etat visit´ . e ´ e Le coefficient λ(x) doit etre compris comme le taux de saut a partir de l’´ tat x. Son inverse 1/λ(x) est le ˆ ` e temps moyen avant le prochain saut lorsque le processus est dans l’´ tat x. Le fait que la suite (λ(x))x∈E e soit born´ e est une hypoth` se technique ; elle assure que la suite (Sn )n∈N des instants de sauts du processus e e tend presque sˆ rement vers l’infini, et donc que la v.a. Xt est bien d´ finie pour tout t ≥ 0. Remarquons u e que cette condition est automatiquement remplie quand l’espace d’´ tats E est fini. e Enfin, l’´ galit´ qx,x = 0, pour tout x, interdit au processus de sauter depuis un etat dans lui-mˆ me. e e ´ e Voici deux exemples de processus markoviens de sauts. Un troisi` me exemple concernant le mod` le de file e e d’attente a un serveur sera abord´ dans la derni` re partie de ce cours. ` e e E XEMPLES : • Processus de Poisson. Le processus de Poisson {Nt }t≥0 (d’intensit´ λ) est un processus de sauts a e ` espace d’´ tats E = N : il vaut n sur tout l’intervalle de temps [Sn ; Sn+1 [. De plus, tous les temps de s´ jour e e suivent la loi exponentielle de param` tre λ et, depuis l’´ tat n (qu’il atteint a l’issu du ne saut), il saute en e e ` n + 1. 1 si m = n + 1 ∀n ∈ N, λ(n) = λ et qn,m = . 0 sinon Le processus de Poisson remplit ais´ ment la d´ finition d’un processus markovien de sauts. L’´ quation (2.3) e e e repose sur l’ind´ pendance des temps de s´ jour S1 , S2 − S1 , . . . , Sn+1 − Sn et du fait que NSn soit toujours e e egal a n. Ce n’est pas plus difficile pour (2.4) : ´ ` IP(NSn+1 = n + 1, Sn+1 − Sn > tn+1 | NSn = n) = IP(Sn+1 − Sn > tn+1 ) = e−λtn+1 = e−λtn+1 qn,n+1 . • Automate binaire. Consid´ rons une machine qui peut etre soit en etat de marche, soit en panne. e ˆ ´ Notons Xt la v.a. egale a 0 si la machine est en panne a l’instant t et egale a 1 si elle est en etat de marche a ´ ` ` ´ ` ´ ` l’instant t. Nous faisons l’hypoth` se que les temps de fonctionnement de cette machine sont des v.a. de loi e exponentielle de param` tre λ et que les temps de r´ paration sont des v.a. de loi exponentielle de param` tre e e e µ. Nous supposons egalement toutes ces v.a. ind´ pendantes. ´ e Alors, le processus {Xt }t≥0 est un processus markovien de sauts a valeurs dans E = {0, 1}. Les pa- ` ram` tres qui interviennent sont λ(0) = µ, λ(1) = λ et q0,1 = q1,0 = 1. e Cette partie se termine par un programme R permettant de simuler un processus markovien de sauts. Cette routine, nomm´ e markov, renvoie l’´ tat dans lequel se trouve le processus markovien de sauts {Xt }t≥0 e e au temps T > 0. Elle prend en entr´ e l’´ tat initial x0 du processus, le r´ el T , ainsi que le vecteur λ = e e e (λ(x))x∈E et la matrice Q = (qx,y )x,y∈E d´ terminant la dynamique du processus. Les el´ ments de E sont e ´e num´ rot´ s et not´ s comme suit : x1 , x2 , . . . e e e 34
- 35. markov = function(x0,T,λ,Q) { X = x0 T = T - rexp(1,λ[x0 ]) while (T > 0) { U = runif(1,0,1) R = qX,x1 i=1 while (R < U) {i=i+1 R = R + qX,xi } X = xi T = T - rexp(1,λ[xi ]) } X } Le cœur de cette routine consiste a choisir le prochain etat visit´ par le processus selon le vecteur de ` ´ e probabilit´ (qX,xi )i≥1 , l’´ tat occup´ etant X. Cette simulation peut se simplifier consid´ rablement suivant e e e´ e le contexte (processus de Poisson, automate binaire). 2.2.2 Probabilit´ s de transition et g´ n´ rateur de Markov e e e Le r´ sultat suivant est l’analogue de la propri´ t´ de Markov et de l’homog´ n´ it´ en temps qui d´ finissent e ee e e e e habituellement les chaˆnes de Markov. Comme dans le cas discret, cela conduit a une caract´ risation simple ı ` e de la loi du processus. Proposition 2.2.2 Un processus markovien de sauts {Xt }t≥0 a espace d’´ tats E satisfait les deux egalit´ s ` e ´ e suivantes : pour tout entier n, pour tous etats x0 , x1 , . . . , xn , xn+1 et pour toute suite croissante de r´ els ´ e positifs 0 < t1 < . . . < tn < tn+1 , IP(Xtn+1 = xn+1 | Xtn = xn , . . . , Xt1 = x1 , X0 = x0 ) = IP(Xtn+1 = xn+1 | Xtn = xn ) = IP(Xtn+1 −tn = xn+1 | X0 = xn ) . D` s lors, la probabilit´ conditionnelle IP(Xt = y|Xs = x) ne d´ pend que des etats x, y et de l’accroisse- e e e ´ ment t − s, ce qui justifie la notation suivante. Pour tout r´ el positif t et pour tous etats x, y, la probabilit´ e ´ e de transition de x vers y sur un intervalle (de temps) de longueur t est d´ finie par : e p(t) := IP(Xt = y | X0 = x) . x,y (t) Attention, la notation px,y ne pr´ cise pas le nombre de sauts pour aller de l’´ tat x a l’instant 0 a l’´ tat y a e e ` ` e ` l’instant t. (t) La matrice P (t) := (px,y )x,y∈E est appel´ e matrice de transition sur un intervalle (de temps) de longueur e t. Comme dans le cas discret, la taille de la matrice P (t) d´ pend du cardinal de E (´ ventuellement infini), e e ses coefficients sont des r´ els positifs et la somme de ces coefficients sur toute une ligne vaut 1. e Comme dans le cas discret, la loi µt de la v.a. Xt est obtenue par produit matriciel entre la loi initiale µ0 (i.e. celle de X0 ) et la matrice de transition P (t) : µt = µ0 P (t) . 35
- 36. Les Propositions 2.2.3et 2.2.4 fournissent deux autres points communs entre processus markoviens a ` temps discret et a temps continu. La donn´ e de la famille de matrices {P (t) } ` e t≥0 et de la loi de X0 suffit a ` caract´ riser la loi d’un processus markovien de sauts : e Proposition 2.2.3 Soit {Xt }t≥0 un processus markovien de sauts de matrices de transition {P (t) }t≥0 . Pour tout entier n, pour tous etats x0 , x1 , . . . , xn et pour toute suite croissante de r´ els positifs 0 < t1 < ´ e . . . < tn , on a : (t1 ) IP(Xtn = xn , . . . , Xt1 = x1 , X0 = x0 ) = IP(X0 = x0 ) px0 ,x1 px1 ,x2 1 ) . . . p(tn−1 ,xn ) . (t2 −t x n −tn−1 La d´ monstration de cette derni` re egalit´ est la mˆ me que dans le cas discret. Elle utilise exclusivement e e ´ e e la propri´ t´ de Markov v´ rifi´ e par le processus {Xt }t≥0 (Proposition 2.2.2). ee e e Le r´ sultat suivant s’interpr` te comme suit : “aller de x vers y en un temps t + s, c’est aller de x vers un e e etat z en un temps t puis de z vers y en un temps s. ´ Proposition 2.2.4 (Relation de Chapman-Kolmogorov) Soit {Xt }t≥0 un processus markovien de sauts de matrices de transition {P (t) }t≥0 . Soient s, t ≥ 0. Alors P (t+s) = P (t) P (s) . Ou encore, les coefficients de ces matrices satisfont les relations : pour tous etats x, y, ´ p(t+s) = x,y p(t) p(s) . x,z z,y z∈E ´ D´ monstration Ecrivons pour commencer e p(t+s) = IP(Xt+s = y | X0 = x) x,y = IP(Xt+s = y, Xt = z | X0 = x) z∈E = IP(Xt+s = y | Xt = z, X0 = x) IP(Xt = z | X0 = x) z∈E en multipliant au num´ rateur et au d´ nominateur par la facteur IP(Xt = z, X0 = x). La d´ monstration e e e s’ach` ve en utilisant la propri´ t´ de Markov et l’homog´ n´ it´ : e ee e e e IP(Xt+s = y | Xt = z, X0 = x) = IP(Xt+s = y | Xt = z) = IP(Xs = y | X0 = z) = p(s) . z,y (t) Les similitudes entre les cas discret et continu s’arr` tent ici. En effet, les probabilit´ s de transition px,y e e sont en g´ n´ ral difficile a calculer, voire impossible. D’ailleurs, leurs expressions n’ont que peu d’utilit´ en e e ` e pratique... Nous pr´ f´ rerons travailler avec le g´ n´ rateur du processus qui sera introduit dans le prochain ee e e r´ sultat. e 36
- 37. Avant cela, rappelonsque le processus markovien de sauts {Xt }t≥0 demeure dans le mˆ me etat entre le ne e ´ saut (compris) et le (n + 1) e (exclu), pr´ cis´ ment pour tout t ∈ [S ; S e e n n+1 [. Du coup, l’application t → Xt (i.e. la trajectoire du processus) est continue a droite. Il en va de mˆ me pour la probabilit´ de transition ` e e (t) px,y en tant que fonction de t. La limite 0 si x = y p(0) := lim p(t) = x,y x,y t→0+ 1 si x = y est donc bien d´ finie. e Th´ or` me 2.2.5 Soit {Xt }t≥0 un processus markovien de sauts associ´ a la suite (λ(x))x∈E et a la matrice e e e` ` (t) Q = (qx,y )x,y∈E . Soient x, y ∈ E. L’application t → px,y est d´ rivable a droite en t = 0 et cette d´ riv´ e e ` e e vaut : (t) (0) px,y − px,y λ(x)qx,y si x = y ax,y := lim = . (2.5) t→0+ t −λ(x) si x = y Lorsque les etats x et y sont distincts, cette d´ riv´ e est appel´ e taux de transition de x vers y. La matrice ´ e e e A = (ax,y )x,y∈E est appel´ e g´ n´ rateur de Markov du processus {Xt }t≥0 . e e e Soient x et y des etats distincts. La probabilit´ qx,y d’aller en y lorsqu’on quitte x doit etre pond´ r´ e ´ e ˆ ee par l’intensit´ λ(x) avec laquelle on quitte x, pour obtenir le taux de transition ax,y ; ax,y = λ(x)qx,y . e Par exemple, si le temps pass´ en x est en moyenne plutˆ t long (disons λ(x)−1 = 100) alors le taux e o de transition de x vers y sera faible, i.e. ax,y ≤ 0, 01, et ce mˆ me si lorsqu’on quitte x c’est pour aller e syst´ matiquement en y (qx,y = 1). e D´ monstration Seul le cas o` x = y est trait´ : cela suffit a comprendre la trame du Th´ or` me 2.2.5. e u e ` e e ´ Etant en x au temps 0, supposons que le processus y soit de nouveau au temps t. Il y a deux possibilit´ s. e Soit le processus n’a pas quitt´ l’´ tat x, ce qui signifie que le premier instant de saut S1 survient apr` s t. e e e Soit le processus a quitt´ l’´ tat x et y est revenu, ce qui implique au moins deux sauts avant l’instant t. e e IP(Xt = x | X0 = x) = IP(S1 > t | X0 = x) + IP(S1 ≤ t, S2 ≤ t, Xt = x | X0 = x) . (2.6) Sachant X0 = x, l’instant du premier saut S1 suit la loi exponentielle de param` tre λ(x). Le premier terme e du membre de droite de (2.6) devient : IP(S1 > t | X0 = x) = e−λ(x)t = 1 − λ(x)t + o(t) , lorsque t tend vers 0. Si le second terme du membre de droite de (2.6) est un o(t) alors IP(Xt = x|X0 = x) vaut egalement 1 − λ(x)t + o(t). D’o` la limite recherch´ e : ´ u e IP(Xt = x | X0 = x) − 1 = −λ(x) + o(1) . t Nous savons ce qu’il reste a faire. Le fait que les deux premiers sauts du processus {Xt }t≥0 surviennent ` a des instants tr` s proches de 0 est improbable. C’est la raison pour laquelle IP(S1 ≤ t, S2 ≤ t, Xt = ` e x|X0 = x) est un o(t). Formellement, IP(S1 ≤ t, S2 ≤ t, Xt = x | X0 = x) ≤ IP(S1 ≤ t, S2 ≤ t | X0 = x) ≤ IP(S1 ≤ t, S2 − S1 ≤ t | X0 = x) ≤ IP(S1 ≤ t, XS1 = z, S2 − S1 ≤ t | X0 = x) . z∈E 37
- 38. Soit z ∈E. Par d´ finition du processus markovien de sauts, il vient : e IP(S1 ≤ t, XS1 = z, S2 − S1 ≤ t | X0 = x) = IP(XS1 = z, S2 − S1 ≤ t | S1 ≤ t, X0 = x) × IP(S1 ≤ t | X0 = x) = IP(XS1 = z, S2 − S1 ≤ t | S1 ≤ t)(1 − e−λ(x)t ) = (1 − e−λ(z)t )qx,z (1 − e−λ(x)t ) . En utilisant l’in´ galit´ e−u ≥ 1 − u et le fait que la suite (λ(z))z∈E soit born´ e, disons par une constante e e e M > 0, il vient : IP(S1 ≤ t, S2 ≤ t, Xt = x | X0 = x) ≤ IP(S1 ≤ t, XS1 = z, S2 − S1 ≤ t | X0 = x) z∈E ≤ (1 − e−λ(z)t )qx,z (1 − e−λ(x)t ) z∈E ≤ λ(z)qx,z λ(x)t2 z∈E ≤ M λ(x)t2 qx,z z∈E ≤ M λ(x)t2 = o(t) . Le g´ n´ rateur de Markov A = (ax,y )x,y∈E est enti` rement d´ termin´ par la suite (λ(x))x∈E et la matrice e e e e e Q = (qx,y )x,y∈E d´ finissant le processus markovien de sauts. C’est une matrice carr´ e a coefficients r´ els e e ` e positifs except´ sur la diagonale. Le terme d’ordre x de la diagonale v´ rifie e e ax,x = −λ(x) = −λ(x) qx,y = − ax,y . y,y=x y,y=x La somme des coefficients d’une mˆ me ligne de la matrice A vaut donc 0. e Dans les applications, un mod` le markovien continu est d´ fini par ses taux de transition ax,y qui ont en e e g´ n´ ral une signification concr` te (nombres moyens d’arriv´ es, de services, de pannes ou de r´ parations e e e e e par unit´ de temps). De plus, l’int´ rˆ t du g´ n´ rateur par rapport aux matrices de transition {P (t) }t≥0 e ee e e est que celui-ci ne d´ pend plus du temps : c’est une d´ riv´ e (` droite) en t = 0. Ainsi, on r´ sume souvent e e e a e l’information qu’il contient par un graphe de transition. C’est un graphe orient´ et pond´ r´ dont l’ensemble e ee des sommets est E. Une arˆ te de poids ax,y va de x vers y = x si ax,y > 0. e E XEMPLES : • Processus de Poisson. Pour tout entier x, λ(x) est egal a λ et qx,x+1 egal a 1. D` s lors, le taux de ´ ` ´ ` e transition de x vers x + 1 vaut ax,x+1 = λ(x) qx,x+1 = λ . Il est nul vers tout autre entier y : pour tout y ∈ N {x, x + 1}, ax,y = 0. Enfin, le coefficient ax,x vaut −λ. • Automate binaire. La v.a. Xt est egale a 0 ou 1 selon que la machine soit en etat de panne ou ´ ` ´ de marche a l’instant t. Rappelons que les temps de fonctionnement de cette machine sont des v.a. de loi ` exponentielle de param` tre λ et que les temps de r´ paration sont des v.a. de loi exponentielle de param` tre e e e 38
- 39. −λ λ 0 0 ··· .. 0 −λ λ 0 . λ λ .. A= 0 0 −λ λ . . x−1 x x+1 0 0 0 −λ . . . . .. .. .. .. . . . . . µ, toutes ces v.a. etant ind´ pendantes. D’apr` s la Proposition 2.2.5, le taux de transition de l’´ tat de panne ´ e e e vers l’´ tat de fonctionnement est e a0,1 = λ(0) q0,1 = µ tandis le taux de transition de l’´ tat de fonctionnement vers l’´ tat de panne est e e a1,0 = λ(1) q1,0 = λ . Enfin, les coefficients a0,0 et a1,1 valent respectivement −µ et −λ. µ −µ µ A= 0 1 λ −λ λ 2.2.3 Th´ or` me limite e e Comme dans le cas discret, l’´ tude du comportement asymptotique d’un processus markovien de sauts e passe par l’identification d’une mesure stationnaire sur l’espace d’´ tats E. e D´ finition 2.2.6 Une mesure stationnaire (ou invariante) d’un processus markovien de sauts de matrices e de transition {P (t) }t≥0 est une loi de probabilit´ sur E, disons π = (π(x))x∈E , v´ rifiant pour tout t la e e relation π = πP (t) . Rappelons que la loi µt de la v.a. Xt v´ rifie µt = µ0 P (t) . D` s lors, la relation π = πP (t) s’interpr` te e e e comme suit : si la v.a. initiale X0 a pour loi la mesure stationnaire π alors, pour tout temps t, la loi de Xt est encore π. La relation matricielle π = πP (t) est equivalente au syst` me lin´ aire ´ e e ∀y ∈ E, π(x)p(t) = π(y) x,y x∈E (de taille egale au cardinal de E). ´ Les matrices de transition {P (t) }t≥0 etant en g´ n´ ral difficiles a d´ terminer, nous privil´ gierons la ca- ´ e e ` e e ract´ risation des mesures stationnaires en termes de g´ n´ rateur. e e e 39
- 40. Proposition 2.2.7 Uneloi de probabilit´ π sur E est une mesure stationnaire d’un processus markovien e de sauts de g´ n´ rateur A si et seulement si πA = 0, ce qui s’´ crit : e e e ∀y ∈ E, π(x)ax,y = 0 . (2.7) x∈E E XEMPLES : • Processus de Poisson. Pour tout entier x, le taux de transition ax,y vaut λ si et seulement y = x + 1. Il est nul vers tout autre entier y. Les equations de stationnarit´ (2.7) donnent, pour tout x ∈ N, ´ e π(x)ax,x + π(x + 1)ax,x+1 = 0 , ou encore π(x) = π(x + 1) (car ax,x+1 = −ax,x = λ). Ces equations ne peuvent aboutir a une loi de ´ ` probabilit´ sur N. Le processus de Poisson en tant que processus markovien de sauts n’admet donc pas de e mesure stationnaire. C’est relativement intuitif ; il ne peut pas exister d’´ quilibre en loi pour un processus e qui tend p.s. vers l’infini. • Automate binaire. Avec le g´ n´ rateur e e −µ µ A= , λ −λ les equations de stationnarit´ donnent µπ(0) = λπ(1). Puisque π(0) + π(1) = 1, on trouve comme unique ´ e mesure stationnaire λ µ π= , . λ+µ λ+µ D´ finition 2.2.8 Une mesure r´ versible d’un processus markovien de sauts de g´ n´ rateur A est une loi de e e e e probabilit´ sur E, disons π = (π(x))x∈E , v´ rifiant e e ∀x, y ∈ E, π(x)ax,y = π(y)ay,x . (2.8) Proposition 2.2.9 Toute mesure r´ versible pour un processus est stationnaire pour ce processus. e D´ monstration Soient y ∈ E et π = (π(x))x∈E une mesure r´ versible pour un processus markovien de e e sauts de g´ n´ rateur A. D` s lors, e e e π(x)ax,y = π(y)ay,x x∈E x∈E = π(y) ay,x x∈E = 0 car la somme des coefficients d’une mˆ me ligne du g´ n´ rateur A est nulle. On conclut quant a la station- e e e ` narit´ de π par la Proposition 2.2.7. e En pratique (et notamment pour les projets), pour obtenir une mesure stationnaire, il est recommand´ de e commencer par chercher une mesure r´ versible, plus facile a identifier quand elle existe. D’ailleurs, la e ` mesure stationnaire λ µ π= , λ+µ λ+µ 40
- 41. de l’automate binaireest egalement r´ versible. En effet, elle satisfait l’´ quation ´ e e π(0)a0,1 = π(1)a1,0 . D´ finition 2.2.10 Un processus markovien de sauts de g´ n´ rateur A est dit irr´ ductible sur E si pour tous e e e e etats x, y ∈ E distincts il existe des etats x1 , . . . , xn ∈ E tous diff´ rents tels que : ´ ´ e ax,x1 ax1 ,x2 . . . axn−1 ,xn axn ,y > 0 . Comme dans le cas discret, etre irr´ ductible signifie que l’on peut passer (en plusieurs etapes si n´ cessaire) ˆ e ´ e de n’importe quel etat x a n’importe quel etat y avec une probabilit´ strictement positive. Le processus ´ ` ´ e markovien de sauts correspondant a l’automate binaire est irr´ ductible. Ce n’est pas le cas du processus de ` e Poisson. Nous admettons le th´ or` me limite suivant. e e Th´ or` me 2.2.11 Consid´ rons un processus markovien de sauts {Xt }t≥0 de matrices de transition {P (t) }t≥0 , e e e irr´ ductible sur E et admettant une mesure stationnaire π. Alors : e (1) π est l’unique mesure stationnaire du processus {Xt }t≥0 ; (2) la matrice P (t) converge quand t tend vers l’infini vers une matrice dont toutes les lignes sont egales ´ aπ: ` ∀x, y ∈ E, lim p(t) = π(y) ; x,y t→+∞ (3) quelle que soit la loi de X0 , la loi de Xt converge quand t tend vers l’infini vers π : ∀x ∈ E, lim IP(Xt = x) = π(x) ; t→+∞ Le comportement asymptotique d’un processus markovien de sauts irr´ ductible est donc d´ crit par l’unique e e mesure stationnaire quand elle existe. Dans ce cas, le Th´ or` me 2.2.11 exprime qu’au bout d’un certain e e temps, le syst` me se stabilise dans un r´ gime d’´ quilibre appel´ r´ gime stationnaire. Une fois ce r´ gime e e e e e e atteint, la probabilit´ d’ˆ tre dans l’´ tat x est donn´ e par π(x). e e e e Remarquons enfin que la notion de p´ riodicit´ n’a pas de sens en temps continu, ce qui simplifie d’autant la e e discussion. Par contre, celles de r´ currence et de transience sont conserv´ es : ce sont toujours des propri´ t´ s e e ee de classes irr´ ductibles. e 2.3 Application aux mod` les de files d’attente e 2.3.1 Pr´ sentation g´ n´ rale e e e La salle de r´ servation dans une grande gare SNCF donne une bonne repr´ sentation d’une file d’attente. e e Elle comprend un certain nombre de guichets et des clients qui sont, soit en train d’ˆ tre servis, soit en e attente. La salle de r´ servation forme le syst` me. Elle peut etre de capacit´ totale finie ou infinie. Les e e ˆ e clients arrivent de mani` re al´ atoire selon un flot r´ gulier. Les temps de services sont egalement al´ atoires. e e e ´ e L’objectif est de savoir si la longueur de la file d’attente admet un comportement stationnaire et dans ce cas de calculer sa loi. Cela permet d’optimiser le nombre de guichets n´ cessaires pour satisfaire les clients. e Une file d’attente est d´ crite par plusieurs el´ ments : e ´e 41
- 42. 1. Les instantsd’arriv´ e des clients sont en g´ n´ ral al´ atoires. Certaines hypoth` ses sont faites sur leurs e e e e e lois. Tout d’abord, il n’arrive qu’un client a la fois. La deuxi` me hypoth` se est l’homog´ n´ it´ dans ` e e e e e le temps. Cela se traduit par le fait que les temps d’interarriv´ e des clients sont des v.a. de mˆ me loi. e e Ils sont egalement suppos´ s ind´ pendants. Cette hypoth` se simplifie notablement l’´ tude mais elle ´ e e e e est moins claire a justifier en pratique. Enfin, la loi des temps d’interarriv´ e est suppos´ e connue. ` e e Le cas le plus courant est celui o` cette loi est exponentielle. Dans ce cas, le mod` le des temps u e e ´ d’arriv´ e des clients est un processus de Poisson. Evidemment d’autres cas peuvent se pr´ senter : e temps d’interarriv´ s constants, de loi uniforme, lognormale ou encore gamma. e 2. Les dur´ es de service sont suppos´ es etre des v.a. ind´ pendantes, de mˆ me loi et ind´ pendante du e e ˆ e e e processus des arriv´ es. e 3. Le nombre de guichets ou serveurs est evidemment un param` tre important du mod` le. ´ e e 4. La longueur maximum de la file d’attente est egalement un param` tre du mod` le. Il est raisonnable ´ e e de supposer dans certains cas que la file d’attente puisse etre aussi longue que l’on veut. Cependant ˆ dans d’autres cas, la longueur est limit´ e et lorsque cette limite est atteinte, un client arrivant ne peut e entrer dans la file d’attente. Il repart. 5. Le plus souvent les clients sont servis dans leur ordre d’arriv´ e. Cette discipline de service est appel´ e e e FIFO (First In First Out). Mais d’autres disciplines pourraient etre utilis´ es comme par exemple, ˆ e servir en priorit´ certains types de clients, ceux demandant un service de courte dur´ e. e e Pour r´ sumer les caract´ ristiques d’une file d’attente on utilise classiquement la notation de Kendall : e e loi d’interarriv´ e / loi de service / nombre de serveurs / longueur maximum de la file e Les lois d’interarriv´ es et les lois de services sont not´ es symboliquement M pour une loi exponentielle e e (M pour Markov, on verra pourquoi plus tard), D pour une loi d´ terministe (v.a. constante), U pour une loi e uniforme, G pour une loi quelconque (G pour g´ n´ rale). Par exemple, une file M/M/s/∞ signifie que le e e flot d’arriv´ e des clients est poissonnien, la loi des services est exponentielle, il y a s serveurs et la capacit´ e e de la salle d’attente est illimit´ e. Lorsqu’on ne sp´ cifie pas le dernier param` tre celui-ci est infini. Sauf avis e e e contraire la discipline de service est FIFO. Dans la suite, nous n’´ tudierons que le mod` le de file d’attente M/M/1. e e ´ 2.3.2 Etude du cas M/M/1 Consid´ rons un guichet ou un serveur. Les arriv´ es des clients a ce guichet suivent un processus de e e ` Poisson d’intensit´ λ. Le temps de service pour chaque client est une v.a. de loi exponentielle de param` tre e e µ. Toutes les v.a. qui interviennent sont suppos´ es ind´ pendantes. Les clients se mettent en file d’attente et e e sont servis selon leur ordre d’arriv´ e (discipline FIFO). La capacit´ de la file d’attente est illimit´ e. e e e Consid´ rons le processus {Xt }t≥0 repr´ sentant le nombre de clients en attente (y compris le client en train e e d’ˆ tre servi) au temps t. C’est un processus de sauts a valeurs dans N. Quand un client arrive, le processus e ` saute de +1 et quand un client s’en va a la fin de son service, le processus saute de −1. ` D´ crivons plus pr´ cis´ ment cette dynamique. Lorsque le processus saute en x > 0, il y reste un temps e e e al´ atoire qui vaut min(Y1 , Y2 ) o` Y1 est le temps avant l’arriv´ e du prochain client et Y2 est le temps avant e u e la fin du service en cours. Ces deux v.a. sont ind´ pendantes de loi exponentielle de param` tres respectifs e e λ et µ (d’apr` s la propri´ t´ de perte de m´ moire de la loi exponentielle : Proposition 2.1.1). D’apr` s e ee e e la Proposition 2.1.2, le temps de s´ jour dans l’´ tat x, i.e. la v.a. min(Y1 , Y2 ), suit la loi exponentielle de e e param` tre λ+µ. Le saut suivant est de +1 si min(Y1 , Y2 ) = Y1 ce qui se produit avec probabilit´ λ/(λ+µ). e e Il est de −1 si min(Y1 , Y2 ) = Y2 ce qui se produit avec probabilit´ µ/(λ + µ). Le fait que Y1 et Y2 soient e 42
- 43. p.s. diff´ rentssignifie que deux clients ne peuvent entrer et sortir au mˆ me instant. e e Le cas x = 0 (il n’y a plus personne dans la file d’attente) est un peu diff´ rent. Une fois en 0, le processus e y reste un temps al´ atoire Y1 qui est le temps avant l’arriv´ e du prochain client. C’est une v.a. de loi e e exponentielle de param` tre λ. Le saut a l’issu de ce temps est n´ cessairement de +1. e ` e En r´ sum´ , la description de la dynamique du processus {Xt }t≥0 est celle d’un processus markovien de e e sauts : – le temps de s´ jour en l’´ tat x suit la loi exponentielle de param` tre λ(x) = λ + µ si x ≥ 1 et e e e λ(0) = λ ; – les coefficients de la matrice Q = (qx,y )x,y∈E v´ rifient e λ λ+µ si y = x + 1 µ qx,y = λ+µ si y = x − 1 0 sinon lorsque x ≥ 1, et q0,1 = 1 lorsque x = 0. Enfin, le g´ n´ rateur de Markov du processus se calcule au moyen de la Proposition 2.2.5. e e Proposition 2.3.1 Le processus stochastique {Xt }t≥0 repr´ sentant le nombre de clients dans la file d’at- e tente M/M/1 est un processus markovien de sauts a espace d’´ tats N et de g´ n´ rateur de Markov ` e e e −λ λ 0 ··· 0 0 .. µ −(λ + µ) λ 0 0 . .. A= 0 µ −(λ + µ) λ 0 . . .. 0 0 µ −(λ + µ) λ . . . .. .. .. .. .. . . . . . . Voici le graphe de transition de la file d’attente M/M/1 : λ λ λ 0 x−1 x x+1 µ µ µ Le processus markovien de sauts {Xt }t≥0 repr´ sentant le nombre de clients dans la file d’attente M/M/1 e est irr´ ductible. D’apr` s le Th´ or` me 2.2.11, s’il admet une mesure stationnaire alors celle-ci est unique. e e e e Le plus simple est de chercher une mesure r´ versible. Les equations de r´ versibilit´ (2.8) donnent, pour e ´ e e tout entier x ∈ N π(x)λ = π(x + 1)µ , ce qui, apr` s un petit raisonnement par r´ currence, aboutit a e e ` x λ ∀x ∈ N, π(x) = π(0) . µ 43
- 44. Il existe doncune mesure r´ versible si et seulement si la s´ rie de terme g´ n´ ral π(x) est convergente, i.e. e e e e si λ < µ. Cette mesure r´ versible s’´ crit alors : e e x λ λ ∀x ∈ N, π(x) = 1− µ µ (π(0) est choisi afin de satisfaire la condition π(x) = 1). Proposition 2.3.2 Le processus stochastique {Xt }t≥0 repr´ sentant le nombre de clients dans la file d’at- e tente M/M/1 admet une mesure stationnaire si et seulement si le param` tre λ du processus de Poisson e des arriv´ es est strictement inf´ rieur au param` tre µ de la loi exponentielle des services. Dans ce cas, elle e e e est unique, c’est la loi g´ om´ trique sur N de param` tre λ/µ, et apparait comme limite lorsque t tend vers e e e l’infini de la loi du nombre de clients dans la file au temps t : x λ λ ∀x ∈ N, lim IP(Xt = x) = 1− . t→+∞ µ µ Ce r´ sultat est tout a fait intuitif. En effet, les param` tres λ et µ repr´ sentent respectivement le nombre e ` e e moyen d’arriv´ e de clients par unit´ de temps et µ le nombre moyen de clients servis par unit´ de temps. e e e Ainsi, la file d’attente se stabilise s’il n’arrive pas trop de clients pour saturer l’offre de service, i.e. si λ est plus petit que µ. En r´ gime stationnaire (lorsque λ < µ), la longueur de la file d’attente a pour moyenne et e variance : λ λ µ µ λ et 2 . 1− µ 1− λ µ Pour compl´ ter ces r´ sultats, signalons que lorsque λ > µ, la longueur de la file d’attente tend p.s. vers e e l’infini. Int´ ressons-nous enfin au temps total R pass´ dans le syst` me par un client donn´ . Supposons qu’` son e e e e a arriv´ e dans la file d’attente, il y a n clients. Le temps total qu’il passera dans le syst` me correspond donc : e e – a la fin du service du client au guichet lors de son arriv´ e : c’est une exponentielle de paramˆ tre µ ` e e d’apr` s la propri´ t´ de perte de m´ moire ; e ee e – au n − 1 services des clients pr´ sents devant lui dans la file et non encore servis : ce sont des expo- e nentielles de paramˆ tre µ ; e – a son propre temps de service : encore une exponentielle de paramˆ tre µ. ` e Toutes ces v.a. etant ind´ pendantes, ce temps total suit donc une loi Gamma de paramˆ tres n + 1 et µ. ´ e e Autrement dit, t xn IP(R ≤ t | N = n) = µn+1 e−µx dx , (2.9) 0 n! o` N d´ signe le nombre de clients dans la file d’attente a l’arriv´ e du client. En r´ gime stationnaire, N suit u e ` e e la loi g´ om´ trique de param` tre λ/µ (Proposition 2.3.2). La loi du temps total R pass´ dans le syst` me ne e e e e e d´ pend plus du client choisi. Il est appel´ temps de r´ ponse du syst` me. e e e e Proposition 2.3.3 Consid´ rons la file d’attente M/M/1 dans le cas λ < µ. En r´ gime stationnaire, le e e temps de r´ ponse R est distribu´ selon la loi exponentielle de paramˆ tre µ − λ. e e e 44
- 45. D´ monstration Soitt ≥ 0. D’apr` s (2.9), e e ∞ IP(R ≤ t) = IP(N = n) IP(R ≤ t | N = n) n=0 ∞ n t λ λ xn −µx = 1− µn+1 e dx µ µ 0 n! n=0 t ∞ λn xn = (µ − λ)e−µx dx 0 n! n=0 t = (µ − λ)e−(µ−λ)x dx 0 = 1 − e−(µ−λ)t . On reconnait la fonction de r´ partition de la loi exponentielle de param` tre µ − λ. Puisque les fonctions de e e r´ partition caract´ risent les lois, le r´ sultat est d´ montr´ . e e e e e 45
- 46. 2.4 Exercices Exercice 1: Bit informatique poissonnien Consid´ rons un processus de Poisson {Nt }t≥0 d’intensit´ λ et une v.a. X0 , ind´ pendante du processus e e e {Nt }t≥0 , valant −1 ou 1 avec probabilit´ 1/2. Soit {Xt }t≥0 le processus a valeurs dans {−1, 1}, changeant e ` de signe a chaque saut du processus {Nt }t≥0 et issu de X0 . ` 1. Apr` s avoir donn´ une expression de Xt en fonction de Nt et de X0 , d´ terminer son esp´ rance et e e e e sa variance. 2. Calculer la probabilit´ pour que la valeur du bit au temps t0 soit la mˆ me qu’initialement. Puis la e e limite de cette probabilit´ quand t0 → +∞. Comparer avec le bit informatique a temps discret. On pourra e ` utiliser la formule ∞ z 2k 1 z = e + e−z . (2k)! 2 k=0 Exercice 2 : Temps d’attente de voyageurs Supposons que des voyageurs en partance pour Londres arrivent a la gare Lille Europe selon un processus ` de Poisson d’intensit´ λ. Le d´ part de leur train est pr´ vu au temps t0 (nous conviendrons que la gare ouvre e e e ses portes au temps t = 0). 1. Calculer le nombre moyen de voyageurs prenant ce train. 2. Calculer la moyenne de la somme des temps d’attente de ces voyageurs. Exercice 3 : Loi binomiale et processus de Poisson Comme il fait beau ce matin, je prends mon petit-d´ jeuner dans le jardin. Des merles et des moineaux e viennent chiper des miettes de pain que j’´ parpille volontairement sur la table. Les passages des merles et e des moineaux peuvent etre mod´ lis´ s par deux processus de Poisson ind´ pendants d’intensit´ s respectives ˆ e e e e λ et λ′ . 1. Calculer la probabilit´ pour que le premier oiseau venant sur la table soit un merle. e 2. Calculer la probabilit´ pour que les deux premiers oiseaux venant sur la table soient des merles. e 3. Quelle est la loi du nombre d’oiseaux venant sur la table jusqu’au temps t ? Sachant que ce nombre vaut n, quelle est la loi du nombre de merles venant sur la table jusqu’au temps t ? Exercice 4 : Radioactivit´ e Une source radioactive emet des particules selon un processus de Poisson d’intensit´ λ. Chaque particule ´ e est emise suivant une direction al´ atoire, de loi uniforme sur [0; 2π], et ind´ pendante des autres particules. ´ e e Un compteur Geiger, plac´ pr` s de la source, enregistre les particules emises de direction comprise entre e e ´ −π/4 et π/4. Quelle est la loi du nombre de particules enregistr´ es jusqu’au temps t ? e Exercice 5 (Examen 2009) : Une fois la nuit tomb´ e, Pierre et Paul se retrouvent a l’observatoire afin de contempler des etoiles filantes. e ` ´ Le passage des etoiles filantes dans le ciel est mod´ lis´ par un processus de Poisson d’intensit´ 0.1 (l’unit´ ´ e e e e de temps etant la minute), not´ {Nt }t≥0 . Soit Xn le temps al´ atoire s´ parant le passage de la (n − 1) ´ ´ e e e e etoile filante du passage de la ne. 46
- 47. 1. Quelle estla probabilit´ pour Pierre et Paul de ne voir aucune etoile filante durant la premi` re heure e ´ e d’observation ? Quel est le nombre moyen d’´ toiles filantes qu’ils devraient voir durant cette premi` re e e heure d’observation ? Et pendant la seconde heure d’observation ? 2. Paul est de nature impatiente (seulement pour cette question) : s’il ne voit aucune etoile filante ´ durant 20 minutes (cons´ cutives) alors il s’en va ! Quelle est la probabilit´ qu’il en voit exactement 3 ? e e Plus g´ n´ ralement, quelle est la loi du nombre d’´ toiles filantes que Paul verra ? En d´ duire le nombre e e e e moyen d’´ toiles filantes que l’impatient Paul verra. e 3. On suppose enfin que Paul est arriv´ en retard au rendez-vous (disons au temps t0 > 0 alors que e Pierre est arriv´ au temps t = 0). e (a) Sachant qu’aucune etoile filante n’est pass´ e avant l’arriv´ e de Paul, quelle est la loi du temps ´ e e qu’il devra patienter pour en observer une ? (b) Supposons dans cette question que t0 = 20. Sachant qu’une seule etoile filante est pass´ e avant ´ e l’arriv´ e de Paul, quelle aurait et´ la probabilit´ pour Paul de la voir s’il etait arriv´ 5 minutes plus tˆ t ? e ´e e ´ e o Exercice 6 : Loi g´ om´ trique et processus de Poisson e e Je souhaite traverser une route a grande circulation dont le flux de v´ hicules peut etre mod´ lis´ par un ` e ˆ e e processus de Poisson d’intensit´ λ = 1 (l’unit´ etant la minute). Depuis l’ablation de mes deux jambes, il e e´ me faut tout de mˆ me 3 minutes pour traverser une telle route. Avant de me lancer, je pr´ f` re r´ fl´ chir un e ee e e peu. . . 1. Quelle est la loi du nombre de v´ hicules que je dois laisser passer avant de pouvoir traverser ? e 2. Quel est le temps moyen d’attente avant de traverser ? Exercice 7 (Examen 2010) : Probl` mes de simulations e Pr´ cisons que les g´ n´ rateurs mentionnn´ s ci-dessous g´ n` rent des v.a. ind´ pendantes entre elles, mais e e e e e e e aussi de tout le reste ! 1. Comment simuler une loi exponentielle de param` tre 2 lorsqu’on dispose uniquement d’un g´ n´ rateur e e e de loi exponentielle de param` tre 1 ? e 2. Comment simuler un processus de Poisson d’intensit´ 1 sur l’intervalle [0; 100] sans utiliser de lois e exponentielles (quel que soit le param` tre) ? e ` e 1 3. A partir de la simulation pr´ c´ dente et d’un g´ n´ rateur de loi de Bernoulli de parm` tre 2 , comment e e e e e 1 simuler un processus de Poisson d’intensit´ 2 sur l’intervalle [0; 100] ? Exercice 8 : Deux automates binaires d´ pendants e Consid´ rons un syst` me a deux composants identiques tel que, en cas de panne de l’un des deux compo- e e ` sants, l’autre puisse aussi tomber en panne. Les hypoth` ses de mod´ lisation sont les suivantes. e e • Le temps de fonctionnement de chaque composant suit la loi E(λ). • Le temps de r´ paration d’un composant seul (pendant le fonctionnement de l’autre) suit la loi E(µ). e • Le temps de r´ paration des deux composants simultan´ ment suit la loi E(ν). e e • En cas de panne d’un des composants, l’autre continue a fonctionner avec probabilit´ c. ` e • Toutes les v.a. du mod` le sont ind´ pendantes. e e Soit Zt l’´ tat du syst` me au temps t : Zt ∈ E = {00, 10, 01, 11} o` , par exemple, l’´ tat 01 signifie que le e e u e premier composant est en panne tandis que le second est en fonctionnement. 1. Nous admettons que {Zt }t≥0 est un processus markovien de sauts sur E. Pr´ ciser cependant la e 47
- 48. suite (λ(x))x∈E etla matrice (qx,y )x,y∈E le d´ finissant. D´ terminer son g´ n´ rateur de Markov et dessiner e e e e son graphe de transition. 2. O` dans ce mod` le apparait la d´ pendance entre les deux composants ? u e e 3. Nous supposons d´ sormais que le temps moyen de fonctionnement d’un composant est 1 jour, le e temps moyen de r´ paration d’un composant seul est 6 heures et celui des deux composants simultan´ ment e e est 8 heures. (a) Comment traduire ces hypoth` ses sur les param` tres λ, µ et ν (avec le jour comme unit´ ) ? e e e (b) D´ terminer la mesure stationnaire du processus {Zt }t≥0 . Est-elle r´ versible ? e e (c) Supposons que le syst` me global fonctionne d` s qu’au moins un des deux composants fonc- e e tionne. Quelle condition sur le param` tre c assure le fonctionnement du syst` me dans 90% du temps ? e e ´ Exercice 9 : Etude de la file M/M/2 Soit {Xt }t≥0 le processus stochastique repr´ sentant le nombre de clients dans la file d’attente M/M/2 e pour laquelle λ est l’intensit´ du processus de Poisson r´ gissant l’arriv´ e des clients et µ est le param` tre e e e e de la loi exponentielle mod´ lisant les dur´ es de service. Rappelons que toutes les v.a. intervenant dans ce e e mod` le sont ind´ pendantes, y compris les dur´ es de service des 2 guichets. e e e ´ 1. Etude du comportement asymptotique. (a) D´ terminer les taux de transition du processus markovien de sauts {Xt }t≥0 . Repr´ senter son e e graphe de transition. (b) D´ terminer le comportement asymptotique du processus {Xt }t≥0 . e 2. Longueur moyenne de la file d’attente en r´ gime stationnaire. e (a) Calculer en r´ gime stationnaire le nombre moyen de clients dans la file d’attente. Rappelons a e ` cet effet que : 1 nr n−1 = d` s que 0 < r < 1 . e (1 − r)2 n≥1 (b) Comparer cette esp´ rance au nombre moyen de clients dans la file M/M/1 pour laquelle l’intensit´ e e du processus de Poisson des arriv´ es est encore λ et le param` tre de la loi exponentielle des dur´ es de e e e service est cette fois 2µ. Comment expliquez-vous cette diff´ rence ? e 48
- 49. Annexe : quelquesformules Voici quelques formules ultra classique du calcul des probabilit´ s dont vous ne pourrez pas vous passer e durant ce cours. On se donne un tripl´ (Ω, F, IP) o` : e u – Ω est un ensemble ; – F est une tribu sur Ω, i.e. une tr` s grande famille de sous-ensembles de Ω ; e – IP est une mesure de probabilit´ sur Ω : les seuls sous-ensembles de Ω pouvant etre mesur´ s par IP e ˆ e sont ceux de la tribu F. Dans la suite, A, B et (An )n∈N sont dans la tribu F. [A1] On a toujours IP An ≤ IP(An ) n∈N n∈N avec egalit´ si et seulement si les ev´ nements An , n ∈ N, sont deux a deux disjoints. ´ e ´ e ` [A2] Supposons que la famille (An )n∈N forme une partition de Ω, i.e. les An , n ∈ N, sont deux a deux ` disjoints et leur union remplit tout Ω. Alors ; IP(B) = IP(B ∩ An ) = IP(B | An ) IP(An ) . n∈N n∈N [A3] Les ev´ nements A et B sont ind´ pendants si et seulement si IP(A ∩ B) = IP(A) IP(B), ce qui s’´ crit ´ e e e encore IP(A | B) = IP(A) d` s que IP(B) > 0. e [A4] Si la suite (An )n∈N est croissante, i.e. An ⊂ An+1 , alors IP An = lim IP(An ) . n→∞ n∈N [A5] Si la suite (An )n∈N est d´ croissante, i.e. An ⊃ An+1 , alors e IP An = lim IP(An ) . n→∞ n∈N [A6] La probabilit´ d’un ev´ nement est egale a l’esp´ rance de son indicatrice : e ´ e ´ ` e IP(A) = IE [1 A ] . 1 49