P OLYTECH ’L ILLE                                   GIS 4P ROCESSUS S TOCHASTIQUES
Table des mati` res              eIntroduction                                                                            ...
Introduction   On peut d´ finir un processus stochastique comme etant une famille {Xt }t∈T de variables al´ atoires        ...
egalement ajouter comme condition que le joueur s’arrˆ te de jouer si sa fortune atteint un certain seuil´                ...
sens : si le nombre moyen IE[Y0,1 ] de fils de chaque individu est elev´ , la population devrait rapidement                ...
Les exemples d´ crits p´ c´ demment sont markoviens. La fortune du joueur a l’issue de la (n + 1)e partie ne              ...
ExercicesExercice 1 : D´ nombrement de trajectoires d’une marche al´ atoire              e                                ...
Chapitre 1Chaˆnes de Markov   ı     Un mod` le d’´ volution dynamique en temps discret dans lequel on fait d´ pendre l’´ v...
D´ finition 1.1.2 Soit (Xn )n∈N une chaˆne de Markov homog` ne a espace d’´ tats E. Soient i, j ∈ E deux  e                ...
Enfin, le caract` re homog` ne de la chaˆne (Xn )0≤n≤N r´ sulte du calcul :               e         e             ı        ...
p                     p                                      i−1                     i                    i+1             ...
a d´ montrer par r´ currence sur n ∈ N et appliqu´ e aux ev´ nements Ak = {Xk = ik }. Il ne reste plus qu’`` e            ...
(2) µn+1 = µn P .   (3) µn = µ0 P n , ce qui signifie que IP(Xn = j) est le j e el´ ment du vecteur ligne µ0 P n .         ...
D´ monstration La r´ fl´ xivit´ (i.e. i ↔ i) est imm´ diate : pour n = 0, IP(X0 = i | X0 = i) = 1. Il en va  e             ...
Autrement dit, un etat est transient si avec probabilit´ strictement positive, on peut le quitter pour ne jamais          ...
Lemme 1.2.5 Pour tout entier n et tous etats i et j,                                       ´                   IP(Ni ≥ n +...
en it´ rant. Par ailleurs, {Ni ≥ 1} = {Ti < +∞}. On en d´ duit que pour tout n, IP(Ni ≥ n|X0 = i) = 1.     e              ...
De la mˆ me mani` re,       e        e                                            (m)     (k) (m−k−l) (l)                 ...
Un etat en lequel on peut rester avec probabilit´ non nulle, i.e. pi,i > 0, est automatiquement ap´ riodique.   ´         ...
et                                             (m+l)      (m) (l)                                            pj,j     ≥ pj...
Consid´ rons enfin une chaˆne de Markov (Xn )n∈N a espace d’´ tats E fini et de matrice de transition P .      e            ...
(2) Quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers     π : pour tout e...
1.3.3 Lorsque l’espace d’´ tats E est infini                         eL’´ tude th´ orique de la convergence en loi d’une ch...
1.4 ExercicesExercice 1 : Transmission d’un bit informatiqueUn bit informatique valant 0 ou 1 est transmis d’un poste A ve...
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Cours stochastic processes
Prochain SlideShare
Chargement dans…5
×

Cours stochastic processes

711 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
711
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
19
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Cours stochastic processes

  1. 1. P OLYTECH ’L ILLE GIS 4P ROCESSUS S TOCHASTIQUES
  2. 2. Table des mati` res eIntroduction 3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Chaˆnes de Markov ı 8 1.1 D´ finitions . . . . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.2 Classification des etats . . . . . . . . . . . ´ . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.1 Classes irr´ ductibles . . . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.2 R´ currence et transience . . . . . . e . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2.3 P´ riodicit´ . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Th´ or` mes limites . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.1 Les mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.3.2 Lorsque l’espace d’´ tats E est fini . e . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.3.3 Lorsque l’espace d’´ tats E est infini e . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 Processus stochastiques markoviens en temps continu 26 2.1 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.1.1 Trois propri´ t´ s de la loi exponentielle . . . . . . . ee . . . . . . . . . . . . . . . . . 26 2.1.2 Pr´ sentation du processus de Poisson . . . . . . . e . . . . . . . . . . . . . . . . . 28 2.1.3 Simulation et mod´ lisation . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 31 2.2 Processus markoviens de sauts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.1 D´ finition et exemples . . . . . . . . . . . . . . . e . . . . . . . . . . . . . . . . . 33 2.2.2 Probabilit´ s de transition et g´ n´ rateur de Markov e e e . . . . . . . . . . . . . . . . . 35 2.2.3 Th´ or` me limite . . . . . . . . . . . . . . . . . . e e . . . . . . . . . . . . . . . . . 39 2.3 Application aux mod` les de files d’attente . . . . . . . . . e . . . . . . . . . . . . . . . . . 41 2.3.1 Pr´ sentation g´ n´ rale . . . . . . . . . . . . . . . . e e e . . . . . . . . . . . . . . . . . 41 ´ 2.3.2 Etude du cas M/M/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Annexe : quelques formules 49 2
  3. 3. Introduction On peut d´ finir un processus stochastique comme etant une famille {Xt }t∈T de variables al´ atoires e ´ eind´ x´ es par le temps t. Les mots processus et stochastique signifient respectivement fonction et al´ atoire. e e eAlors qu’une variable al´ atoire X associe a chaque ω ∈ Ω une r´ alisation X(ω), un processus stochastique e ` e{Xt }t∈T associe a chaque ω une fonction (ou trajectoire) {Xt (ω)}t∈T : ` T → E , t → Xt (ω)o` E est l’espace d’arriv´ e des variables al´ atoires Xt . Passer des variables al´ atoires aux processus sto- u e e echastiques revient a passer en analyse des points aux fonctions. A ` ` titre d’exemple, la trajectoire d’unemouche en fonction du temps peut etre mod´ lis´ e par un processus stochastique a valeurs dans E = R3 . ˆ e e `Lorsque l’ensemble des temps T est au plus d´ nombrable (par exemple T = N), on parle de processus estochastiques a temps discret. Lorsqu’il est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus `stochastiques a temps continu. `Dans tout ce cours, on abr` ge les expressions “variable al´ atoire” en v.a. et “ind´ pendantes et identique- e e ement distribu´ es” en i.i.d. eLes situations r´ elles pouvant etre mod´ lis´ es par des processus stochastiques sont nombreuses. En voici e ˆ e equelques exemples :E XEMPLES : • Probl` me de la ruine du joueur. Consid´ rons une suite de v.a. (Yn )n≥1 i.i.d. dont la loi commune e eest d´ finie par e IP(Y1 = 1) = p et IP(Y1 = −1) = 1 − pet une quantit´ initiale (d´ terministe ou al´ atoire) Y0 ∈ Z ind´ pendante des v.a. Yn . On d´ finit la marche e e e e eal´ atoire simple par e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 ,pour tout n ∈ N. La suite (Xn )n≥1 est un processus stochastique a temps discret T = N (ce sont les `instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n≥1 repr´ sente l’´ volution de la fortune ` e ed’un joueur (jouant a pile ou face, a la roulette...) gagnant un montant fixe (ici 1 euro) avec probabilit´ p et ` ` eperdant le mˆ me montant avec probabilit´ 1 − p. Les parties, dont les r´ sultats sont les Yn , sont suppos´ es e e e eind´ pendantes. La fortune du joueur a l’issue de la n e ` e partie est X . La quantit´ Y repr´ sente la fortune n e 0 einitiale du joueur.Le joueur est ruin´ (et donc arrˆ te de jouer) d` s que la suite (Xn )n≥1 touche l’axe des abscisses. On peut e e e 3
  4. 4. egalement ajouter comme condition que le joueur s’arrˆ te de jouer si sa fortune atteint un certain seuil´ ea > Y0 . Dans ce jeu, on aimerait connaˆtre l’esp´ rance de gain en fonction des param` tres Y0 , a et p, ou ı e eencore la dur´ e moyenne du jeu. e Y0 n F IGURE 1 – Le joueur est ruin´ a l’issue de la 12e partie. e` • Probl` me de l’extinction d’une population. Consid´ rons une suite doublement ind´ x´ e de v.a. e e e e{Yn,m , n ∈ N, m ∈ N∗ } i.i.d. et a valeurs enti` res. La variable Yn,m repr´ sente le nombre de fils du me ` e eindividu dans la ne g´ n´ ration (s’il existe). Posons X0 = 1 ; il y a initialement un seul individu (g´ n´ ration e e e e0). Puis, pour tout n, Xn Xn+1 = Yn,m m=1repr´ sente le nombre d’individu dans la (n+1)e g´ n´ ration. La suite (Xn )n≥1 est un processus stochastique e e ea temps discret T = N (ce sont les g´ n´ rations) et a valeurs dans E = N. Il est connu sous le nom de` e e `processus de branchement ou arbre de Galton-Watson.F IGURE 2 – Sont repr´ sent´ es les quatre premi` res g´ n´ rations d’un arbre de Galton-Watson. Le premier e e e e eindividu a Y0,1 = 3 fils. Ceux-ci auront respectivement Y1,1 = 1, Y1,2 = 4 et Y1,3 = 0 fils. La 2e g´ n´ ration e ecomprend donc 5 individus : X2 = 5.Historiquement, Galton et Watson ont introduit ce mod` le pour etudier la perp´ tuation des lign´ es des e ´ e eLords en Angletrre au 19e si` cle : les individus sont des Lords qui transmettent leur titre uniquement a e `leurs fils. Il s’agit alors d’´ tudier l’´ volution de la population au cours du temps, i.e. la quantit´ Xn quand e e en devient grand. Y aura-t’il extinction de la lign´ e de Lords ? Voici une premi` re r´ ponse pleine de bon e e e 4
  5. 5. sens : si le nombre moyen IE[Y0,1 ] de fils de chaque individu est elev´ , la population devrait rapidement ´ e ı ` l’inverse, si IE[Y0,1 ] est proche de 0, la population devrait s’´ teindre.croˆtre. A e • S´ ries temporelles ou chronologiques. Les s´ ries temporelles peuvent etre mod´ lis´ es par des e e ˆ e eprocessus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dans `un pays donn´ durant un intervalle de temps, le nombre de passagers dans les transports a´ riens ou encore e eles valeurs de clˆ tures journali` res du CAC40. o e 4000 3500 EuStockMarkets[, 3] 3000 2500 2000 1500 1992 1993 1994 1995 1996 1997 1998 Time F IGURE 3 – Valeurs de clˆ tures journali` res du CAC40 de 1991 a 1998. o e `Un des objectifs principaux de l’´ tude d’une s´ rie temporelle est la pr´ vision des r´ alisations futures, tr` s e e e e esouvent pour des raisons economiques (pr´ voir l’´ volution de la demande d’un produit pour ajuster au ´ e emieux les moyens de production, pr´ voir l’´ volution d’un march´ financier...). e e eLes s´ ries temporelles feront l’objet de tout un cours en GIS5. e • Files d’attente. La salle de r´ servation d’une grande gare SNCF donne une bonne repr´ sentation e ed’une file d’attente (queue en anglais). Elle comprend un certain nombre de guichets et des clients qui sontsoit en train d’ˆ tre servis, soit en attente qu’un guichet se lib` re. Le nombre total de ces clients pr´ sents e e edans la salle de r´ servation au temps t est not´ Nt . Le hasard intervient dans les arriv´ es des clients ainsi e e eque dans la dur´ e des services. La suite (Nt )t≥0 est un processus stochastique a temps continu et a valeurs e ` `dans E = N. L’objectif est d’´ tudier l’´ volution de Nt au cours du temps afin d’optimiser le nombre de e eguichets n´ cessaires pour satisfaire en un temps raisonnable les clients. eOn peut egalement mod´ liser par une file d’attente un syst` me informatique dans lequel les nouvelles ´ e etˆ ches se mettent en attente avant d’ˆ tre trait´ es, ou encore un poste de travail dans une usine. a e eLes files d’attentes seront etudi´ es en d´ tails dans ce cours. ´ e eEn GIS3 ou en GIS4, vous avez d´ j` vu des processus stochastiques : n’importe quelle suite de v.a. i.i.d. eaen est un exemple ! L’ind´ pendance entre les variables facilite les calculs et permet d’obtenir sans trop ed’efforts des th´ or` mes limites int´ ressants (Loi des Grands Nombres, Th´ or` me Central Limite...). Mal- e e e e eheureusement, l’ind´ pendance n’est pas un ph´ nom` ne courant dans la nature. Int´ grer de la d´ pendance e e e e eentre les variables permet de mod´ liser plus fid` lement la r´ alit´ . Il y a n´ anmoins un coˆ t a payer ; les e e e e e u `calculs sont plus durs et les th´ or` mes plus chers. e eLes processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine d´ pen- ´ edance entre les variables ; une d´ pendance de type markovienne (ou de Markov). Cela signifie que l’´ volu- e etion future du processus ne d´ pend de son pass´ que par l’interm´ diaire du pr´ sent. Par exemple pour e e e ed´ cider au mieux du 21e coup a jouer dans une partie d’´ checs, il suffit de connaˆtre la configuration du jeu e ` e ıa l’issue du 20e coup, le d´ tail des 19 premiers coups n’ayant alors aucune importance.` e 5
  6. 6. Les exemples d´ crits p´ c´ demment sont markoviens. La fortune du joueur a l’issue de la (n + 1)e partie ne e e e `d´ pend que de sa fortune a l’issue de la n e ` e et du r´ sultat de la (n + 1)e partie, mais pas de l’´ volution totale e ede sa fortune depuis le d´ but du jeu. Pour un processus de Galton-Watson, le nombre d’individus dans la eg´ n´ ration a venir ne d´ pend que du nombre d’individus dans la g´ n´ ration actuelle et du nombre de fils e e ` e e equ’ils auront. Les files d’attente que nous etudierons seront aussi des processus stochastiques markoviens. ´Pour les s´ ries temporelles, vous verrez l’ann´ e prochaine... e e 6
  7. 7. ExercicesExercice 1 : D´ nombrement de trajectoires d’une marche al´ atoire e ePartie 1. Consid´ rons la marche al´ atoire simple (Xn )n∈N a valeurs dans Z, d´ finie par e e ` e X0 = y0 ∈ Z Xn = y0 + Y1 + . . . + Yn , ∀n ≥ 1o` (Yn )n≥1 est une suite de v.a. i.i.d., chacune valant 1 avec probabilit´ p et −1 avec probabilit´ 1 − p, et u e ey0 ∈ Z. 1. Quelles sont les valeurs que peut prendre X100 ? Notons E100 cet ensemble. 2. Soit y ∈ E100 . Combien y-a-t’il de trajectoires v´ rifiant X100 = y ? Pr´ ciser ce nombre lorsque e ey = y0 + 100, y = y0 − 100 et y = y0 . 3. Soit y ∈ E100 . Montrer que toutes les trajectoires v´ rifiant X100 = y ont la mˆ me probabilit´ . e e eQuelle est cette probabilit´ ? e 4. Principe de r´ flexion. Soient x, x′ , y, y ′ des entiers tels que 0 ≤ x ≤ x′ et yy ′ ≥ 0. Justifier eheuristiquement qu’il y a autant de trajectoires de la marche al´ atoire allant de (x, y) a (x′ , y ′ ) en touchant e `l’axe des abscisses, que de trajectoires allant de de (x, −y) a (x′ , y ′ ). `Partie 2. Application au distributeur automatique de boissons.Consid´ rons un distributeur automatique de boissons, chacunes valant 1 euro. Supposons que 60% des eclients d´ sirant acheter une boisson la paie avec une pi` ce de 1 euro, et le reste, avec une pi` ce de 2 euros. e e e `Dans ce dernier cas, le distributeur rend au consommateur sa monnaie, i.e. une pi` ce de 1 euro. A condition equ’il en ait... Il s’agit donc pour l’appariteur de pr´ voir dans le distributeur, en d´ but de journ´ e, un stock e e esuffisant de pi` ces de 1 euro. Mais pas trop pour ne pas bloquer inutilement de la tr´ sorerie ! e e 5. Mod´ liser par une marche al´ atoire l’´ volution au cours du temps du stock du distributeur. e e e 6. Supposons que dans une journ´ e donn´ e, 100 clients se pr´ sentent et que exactement 60 d’entre e e eeux paient avec une pi` ce de 1 euro. Quel stock initial permet d’assurer (disons a 95%) que chaque client e `r´ cup` re sa monnaie ? e e 7
  8. 8. Chapitre 1Chaˆnes de Markov ı Un mod` le d’´ volution dynamique en temps discret dans lequel on fait d´ pendre l’´ volution future de e e e el’´ tat pr´ sent et du hasard est une chaˆne de Markov. C’est un processus stochastique a temps discret. On e e ı `en rencontre dans de nombreux domaines d’applications...1.1 D´ finitions eD´ finition 1.1.1 Soit (Xn )n∈N une suite de v.a. a valeurs dans un espace E fini ou d´ nombrable, appel´ e ` e eespace d’´ tats. On dit que (Xn )n∈N est une chaˆne de Markov si e ı IP(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = IP(Xn+1 = j | Xn = i) ,pour tout entier n ∈ N, pour tout etat j et pour toute suite d’´ tats i0 , i1 , . . . , in−1 , i pour lesquels la ´ eprobabilit´ conditionnelle a un sens, i.e. e IP(Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 .Si de plus la quantit´ IP(Xn+1 = j | Xn = i) ne d´ pend pas de n, i.e. e e IP(Xn+1 = j | Xn = i) = IP(X1 = j | X0 = i)alors la chaˆne de Markov (Xn )n∈N est dite homog` ne. ı eIl faut comprendre une chaˆne de Markov (Xn )n∈N comme une promenade dans l’espace d’´ tats E, la ı evariable Xn indiquant l’´ tat dans lequel on est a l’instant n. La v.a. X0 repr´ sente l’´ tat initial duquel e ` e ed´ marre la chaˆne. Selon le contexte, X0 pourra etre al´ atoire ou d´ terministe. e ı ˆ e eLa propri´ t´ de Markov signifie que, connaissant le dernier etat visit´ (disons a l’instant n), la loi du ee ´ e `prochain etat visit´ (i.e. la loi de Xn+1 ) ne d´ pend pas des etats visit´ s depuis l’instant 0 jusqu’` l’instant ´ e e ´ e an − 1. Plus prosa¨quement, on dit que ı conditionnellement au pr´ sent, le futur ne d´ pend pas du pass´ . e e eMais il d´ pend du pr´ sent : Xn et Xn+1 n’ont aucune raison d’ˆ tre ind´ pendantes ! e e e eLa propri´ t´ d’homog´ n´ it´ d’une chaˆne de Markov exprime quant a elle que la probabilit´ d’aller de i en ee e e e ı ` ej reste la mˆ me au cours du temps. Elle permet de regrouper en une seule matrice (ind´ pendante de n) les e eprobabilit´ s de transition entre deux etats quelconques. e ´ 8
  9. 9. D´ finition 1.1.2 Soit (Xn )n∈N une chaˆne de Markov homog` ne a espace d’´ tats E. Soient i, j ∈ E deux e ı e ` eetats. La probabilit´´ e pi,j := IP(X1 = j | X0 = i)est appel´ e probabilit´ de transition de i a j. La matrice P := (pi,j )i,j∈E est appel´ e matrice de transition e e ` ede la chaˆne. ıLorsque l’espace d’´ tats E est fini, la matrice P est carr´ e de taille Card(E). Lorsqu’il est infini, elle e eadmet un nombre infini de lignes et de colonnes. Les coefficients de la matrice P sont positifs ou nuls.Leur somme sur une mˆ me ligne vaut 1 : pour tout i ∈ E, e   pi,j = IP(X1 = j | X0 = i) = IP  {X1 = j} X0 = i = 1 . j∈E j∈E j∈EComme nous le verrons dans les exemples suivants, il arrive fr´ quemment dans les applications que pour eun etat i donn´ , le nombre d’´ tats j directement accessibles depuis i (i.e. tel que pi,j > 0) soit faible. La ´ e ematrice de transition est alors tr` s creuse ; elle contient beaucoup de 0. Il est souvent plus economique (et e ´plus pertinent) de r´ sumer les probabilit´ s de transition dans le diagramme de transition. C’est un graphe e eorient´ et pond´ r´ dont l’ensemble des sommets est E. Une arˆ te de poids pi,j va de i a j si pi,j > 0. e ee e `E XEMPLES : • Transmission d’un bit informatique. Un bit informatique valant 0 ou 1 est transmis d’un poste Avers un poste B en passant par N interm´ diaires. Chacun de ces interm´ diaires transmet correctement le bit e eavec probabilit´ p et l’inverse avec probabilit´ 1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) e e e ed’entr´ e, disons X0 , est suppos´ ind´ pendent des interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit e e e esortant du ne interm´ diaire. e 1 n N A B Xn−1 XnLa suite de v.a. (Xn )0≤n≤N est a valeurs dans l’espace d’´ tats E = {0, 1}. V´ rifions que c’est une chaˆne ` e e ıde Markov. Consid´ rons pour ce faire, une suite i0 , . . . , in , in+1 d’´ l´ ments de {0, 1}. e ee IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 )IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) IP(Xn+1 − Xn = in+1 − in et Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) = IP(Xn+1 − Xn = in+1 − in ) ,du fait de l’ind´ pendance entre la v.a. Xn+1 − Xn (qui repr´ sente l’action du (n + 1)e interm´ diaire) et e e el’´ tat du bit a la sortie des n premiers interm´ diaires. Pour la mˆ me raison ; e ` e e IP(Xn+1 − Xn = in+1 − in ) IP(Xn = in ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in ) = IP(Xn+1 = in+1 | Xn = in ) . 9
  10. 10. Enfin, le caract` re homog` ne de la chaˆne (Xn )0≤n≤N r´ sulte du calcul : e e ı e p si i = j IP(Xn+1 = j | Xn = i) = IP(Xn+1 − Xn = j − i) = . 1−p sinon.Voici la matrice et le graphe de transition de cette chaˆne : ı 1−p p 1−p P = p 0 1 p 1−p p 1−p • La marche al´ atoire simple. Soient (Yn )n≥1 une suite de v.a. i.i.d., chacune valant 1 avec proba- ebilit´ p et −1 avec probabilit´ 1 − p. Soit Y0 ∈ Z une v.a. ind´ pendante des Yn , repr´ sentant le point de e e e ed´ part sur l’axe Z de la chaˆne. On d´ finit la marche al´ atoire simple par e ı e e Xn+1 = Xn + Yn+1 = Y0 + Y1 + . . . + Yn + Yn+1 ,pour tout n ∈ N. Le processus stochastique (Xn )n≥1 est une chaˆne de Markov homog` ne. Son espace ı ed’´ tats E = Z est cette fois infini. Comme dans l’exemple du bit informatique, le caract` re markovien e eprovient de l’ind´ pendance des Yn : e IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 ) IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) IP(Yn+1 = in+1 − in et Xn = in , . . . , X0 = i0 ) = IP(Xn = in , . . . , X0 = i0 ) = IP(Yn+1 = in+1 − in ) IP(Yn+1 = in+1 − in ) IP(Xn = in ) = IP(Xn = in ) IP(Xn+1 − Xn = in+1 − in et Xn = in ) = IP(Xn = in ) = IP(Xn+1 = in+1 | Xn = in ) ,o` les i0 , . . . , in , in+1 sont des etats. Idem pour le caract` re homog` ne : u ´ e e   p si j = i + 1 IP(Xn+1 = j | Xn = i) = IP(Yn+1 = j − i) = 1−p si j = i − 1 . 0 sinon. La matrice de transition de la chaˆne (Xn )n≥1 est de taille infinie. Sa ie ligne est de la forme : ı ··· 0 0 1−p 0 p 0 0 ···o` le “0” intercal´ entre les coefficients 1 − p et p est sur la ie colonne. Son graphe de transition est donn´ u e epar la Figure 1.1. 10
  11. 11. p p i−1 i i+1 1−p 1−p F IGURE 1.1 – Le graphe de transition de la marche al´ atoire simple. e • Le processus de Galton-Watson d´ crit en introduction est egalement une chaˆne de Markov ho- e ´ ımog` ne. eDans la pratique, nous prouverons qu’une suite de v.a. est une chaˆne de Markov en utilisant le r´ sultat ı eintuitif suivant :Proposition 1.1.3 Une suite de v.a. (Xn )n≥1 d´ finie r´ cursivement par Xn+1 = f (Xn , Yn+1 ) o` e e u - (Yn )n≥1 est une suite de v.a. i.i.d. a valeurs dans un espace E ′ , ` - X0 ∈ E est une v.a. donn´ e et ind´ pendante des (Yn )n≥1 , e e - f :E×E ′ → E est une application d´ terministe, eest une chaˆne de Markov homog` ne a espace d’´ tats E. ı e ` eCe crit` re permet d’affirmer tr` s rapidement que la marche al´ atoire simple d´ finie pr´ c´ demment est e e e e e eune chaˆne de Markov homog` ne. En effet, les incr´ ments Y0 , Y1 , Y2 . . . sont des v.a. i.i.d. a valeurs dans ı e e `l’espace E ′ = {−1; 1} (E ′ = Z convenait egalement), X0 = Y0 et Xn+1 = f (Xn , Yn+1 ) avec comme ´application d´ terministe f : f (x, y) = x + y. eProposition 1.1.4 La loi d’une chaˆne de Markov homog` ne (Xn )n∈N est enti` rement d´ termin´ e par la ı e e e edonn´ e de sa matrice de transition P et de la loi de X0 , appel´ e loi initiale et not´ e µ0 : e e e pour tout i ∈ E, µ0 (i) := IP(X0 = i).Plus pr´ cis´ ment, pour tout entier n et toute suite d’´ tats i0 , i1 , . . . , in−1 , in de E : e e e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = µ0 (i0 )pi0 ,i1 . . . pin−1 ,in . (1.1)La formule (1.1) permet d’´ crire la probabilit´ d’une intersection, i.e. e e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) ,comme un produit de probabilit´ s conditionnelles, les coefficients pi,j . eEn divisant par µ0 (i0 ) dans (1.1), il s’ensuit que : IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 | X0 = i0 ) = pi0 ,i1 . . . pin−1 ,in .D´ monstration Le r´ sultat repose sur la formule e e n IP Ak = IP(A0 ) IP(A1 | A0 ) IP(A2 | A1 ∩ A0 ) . . . IP(An | An−1 ∩ . . . ∩ A0 ) k=0 11
  12. 12. a d´ montrer par r´ currence sur n ∈ N et appliqu´ e aux ev´ nements Ak = {Xk = ik }. Il ne reste plus qu’`` e e e ´ e aidentifier les termes : IP(A0 ) = IP(X0 = i0 ) vaut µ(i0 ), IP(A1 | A0 ) = IP(X1 = i1 | X0 = i0 ) vaut pard´ finition pi0 ,i1 et e IP(A2 | A1 ∩ A0 ) = IP(X2 = i2 | X1 = i1 , X0 = i0 ) = IP(X2 = i2 | X1 = i1 ) = pi1 ,i2 ,par la propri´ t´ de Markov. C’est pareil pour les autres termes. eeDans toute la suite, consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a valeurs dans E, de matrice e ı e `de transition P et de loi initiale µ0 .Proposition 1.1.5 La loi de la chaˆne de Markov homog` ne (Xn )n∈N est invariante par translation dans le ı etemps. Autrement dit, pour tous entiers n, m, toute suite d’´ tats i0 , i1 , . . . , in , in+1 , . . . , in+m pour lesquels e IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 ,il vient : IP(Xn+m = in+m , . . . , Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) = IP(Xm = in+m , . . . , X1 = in+1 | X0 = in ) .La probabilit´ conditionnelle d’une trajectoire donn´ e (i.e. les etats in+1 , . . . , in+m ) reste la mˆ me au cours e e ´ edu temps, qu’elle ait lieu entre les instants n + 1 et n + m ou entre les instants 1 et m. Seul compte ledernier etat visit´ , en l’occurrence in . ´ eUne g´ n´ ralisation de ce r´ sultat est connue sous le nom de relation de Chapman-Kolmogorov : e e e IP(Xn+m = j | X0 = i) = IP(Xm = j | X0 = k) IP(Xn = k | X0 = i) . k∈EIl faut la lire comme suit : aller de i a j en n + m pas, c’est aller de i a un certain etat k en n pas puis de k ` ` ´a j en m pas.`Notons par µn la loi de Xn . C’est une mesure de probabilit´ sur E que l’on peut ecrire sous la forme e ´d’un vecteur ligne (µn (j))j∈E (i.e. un el´ ment de R ´e Card(E) ). L’objectif de la fin de cette section consiste a `etablir une relation matricielle liant µn a la loi initiale µ0 et a la matrice P´ ` ` (n)Pour ce faire, notons par (pi,j )i,j∈E les coefficients de la matrice P n , puissance ne de P . L’expression (n)brute de pi,j est (n) pi,j = pi,i1 pi1 ,i2 . . . pin−1 ,j . i1 ,...,in−1 ∈E (n)Cette formule etant purement alg´ brique, voici une nouvelle expression du coefficient pi,j lui donnant ´ edavantage de sens :Proposition 1.1.6 Soient n un entier et i, j des etats. ´ (n) (1) IP(Xn = j | X0 = i) = pi,j . 12
  13. 13. (2) µn+1 = µn P . (3) µn = µ0 P n , ce qui signifie que IP(Xn = j) est le j e el´ ment du vecteur ligne µ0 P n . ´eEn utilisant des vecteurs colonnes pour d´ crire les lois de Xn et Xn+1 , le point (2) devient e t µn+1 =t P t µn .On peut donc voir l’´ volution en loi de la suite (Xn )n∈N comme un syst` me it´ ratif lin´ aire dont t P est la e e e ematrice d’´ volution : on obtient la loi de Xn+1 en multipliant (matriciellement et par la gauche) la loi de eXn par t P .D´ monstration Seul le cas n = 2 sera trait´ pour donner l’intuition concernant le point (1). Le coefficient e e (2) e ligne et de la j e colonne de la matrice P 2 vautpi,j de la i (2) pi,j = pi,k pk,j . k∈ELa formule des probabilit´ s totales et la Proposition 1.1.4 permettent d’´ crire les egalit´ s : e e ´ e IP(X2 = j, X0 = i) = IP(X2 = j, X1 = k, X0 = i) k∈E = µ0 (i) pi,k pk,j , k∈E (2)desquelles on en d´ duit le r´ sultat ; IP(X2 = j|X0 = i) = pi,j . Par ailleurs, e e µn+1 (j) = IP(Xn+1 = j) = IP(Xn+1 = j, Xn = i) i∈E = IP(Xn+1 = j | Xn = i) IP(Xn = i) i∈E = pi,j IP(Xn = i) . i∈ECette egalit´ implique la relation matricielle µn+1 = µn P (i.e. le point (2)). Enfin, le point (3) s’obtient ´ epar une r´ currence imm´ diate. e e ´1.2 Classification des etats1.2.1 Classes irr´ ductibles eD´ finition 1.2.1 Soient i et j deux etats de E. On dit que l’´ tat j est accessible depuis l’´ tat i si e ´ e e (n) ∃n ∈ N, pi,j = IP(Xn = j | X0 = i) > 0 .On dit que les etats i et j communiquent si chacun est accessible depuis l’autre. On note alors i ↔ j. ´Proposition 1.2.2 La relation ↔ est une relation d’´ quivalence sur E. e 13
  14. 14. D´ monstration La r´ fl´ xivit´ (i.e. i ↔ i) est imm´ diate : pour n = 0, IP(X0 = i | X0 = i) = 1. Il en va e e e e ede mˆ me pour la sym´ trie (i ↔ j implique j ↔ i). Enfin, la transitivit´ repose sur la relation de Chapman- e e eKolmogorov. Supposons que i ↔ j et j ↔ k. En particulier, les etats j et k sont respectivement accessibles ´depuis i et j. Il existe donc des entiers m et n tels que IP(Xm = k|X0 = j) > 0 et IP(Xn = j|X0 = i) > 0.Par cons´ quent, e IP(Xn+m = k | X0 = i) = IP(Xm = k | X0 = l) IP(Xn = l | X0 = i) l∈E ≥ IP(Xm = k | X0 = j) IP(Xn = j | X0 = i) > 0 ,d’o` k est accessible depuis l’´ tat i. C’est la mˆ me chose dans l’autre sens. u e eL’espace E peut donc etre partitionn´ en classes d’´ quivalence pour la relation ↔, appel´ es classes ˆ e e eirr´ ductibles. Nous insisterons dans les paragraphes suivants sur le fait que les etats d’une mˆ me classe e ´ eirr´ ductible ont des propri´ t´ s equivalentes vis a vis de la chaˆne (r´ currence, transience et p´ riodicit´ ). e ee ´ ` ı e e eLorsque l’espace E est r´ duit a une seule classe (i.e. tous les etats communiquent), on dit que la chaˆne est e ` ´ ıirr´ ductible. En g´ n´ ral, E se partitionne en etats isol´ s dans lesquels on ne revient jamais une fois qu’on e e e ´ eles a quitt´ s, et en classes irr´ ductibles disjointes. e ePour d´ terminer les classes irr´ ductibles d’une chaˆne de Markov, il est commode de travailler sur le graphe e e ıde transition plutˆ t que sur la matrice de transition P . oE XEMPLE : Consid´ rons une chaˆne de Markov a valeurs dans E = {a, b, c, d, e} et dont la matrice et le e ı `graphe de transition sont donn´ es par : e   1/2 1/2 0 0 0 1/2  1/4 1/2 1/4 0 0  1/2 1/4 1 1/2   P =  0 0 0 1 0  b  1/2 a c d e  0 0 1/2 0 1/2  0 0 0 1 0 1/4 1/2 1La chaˆne comporte deux classes irr´ ductibles : {a, b} et {c, d, e}. ı e1.2.2 R´ currence et transience eD´ finition 1.2.3 Soit i ∈ E. La v.a. Ti d´ finie par e e Ti = inf{n ≥ 1, Xn = i}est appel´ e temps d’atteinte de i ou encore temps de retour a i lorsque la chaˆne (Xn )n∈N part de i. Par e ` ıconvention, lorsque pour tout n ≥ 1, Xn = i, on pose Ti = +∞.D´ finition 1.2.4 Un etat i ∈ E est dit r´ current si, partant de i, on y revient presque sˆ rement en temps e ´ e ufini : IP(Ti < +∞ | X0 = i) = 1 .L’´ tat i est dit transient dans le cas contraire, i.e. lorsque IP(Ti = +∞ | X0 = i) > 0. e 14
  15. 15. Autrement dit, un etat est transient si avec probabilit´ strictement positive, on peut le quitter pour ne jamais ´ e (n)y revenir. Comme cas particulier d’´ tat transient, on retrouve les etats pour lesquels pi,i = 0, pour tout e ´n ≥ 1. Ce sont ceux que l’on quitte au premier pas pour ne jamais y revenir ; IP(Ti < +∞ | X0 = i) = IP(∃n ≥ 1, Xn = i | X0 = i)   = IP  {Xn = i} X0 = i n≥1 ≤ IP(Xn = i | X0 = i) n≥1 (n) ≤ pi,i = 0 . n≥1E XEMPLES : • Reprenons le cas de la chaˆne de Markov a valeurs dans E = {a, b, c, d, e} d´ finie dans le paragraphe ı ` epr´ c´ dent. L’´ tat b est transient. En effet, l’´ tat c est accessible depuis b mais pas l’inverse. Autrement dit, e e e een allant en c depuis b, on est sˆ r de ne jamais y revenir : u   IP(Tb = +∞ | X0 = b) = IP  {Xn = b} X0 = b n≥1 ≥ IP(X1 = c | X0 = b) = 1/4 .Ce qui donne IP(Tb < +∞ | X0 = b) < 1. Il en va de mˆ me pour l’´ tat a : e e 1 1 IP(Ta = +∞ | X0 = a) ≥ IP(X2 = c, X1 = b | X0 = a) = × , 4 2 ´ ` e ´d’apr` s la Proposition 1.1.4. Les etats c, d et e seront quant a eux r´ currents. Etudions le cas de c. En epartant de c, l’unique solution pour ne jamais y revenir consiste a aller en d puis a transiter ind´ finiment ` ` eentre d et e, ce qui est de probabilit´ nulle. En effet, pour tout n, e IP(Tc = +∞ | X0 = c) ≤ IP(X2n+1 = d, X2n = e, . . . , X3 = d, X2 = e, X1 = d | X0 = c) ≤ pc,d (pd,e pe,d )n ,toujours d’apr` s la Proposition 1.1.4. Avec pd,e pe,d = 1/2, on obtient la majoration : e 1 IP(Tc = +∞ | X0 = c) ≤ . 2nIl ne reste plus qu’` faire tendre n tend vers l’infini. a • En exercice, il sera montr´ que la marche al´ atoire sur Z est r´ currente dans le cas sym´ trique, i.e. e e e epour p = q = 1/2, et transiente sinon.La v.a. Ni est le nombre de passages de la chaˆne (Xn )n∈N par l’´ tat i apr` s l’instant 0 : ı e e Ni = 1 Xn =i 1 n≥1Partant de j, on acc` de en i en temps fini, puis on revient en i au moins n fois (i.e. Ni ≥ n). Cela fait donc eau moins n + 1 passages en i (partant de j). 15
  16. 16. Lemme 1.2.5 Pour tout entier n et tous etats i et j, ´ IP(Ni ≥ n + 1 | X0 = j) = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) .Les etats transients sont ceux dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, on ´revient une infinit´ de fois dans un etat r´ current. e ´ eProposition 1.2.6 Les conditions suivantes sont equivalentes : ´ (1) l’´ tat i est r´ current : IP(Ti < +∞|X0 = i) = 1 ; e e (2) conditionnellement a X0 = i, la chaˆne de markov (Xn )n∈N revient presque sˆ rement une infinit´ ` ı u e de fois en i : IP(Ni = +∞ | X0 = i) = 1 ; (n) (3) la s´ rie e pi,i diverge.Proposition 1.2.7 Les conditions suivantes sont equivalentes : ´ (4) l’´ tat i est transient : IP(Ti < +∞|X0 = i) < 1 ; e (5) conditionnellement a X0 = i, la v.a. Ni est presque sˆ rement finie et suit la loi g´ om´ trique de ` u e e param` tre αi = IP(Ti < +∞|X0 = i) : e ∀n ∈ N, IP(Ni = n | X0 = i) = αn (1 − αi ) ; i (n) (6) conditionnellement a X0 = i, la v.a. Ni est int´ grable : IE[Ni |X0 = i] = ` e pi,i < +∞. (n)Remarquons que l’identit´ entre l’esp´ rance conditionnelle IE[Ni |X0 = i] et la s´ rie e e e pi,i est valablequelle que soit la nature de cette derni` re, en la consid´ rant comme un el´ ment de [0; +∞]. Elle repose sur e e ´ele th´ or` me de Fubini. e e   IE[Ni | X0 = i] = IE  1 Xn =i 1 X0 = i n≥1 = IE[1 Xn =i | X0 = i] 1 n≥1 = IP(Xn = i | X0 = i) n≥1 (n) = pi,i . n≥1Les deux propositions ci-dessus se d´ montrent simultan´ ment. e eD´ monstration Prouvons (1) ⇒ (2). En combinant, IP(Ti < +∞|X0 = i) = 1 et le Lemme 1.2.5, il evient : IP(Ni ≥ n + 1 | X0 = i) = IP(Ni ≥ n | X0 = i) = . . . = IP(Ni ≥ 1 | X0 = i), 16
  17. 17. en it´ rant. Par ailleurs, {Ni ≥ 1} = {Ti < +∞}. On en d´ duit que pour tout n, IP(Ni ≥ n|X0 = i) = 1. e eIl ne reste plus qu’` faire tendre n vers l’infini pour obtenir (2) : a   IP(Ni = +∞ | X0 = i) = IP  {Ni ≥ n} X0 = i n≥1 = lim IP(Ni ≥ n | X0 = i) n→+∞ = 1.L’implication (2) ⇒ (3) repose sur : (n) pi,i = IE[Ni | X0 = i] ≥ (+∞) IP(Ni = +∞ | X0 = i) = +∞ . n≥1Supposons (4) : αi = IP(Ti < +∞|X0 = i) < 1. Le Lemme 1.2.5 donne : IP(Ni ≥ n + 1 | X0 = i) = αi IP(Ni ≥ n | X0 = i) = . . . = αn IP(Ni ≥ 1 | X0 = i) . iAinsi, IP(Ni ≥ n + 1 | X0 = i) = αn IP(Ti < +∞ | X0 = i) = αn+1 . i iOn en d´ duit d’une part que Ni est presque sˆ rement finie e u IP(Ni = +∞ | X0 = i) = lim IP(Ni ≥ n | X0 = i) = 0 n→+∞(car αi < 1) et d’autre part que sa loi est g´ om´ trique de param` tre αi . Ce qui prouve (5). e e e IP(Ni = n | X0 = i) = IP(Ni ≥ n | X0 = i) − IP(Ni ≥ n + 1 | X0 = i) = αn (1 − αi ) . iL’implication (5) ⇒ (6) est imm´ diate : e αi IE[Ni | X0 = i] = IP(Ni ≥ n | X0 = i) = < +∞ . 1 − αi n≥1Enfin, (3) ⇒ (1) et (6) ⇒ (4) sont respectivement les contrapos´ es de (4) ⇒ (6) et (1) ⇒ (3). Les eboucles sont boucl´ es ! eLa r´ currence et la transience sont des propri´ t´ s de classe irr´ ductible : e ee eProposition 1.2.8 Si les etats i et j communiquent alors ils sont tous deux r´ currents ou tous deux tran- ´ esients.Ainsi, tous les etats appartenant a la mˆ me classe irr´ ductible qu’un etat transient (resp. r´ current), le seront ´ ` e e ´ eegalement. La classe sera alors qualifi´ e de transiente (resp. r´ currente).´ e e (k) (l)D´ monstration Si les etats i et j communiquent, il existe deux instants k et l tels que pi,j > 0 et pj,i > 0. e ´Soit m ≥ k + l. Partant de i, une facon d’y revenir en m pas consiste a d’abord aller en j en l pas, puis d’y ¸ `revenir en m − k − l pas pour enfin aller en i en k pas : (m) (l) (m−k−l) (k) pi,i ≥ pi,j pj,j pj,i . 17
  18. 18. De la mˆ me mani` re, e e (m) (k) (m−k−l) (l) pj,j ≥ pj,i pi,i pi,j . (m) (m)Les deux s´ ries m pi,i et e m pj,j sont donc de mˆ me nature. Les Propositions 1.2.6 et 1.2.7 permettent ealors de conclure.Proposition 1.2.9 La probabilit´ de sortir d’une classe irr´ ductible r´ currente est nulle. Plus pr´ cis´ ment, e e e e esi i est un etat r´ current et C(i) sa classe alors ´ e (n) ∀j ∈ C(i), ∀n ∈ N, IP(Xn = j | X0 = i) = pi,j = 0 . / (n)D´ monstration Soit j ∈ C(i) et supposons par l’absurde qu’il existe un entier n tel que pi,j > 0. Il e / (m) (m)existe alors un entier m tel que pj,i > 0. Dans le cas contraire, i.e. ∀m pj,i = 0, l’´ tat i ne pourrait etre e ˆr´ current puisqu’il existerait une probabilit´ non nulle de quitter i et de ne jamais y revenir. D` s lors, les e e eetats i et j communiquent, ce qui contredit j ∈ C(i).´ /Proposition 1.2.10 Toute chaˆne de Markov homog` ne sur un espace d’´ tats fini a au moins un etat ı e e ´r´ current. En particulier, toute chaˆne irr´ ductible sur un espace d’´ tats fini est r´ currente. e ı e e eD´ monstration Montrons que, etant donn´ un etat i transient, le nombre moyen de passage par l’´ tat i en e ´ e ´ epartant d’un etat j, i.e. IE[Ni |X0 = j], est finie. Cette affirmation repose sur le Lemme 1.2.5, la Proposition ´1.2.7, le fait que IE[Z] = n≥1 IP(Z ≥ n) pour une v.a. positive Z et le calcul suivant : IE[Ni | X0 = j] = IP(Ni ≥ n + 1 | X0 = j) n∈N = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) n∈N = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) n∈N = IP(Ti < +∞ | X0 = j)(1 + IE[Ni | X0 = i]) < +∞ .Donc, presque sˆ rement, chaque etat de E est visit´ un nombre fini de fois. C’est impossible : E etant fini, u ´ e ´notre chaˆne fr´ quente au moins l’un des etats de E une infinit´ de fois. ı e ´ e1.2.3 P´ riodicit´ e eD´ finition 1.2.11 La p´ riode d’un etat i est l’entier d(i) d´ fini par e e ´ e (n) d(i) = PGCD{n ≥ 1, pi,i > 0} .Lorsque d(i) = 1, l’´ tat i est qualifi´ de ap´ riodique. e e e 18
  19. 19. Un etat en lequel on peut rester avec probabilit´ non nulle, i.e. pi,i > 0, est automatiquement ap´ riodique. ´ e e ` Voici deux exemples. A gauche, l’´ tat a est de p´ riode 2 (idem pour b). En effet, chaque chemin de e e e `probabilit´ non nulle partant de a et y revenant comprend un nombre pair de pas. A droite, tous les etats ´ e ´sont ap´ riodiques. Etudions en particulier le cas de l’´ tat 1. Depuis cet etat, il est possible d’y revenir en 3 e ´pas (en faisant 1 → 2 → 3 → 1) : (3) p1,1 = p1,i pi,j pj,1 ≥ p1,2 p2,3 p3,1 > 0 . i,j∈E (5)Il est egalement possible d’y revenir en 5 pas : p1,1 > 0 (en faisant 1 → 2 → 3 → 4 → 3 → 1). Puisque 3 ´et 5 sont premiers entre eux, l’´ tat 1 est ap´ riodique. e e 1/2 1 1/2 1 2/3 1/3 3 4 a b 2 1 1 1/3 2/3Simuler une chaˆne de Markov est tr` s facile. Voici le code R de la fonction iteration qui prend en entr´ e ı e eun etat x ∈ E et renvoie l’´ tat visit´ juste apr` s conform´ ment a la dynamique d´ crite par le graphe de ´ e e e e ` etransition ci-dessus a droite. ` iteration <– function(X) { U <– runif(1,min=0,max=1) if (X==a) { if (U < 1/3) {Y=b} else {Y=c}} if (X==b) { if (U < 2/3) {Y=b} else {Y=c}} if (X==c) { if (U < 1/2) {Y=a} else {Y=d}} if (X==d) {Y=c} Y }La p´ riodicit´ est une propri´ t´ de classe irr´ ductible : e e ee eProposition 1.2.12 Si les etats i et j communiquent alors ils ont la mˆ me p´ riode. ´ e eTous les etats d’une mˆ me classe irr´ ductible ont donc la mˆ me p´ riode. Si celle-ci vaut 1, la classe est ´ e e e ealors qualifi´ e de ap´ riodique. e eD´ monstration Soient i et j deux etats qui communiquent. Il suffit de montrer que d(j) divise d(i). En e ´effet, par sym´ trie, on aura egalement d(i) divise d(j), et donc d(j) = d(i). Comme i et j communiquent, e ´ (l) (m)il existe deux entiers l et m tels que pi,j > 0 et pj,i > 0. Consid´ rons maintenant un entier n tel que e (n)pi,i > 0. Les in´ galit´ s e e (m+n+l) (m) (n) (l) pj,j ≥ pj,i pi,i pi,j > 0 19
  20. 20. et (m+l) (m) (l) pj,j ≥ pj,i pi,j > 0impliquent respectivement que d(j) divise les entiers m + n + l et m + l : il divise donc la diff´ rence, i.e. e (n)n. Autrement dit, d(j) divise tous les entiers n tels que pi,i > 0. Il divise donc leur PGCD d(i).1.3 Th´ or` mes limites e e ´Etant donn´ une chaˆne de Markov homog` ne (Xn )n∈N , l’objectif de cette derni` re partie est d’approximer e ı e ela loi de la v.a. Xn lorsque n tend vers l’infini.1.3.1 Les mesures stationnairesD´ finition 1.3.1 Une mesure stationnaire (ou invariante) d’une chaˆne de Markov de matrice de transition e ıP est une loi de probabilit´ sur E, disons π = (π(j))j∈E , v´ rifiant π = πP . e eSoit π une mesure stationnaire pour la chaˆne de Markov (Xn )n∈N de matrice de transition P . Rappelons ıque le vecteur ligne (µn (j))j∈E d´ signe la loi de la v.a. Xn . La formule µn+1 = µn P (Proposition 1.1.6) eimplique que si la loi de Xn est π (i.e. µn = π) alors il en est de mˆ me pour la loi de Xn+1 (i.e. µn+1 = π). ePar cons´ quent, si la loi initiale µ0 (celle de X0 ) est π alors toutes les v.a. Xn seront distribu´ es selon π. e eC’est ce qui justifie le qualificatif de stationnaire. Cela signifie que la probabilit´ de se trouver dans un etat e ´donn´ reste constante au cours du temps, bien que la chaˆne saute constamment d’´ tat en etat. Une mesure e ı e ´stationnaire doit donc etre comprise comme un equilibre dynamique en loi. ˆ ´E XEMPLE :Consid´ rons une chaˆne de Markov (Xn )n∈N a espace d’´ tats E = {a, b, c} dont la matrice et le graphe de e ı ` etransition sont donn´ s par : e a 1   0 1 0 1/2 b 1/2 P =  0 1/2 1/2  1/2 0 1/2 c 1/2 1/2R´ solvons le syst` me lin´ aire π = πP o` les coordonn´ es du vecteur π sont not´ es (πa , πb , πc ). On obtient e e e u e eune droite vectorielle de solutions, engendr´ e par le vecteur (1/2, 1, 1). Par ailleurs, la mesure stationnaire eπ est une mesure de probabilit´ . Elle doit donc satisfaire la condition πa + πb + πc = 1. Ceci d´ termine π e ede mani` re unique ; π = (1/5, 2/5, 2/5). eAttention, contrairement a l’exemple ci-dessus, une chaˆne de Markov peut ne pas admettre de mesure ` ıstationnaire, ou mˆ me en admettre plusieurs... e 20
  21. 21. Consid´ rons enfin une chaˆne de Markov (Xn )n∈N a espace d’´ tats E fini et de matrice de transition P . e ı ` eSupposons de plus que la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ sur E, not´ e ν : e e pour tout j ∈ E, lim µn (j) = ν(j) . n→+∞Puisque E est fini, l’application lin´ aire t P est continue donc t P t µn converge (coordonn´ e par coor- e edonn´ e) vers e t P t ν, lorsque n tend vers l’infini. D’autre part, t P t µ = t µ n n+1 converge egalement (coor- ´donn´ e par coordonn´ e) vers la loi t ν. Celle-ci v´ rifie donc t P t ν = t ν, ou encore ν = νP . En conclusion, e e esi la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ alors cette loi limite est n´ cessairement e eune mesure stationnaire pour la chaˆne de Markov correspondante. ı1.3.2 Lorsque l’espace d’´ tats E est fini eConsid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de matrice de transition e ı e ` eP . Comme la somme des coefficients sur chaque ligne de P vaut 1, tout vecteur a coordonn´ es constantes ` eest vecteur propre de P associ´ a la valeur propre 1. Une matrice carr´ e et sa transpos´ e ayant les mˆ mes e` e e evaleurs propres, 1 est donc egalement valeur propre de t P . Notons E1 l’espace propre associ´ a la valeur ´ e`propre 1 pour t P : E1 = {v ∈ RCard(E) , tP v = v} .On vient de montrer que dim E1 ≥ 1. D` s lors, tout vecteur (colonne) t π appartenant a E1 et dont la e `somme des coordonn´ es vaut 1, produit un vecteur ligne π, loi de probabilit´ sur E et v´ rifiant π = πP . e e eC’est donc une mesure stationnaire pour la chaˆne de Markov de matrice de transition P . En conclusion, ıl’existence d’au moins une mesure stationnaire est automatique lorsque l’espace d’´ tats E est fini. eLorsque la chaˆne est irr´ ductible (dans ce cas, tous les etats sont r´ currents), l’espace propre E1 est de ı e ´ edimension 1, ce qui implique l’unicit´ de la mesure stationnaire. eProposition 1.3.2 Consid´ rons une chaˆne de Markov homog` ne a espace d’´ tats fini E et de matrice de e ı e ` etransition P . Elle admet au moins une mesure stationnaire. Si la chaˆne est irr´ ductible alors il y a unicit´ ı e ede la mesure stationnaire (notons-la π). Dans ce cas, elle charge tous les etats ´ π(i) > 0, pour tout i ∈ Eet le temps moyen de retour en i est egal a l’inverse de π(i) : ´ ` 1 IE[T (i) | X0 = i] = , pour tout i ∈ E. π(i)Cependant, l’existence et l’unicit´ de la mesure stationnaire π n’assure pas la convergence en loi de la suite e(Xn )n∈N vers π. Cette convergence repose en fait sur l’ap´ riodicit´ de la chaˆne. e e ıLe r´ sultat suivant est non trivial. Il ne sera pas d´ montr´ . e e eTh´ or` me 1.3.3 Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de e e e ı e ` ematrice de transition P . Supposons de plus que la chaˆne est irr´ ductible et ap´ riodique. Notons π sa ı e emesure stationnaire. (1) La matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales a π. ´ ` 21
  22. 22. (2) Quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π : pour tout etat i, IP(Xn = i) → π(i). ´Les points (1) et (2) s’interpr` tent par de l’ind´ pendance asymptotique : en deux instants eloign´ s l’un de e e ´ el’autre, la chaˆne se comporte de mani` re presque ind´ pendante. En effet, les quantit´ s IP(Xn = j|X0 = i) ı e e eet IP(Xn = j) tendent toutes les deux vers la mˆ me limite π(j). Elles sont donc proches asymptotiquement, ece qui donne IP(Xn = j , X0 = i) ≃ IP(Xn = j) IP(X0 = i) .En utilisant l’invariance par translation dans le temps, la relation ci-dessus se g´ n´ ralise en e e IP(Xn+m = j , Xm = i) ≃ IP(Xn+m = j) IP(Xm = i) .Consid´ rons une nouvelle fois l’exemple du bit informatique dont la matrice de transition est donn´ e par e e p 1−p P = . 1−p pLa chaˆne de Markov correspondante est irr´ ductible si et seulement si p < 1. Dans ce cas, l’unique ı emesure stationnaire est le vecteur ligne π = (1/2, 1/2). Si de plus p > 0, alors la chaˆne est ap´ riodique. ı eLe th´ or` me limite s’applique : e e 1 ∀i ∈ {0, 1}, lim IP(Xn = i) = . n→+∞ 2Autrement dit, quelque soit le bit initial X0 et quelle que soit la valeur de 0 < p < 1, au bout d’un certaintemps, le bit sortant suit une loi uniforme sur {0, 1}.Lorque p = 0, la matrice de transition devient 0 1 P = . 1 0La chaˆne est alors 2−p´ riodique. Puisque P 2 est egale a la matrice identit´ , il en va de mˆ me pour toutes ı e ´ ` e eles puissances paires de P , tandis que les puissances impaires sont egales a P . Par cons´ quent, le coefficient ´ ` e (n) (n)p0,0 prend alternativement les valeurs 0 et 1 : la suite (p0,0 )n∈N ne peut converger. (n)Terminons par une comparaison. La Th´ or` me 1.3.3 stipule que, sous les bonnes hypoth` ses, pi,j tend e e evers une limite strictement positive (Proposition 1.3.2). Ceci concerne le cas o` j est r´ current. Lorsque u e (n)j est transient, pi,j tend vers 0. En effet, l’esp´ rance conditionnelle IE[Nj |X0 = i] est finie (voir la ed´ monstration de la Proposition 1.2.10). Par cons´ quent, la s´ rie e e e (n) pi,j = IP(Xn = j | X0 = i) n≥1 n≥1 = IE[1 Xn =j | X0 = i] 1 n≥1 = IE[Nj | X0 = i] (n)est convergente. Son terme g´ n´ ral, i.e. pi,j , tend donc vers 0 quand n tend vers l’infini. e e 22
  23. 23. 1.3.3 Lorsque l’espace d’´ tats E est infini eL’´ tude th´ orique de la convergence en loi d’une chaˆne de Markov devient plus d´ licate lorsque l’espace e e ı e e `d’´ tats E est infini. A plus forte raison que dans la partie pr´ c´ dente, les r´ sultats qui suivent ne seront pas e e ed´ montr´ s. e eConsid´ rons une chaˆne de Markov homog` ne (Xn )n∈N irr´ ductible et r´ currente, a espace d’´ tats infini E e ı e e e ` e E , a coordonn´ eset de matrice de transition P . On peut alors montrer qu’il existe un vecteur colonne v ∈ R ` estrictement positives, v´ rifiant t P v = v. Si la somme des coordonn´ es de v est finie e e M := v(j) < +∞ , (1.2) j∈Ealors il suffit de renormaliser le vecteur v par sa masse totale M pour obtenir une mesure stationnaire (quisera unique). Cependant la condition (1.2) n’est pas toujours v´ rifi´ e. Une hypoth` se suppl´ mentaire sur e e e ela chaˆne doit etre faite pour assurer l’existence (et l’unicit´ ) d’une mesure stationnaire. ı ˆ eD´ finition 1.3.4 Consid´ rons une chaˆne de Markov homog` ne irr´ ductible et r´ currente a espace d’´ tats e e ı e e e ` einfini E. Soit i ∈ E. Le temps de retour T (i) a i est fini presque sˆ rement (car i est r´ current). Si, de plus, ` u e IE[T (i)|X0 = i] < +∞ ,l’´ tat i est qualifi´ de r´ current positif. Dans le cas contraire, i est qualifi´ de r´ current nul. e e e e eˆEtre r´ current nul signifie que l’on revient presque sˆ rement en temps fini en cet etat mais que le temps de e u ´retour est plutˆ t long. Si long que son esp´ rance est infinie. o eLa marche al´ atoire simple et sym´ trique (i.e. avec p = 1/2) sur Z est un exemple de chaˆne de Markov e e ıpour laquelle tous les etats sont r´ currents nuls. ´ eLe th´ or` me suivant etablit que la r´ currence positive est une propri´ t´ de classe (mˆ me chose pour la e e ´ e ee er´ currence nulle) : c’est une condition n´ cessaire et suffisante pour l’existence d’une mesure stationnaire. e eSi c’est le cas, il y a unicit´ de la mesure stationnaire. eTh´ or` me 1.3.5 Soit (Xn )n∈N une chaˆne de Markov homog` ne irr´ ductible, a espace d’´ tats infini E. e e ı e e ` eSont equivalentes : ´ (i) tous les etats sont r´ currents positifs ; ´ e (ii) il existe au moins un etat r´ current positif ; ´ e (iii) la chaˆne (Xn )n∈N admet (au moins) une mesure stationnaire. ıLorsque ces conditions sont v´ rifi´ es, il y a unicit´ de la mesure statonnaire. Notons-la π. Elle est d´ finie e e e epar : 1 ∀i ∈ E, = IE[T (i) | X0 = i] . π(i)Si de plus, la chaˆne (Xn )n∈N est ap´ riodique alors : ı e (1) la matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales ´ aπ; ` (2) quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π : pour tout etat i, IP(Xn = i) → π(i). ´ 23
  24. 24. 1.4 ExercicesExercice 1 : Transmission d’un bit informatiqueUn bit informatique valant 0 ou 1 est transmis d’un poste A vers un poste B en passant par N interm´ diaires. eChacun de ces interm´ diaires transmet correctement le bit avec probabilit´ p et l’inverse avec probabilit´ e e e1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) d’entr´ e, disons X0 , est suppos´ ind´ pendent e e e e edes interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit sortant du ne interm´ diaire. e e 1. Il a et´ v´ rifi´ en cours que la suite de v.a. (Xn )0≤n≤N est une chaˆne de Markov homog` ne. ´e e e ı eRappeler sa matrice et son graphe de transition. 2. Calculer la probabilit´ que le bit arrive correct en B. Que vaut cette probabilit´ lorsque N tend vers e el’infini ?Commentaires : le th´ or` me limite 1.3.3 permet de retrouver rapidement ces r´ sultats. e e eExercice 2 : Jeu de l’oieSoit le petit jeu de l’oie suivant. Les cases sont 0, 1, 2, 3 et forment un cycle. Sur la case 3, il est ecrit “au ´ `prochain tour, reculez de deux cases”. On part de la case 0 et on gagne d` s que l’on y retourne. A chaque eetape, on lance une pi` ce sym´ trique : on avance d’une case si c’est face et de deux si c’est pile. On note´ e eXn la suite des etats (le joueur continue de jouer apr` s avoir gagn´ ). ´ e e 1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne issue de 0 et donner sa matrice ı ede transition. ´ 2. Etudier la convergence en loi de la chaˆne. ı 3. En d´ duire le nombre moyen de coups jou´ s pour gagner. e eExercice 3 : Gestion de stockDans un magasin, on souhaite suivre l’´ volution au cours du temps du stock d’un article donn´ , i.e. le e enombre d’exemplaires de cet article en r´ serve dans le magasin. Notons Xn ce nombre au matin du ne jour. eCe jour-l` , Dn+1 exemplaires de cet article sont demand´ s. Le stock evolue comme suit. Si Xn −Dn+1 ≥ s a e ´alors on ne r´ approvisionne pas. Dans le cas contraire, on r´ approvisionne a hauteur de S. Les entiers s et e e `S sont les niveaux minimal et maximal du stock. La suite de v.a. (Dn )n≥1 est i.i.d. et le niveau initial dustock X0 peut etre suppos´ ind´ pendant des (Dn )n≥1 . ˆ e e 1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne et donner son graphe de tran- ı esition (du moins, les arˆ tes issues d’un etat s ≤ x ≤ S). e ´ 2. Supposons d´ sormais que s = 1, S = 2 et que la loi commune des (Dn )n≥1 est uniforme sur e{0, 1, 2}. Donner la matrice et le graphe de transition. Quelle est la probabilit´ d’ˆ tre en rupture de stock a e e `long terme ?Exercice 4 (Examen 2009) :Consid´ rons la chaˆne de Markov (Xn )n∈N a valeurs dans E = {a, b, c, d} et dont la matrice de transition e ı `est donn´ e par : e   1/2 1/4 1/4 0  1/2 1/2 0 0  P =  0  . 0 0 1  0 1/2 1/2 0 24

×