Sabin LessardUniversité de Montréal Cours de processus stochastiques c 2013 Sabin Lessard Avant-propos Ces notes sont utilisées pour un premier cours sur les processus stochastiques (MAT2717) oert aux étudiants du premier cycle en mathématiques et statistique de l'Université de Montréal, ce qui comprend les étudiants en actuariat. Ce cours est également suivi à l'occasion par des étudiants de cycles supérieurs, notamment en nance mathématique et computationnelle ou en recherche opérationnelle. Il s'agit en fait d'un deuxième cours en théorie des probabilités qui a comme préalable la connaissance des notions de probabilité et de variable aléatoire et des principaux résultats sur les suites de variables aléatoires indépendantes, soit la loi des grands nombres et le théorème limite central. Il demande également de la part des étudiants un large éventail de connaissances mathématiques, que ce soit en algèbre linéaire, équations diérentielles, calcul avancé ou analyse. En somme, bien qu'il ne fasse pas appel à la théorie de la mesure qui est à la base d'une approche rigoureuse aux processus stochastiques, le cours requiert de la maturité mathématique. Le contenu du cours porte principalement sur les chaînes de Markov, autant à temps discret (chapitre 1) qu'à temps continu (chapitre 2). Le point culminant en est le théorème ergodique qui permet de décrire le comportement asymptotique de la chaîne à l'aide de probabilités d'absorption et de distributions stationnaires. Suivent les principaux résultats sur les processus semi-markoviens, dont le processus de renouvellement (chapitre 3), pour prendre en compte des temps de séjour aux diérents états de loi quelconque. Le tout se termine par une initiation aux martingales, principalement par les jeux de hasard (chapitre 4), et une introduction au mouvement brownien avec des applications à la nance (chapitre 5). Le cours aide à préparer en partie les examens 3L et MLC des sociétés d'actuaires nord-américaines. Le contenu des notes a été grandement in uencé par les intérêts de recherche de l'auteur en génétique des populations, domaine qui a eu et qui continue d'avoir une grande in uence sur les probabilités. Ainsi, il ne faut pas se surprendre de trouver en évidence non seulement le processus de branchement de Galton-Watson, le modèle de population de Wright-Fisher et le processus de naissance et de mort linéaire avec immigration, ce qui inclut le processus de Yule, mais aussi le processus de coalescence qui est tant utilisé dans la recherche actuelle. D'autres exemples phares de processus stochastiques ne sont pas en reste, qu'il s'agisse de la ruine du joueur pour ii Avant-propos les marches aléatoires sur les entiers, du processus de Poisson pour l'arrivée d'événements au hasard, du système de bonus-malus pour la xation de primes d'assurance, de modèles de diusion pour la distribution ou le mouvement de particules, de systèmes d'attente ou de modèles de abilité pour l'optimisation en recherche opérationnelle. L'emphase est mise sur la modélisation et l'interprétation des résultats. Les preuves de la plupart des a rmations, dont une démonstration complète du théorème ergodique, sont cependant incluses pour satisfaire les plus exigeants, tout en évitant le formalisme de la théorie de la mesure. Les preuves les plus techniques et les sections d'importance secondaire, qui apparaissent souvent en n de chapitre et qui sont marquées d'un astérisque (*), peuvent être survolées ou laissées de côté lors d'une première lecture. Cela permet de couvrir l'ensemble de la matière à l'intérieur d'un cours de 45 heures. Les notes ont été fortement inspirées à l'origine du livre An Introduction to Stochastic Modeling, par H.M. Taylor et S. Karlin, que Samuel Karlin appelait aectueusement son "baby book". Pour les démonstrations, le livre plus complet des mêmes auteurs, A First Course in Stochastic Processes, ainsi que le livre Probability and Random Processes, par G.R. Grimmett et D.R. Stirzaker, ont été des sources d'information importantes. Pour la théorie et les applications des martingales et du mouvement brownien, des ouvrages plus récents, principalement Essentials of Stochastic Processes, par R. Durrett, et Processus stochastiques, par D. Foata et A. Fuchs, ont été particulièrement utiles. Les notes ont subi l'in uence de beaucoup d'autres ouvrages du même niveau ou de niveau légèrement inférieur, notamment Introduction to Probability Models, par S. Ross, et Processus stochastiques, par A. Ruegg, mais aussi d'ouvrages de niveau supérieur, comme A First Look at Rigorous Probability Theory, par J.S. Rosenthal, Probability with Martingales, par D. Williams, et Markov Chains, par D. Freedman. Le contenu de ces notes a beaucoup évolué au cours des années. Des aspects de nature essentiellement mathématique ont laissé la place à des sujets qui ont un intérêt en biologie, recherche opérationnelle, nance ou actuariat. Des générations d'étudiants, de stagiaires postdoctoraux et de chargés de travaux pratiques sur une période de presque trente ans ont grandement contribué à boni er ce contenu par leurs questions, commentaires et suggestions. J'aimerais mentionner M. Augustyniak, M. Banville, V. Carrier, A.M. Castilloux, J. Courteau, D. Kroumi, V. Ladret, P. Lahaie, F. Larribe, S. Langevin, D. Lasalle-Ialongo, M. Lemire, S. Mahdi, G. Martin, E. Monga, D. Pouliot, G. Rocheleau, L. Saidi, C. Séguin, C. Soares, Y. Tao, P. Turbis, L. Villandré, sans oublier G. Elgbeili qui a rédigé la première version électronique des notes. La plupart continuent d'exercer leur curiosité et leur Cours de processus stochastiques iii passion dans le monde de l'enseignement ou de la recherche. C'est une source de grande satisfaction. Merci également à mes collègues anciens ou actuels du département de mathématiques et de statistique de l'Université de Montréal pour des discussions stimulantes sur la matière du cours, particulièrement M. Goldstein, sans oublier R. Duncan, mon directeur de thèse de doctorat, dont j'ai toujours admiré l'enthousiasme pour l'enseignement. En n, un grand merci à mon superviseur de stage postdoctoral et mentor en génétique mathématique, Samuel Karlin, décédé en 2007, à qui je pense encore très souvent. Montréal, 7 mai 2013 Sabin Lessard . . . 1. .4 Partition des états . . . . . . 1. . . . . .7 Théorème ergodique et distribution stationnaire .7. . . . . . . . . . . 1. . .5. . .9 Exemple : Marche aléatoire sur les entiers . . .1 Dé nitions . .6. . .1 Chaîne de Markov à temps discret . . .1 Théorème ergodique . 1.7 Exemple : Modèle de réparation . . . . . .3.2. . .4 Théorème sur la distribution stationnaire . 1 1 2 2 5 6 7 8 8 8 10 12 13 15 15 17 19 22 22 28 30 33 33 34 36 37 39 40 40 41 42 42 43 43 44 45 47 . 1.2 *Exemples . . . . . .2 Distribution stationnaire . . . 1.7. . .7. 1. 1. 1. . . . .7. . . . .6 Classi cation des états . . . . . . . . . . . . 1.8 Exemple : Bonus-malus pour l'assurance-automobile . . . . . . . . .3 Ruine du joueur contre un adversaire in niment riche 1.4. 1.4. . . . 1. . 1. . . . . . . 1. . . . . . . . . . . . . . 1. . . .2 Exemples . . 1. . . . .5 Chaîne irréductible apériodique à espace d'états ni . .5. . . . . .5 Exemple de partition des états . .6. .3.2. . 1. .1 Exemple : Promenade aléatoire dans un labyrinthe . . . .1 Probabilité d'extinction éventuelle . . . . . .6. . . . . . . .3. . . . . . 1. .4 Méthode de conditionnement sur la première transition . . . . . . . . . . . . . . . . . . .6. . . . . . . . . . . . .5 Chaîne de Markov sur deux états . . . .1 Modèle de diusion d'Ehrenfest en mécanique statistique 1. . . . .4 Exemple : Le temps sur deux jours consécutifs . .5. . . . . . . . . . . . . .7. . .2 Exemple : Jeu de pile ou face . . .2 Matrice de transition en n pas . . .2 Modèle de Wright-Fisher en génétique des populations 1. . . . . . .2 Distribution asymptotique de la taille de la population 1. . . . .2.4. . . . . . . . 1. . . . .4 Modèle d'entretien en théorie de la abilité . 1. . . . . . . . . . . . . . . . . .3 Matrice de transition doublement stochastique . . . . . . . . . . . . . . . .7. . .6. . . . .3 Critères de classi cation . . .3 Dé nitions . .7. . . . . . . . . . . . . . . . . . .3.7. . . . . . 1. .3. . . . . 1. . . . . . . . .2. . . . . . . . . . . . 1.5 Processus de branchement . 1. . . . . . . . 1.3 Ruine du joueur . . . . 1. . . . . . . . . . . . .1 Introduction . . . . . . . .3 Système de bonus-malus en assurance automobile . 1.Table des matières iv Table des matières 1 Chaînes de Markov à temps discret 1. . . .3 Exemple : Le temps d'un jour au suivant . . . . . . . . . . . 1. 1. . . . . . . .6 Exemple : Retour sur le temps d'un jour au suivant . . . . .7. . . . . 1. . 1. . . . . . . . . . . . . . . . . . . . . 2. .2 Lemme 2 sur la limite d'une somme . . .1. . . 2. . 2. . . . . . . 2.4. .Cours de processus stochastiques 1. . .7. . . . . . . .3. . . .8 1. 1. . . . . . . . 1. . . . . . . . . . . . . . . . . .1. .7 Probabilités de transition in nitésimales .2. . . .2 Exemple : Retour sur les rampes mobiles .8. . . . . . 2. . . . . . . . .8. .8. . .9 1. . . . . . Exercices . . 2 Chaînes de Markov à temps continu 2. .10 1. . . . . 2. . . .1. . .1. . . . . . . . . . . . 1. . . . . . . . . . . . . .4 Proposition 3 sur la partition des états . . . . . . 1.3 Minimum de variables de loi exponentielle .3 Lemme 3 sur la condition d'apériodicité . . . . . .4 Arrivée d'événements d'un type donné . .7 Chaîne irréductible apériodique à espace d'états ni *Appendice . . . .4 Conditionnement sur le premier changement d'état 2. . . .5 Théorème sur la distribution stationnaire . .9. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. . . . .5 Exemple : Entretien de rampes mobiles .6 Distribution conditionnelle des temps d'arrivée . . . .3 Processus de Poisson comme processus de naissance . . . . .8. .1 Retour sur les chaînes à temps discret . . 1. . . . . . *Exercices supplémentaires . . . . .6 Hypothèse sur les changements d'état . . . . . . . . 2. . . . .2 Chaînes sur un nombre ni d'états .3 Proposition 2 sur la partition des états .1. . . . . .11 Exemple : Déplacement aléatoire sur un échiquier . . . . . . . . . 1. . . . 2. . .1 Description générale . 2. . 2. . . . . . .1 Description générale . 2. . 2. . . . . . 48 51 53 53 55 56 58 58 61 66 68 68 68 69 71 78 85 85 85 87 89 91 91 93 94 95 95 98 101 101 101 104 104 105 106 107 107 107 . . .9. 2. . . . . . . .3. . . . . . . . . . . . . . . . . 1.1. . . .11 v 1. . . .10 Exemple : Chaîne avec plusieurs classes d'états . . .4. .2 Processus de mort linéaire . .1 Description générale .8. 2. . . . . *Démonstrations . . . . .2. . . . . .3. . . . . . .1. .1 Critères de classi cation . . . . . . . . . 2. . . . . . . . .1 Lemme 1 sur la limite d'une moyenne . 2.2 Nombre d'arrivées dans un intervalle de temps .3 Distribution des temps d'arrivée . . . . . . .3. . . . . . . 2. . . . .8. . . . . . . . . . . . . . . . . . . . . . 1. . 2. . .8. .7. . . . . . . . . . . .2 Chaînes à temps continu . . . . . .9. . . . . . . . .6 Théorème ergodique . . . .1 Générateur et probabilités de transition . . . . . . . . . . . . 2. . . . 1. . . . . 1. . . . . .2 Proposition 1 sur la partition des états . . . .4 Processus de mort . . .3. . . . . . . . . . . . .3. . . . . . . .5 Arrivée d'événements de deux types . . 2. . 2. . . . . . . . . .2 Processus à temps de vie in ni . . . .3 Distributions asymptotiques à temps continu . . . . . . . . . .2 Exemple : Sauts aléatoires sur des sites . . . . . . . 3. 2. . . . . . . 2. . . . . .6. .3. . . . . 108 110 114 114 115 115 117 118 120 122 123 123 124 125 127 129 131 132 132 132 133 136 138 143 149 . . .2. . . . . . . . . 2. . . . . 2. . . . . . . . . . . . . . . . .6.5 Processus linéaire avec immigration . . . . . . . . . .5 Exemple : Remplacement d'un appareil . .1 Introduction . 3. . . . . . . . .6. .3 Systèmes d'attente . . . . . . . . . . . . . . . .2. .4 Processus de naissance et de mort stationnaire . .1 Processus à temps de vie in ni . . . . . . . . . . . . . . . . .5. . . . .5. .5. *Exercices supplémentaires . 3. . . . . . . . . . . . . . .6. 3 Processus de renouvellement 3. . . . 3. 2. . . . .3 Lemme de Wald . . . . . . . . . . . . . . . . .3 Lemme sur la continuité des probabilités de transition Exercices . . .3 Processus de naissance de Yule . . . . . .5. . . . . . . . . . . . . . . .4. . . . . . . . . . . .4. . . . . . . . . .2.5. . . . . . . . . .1 Description générale . . . . . . . . . . . 149 150 150 150 150 152 152 155 155 156 156 156 159 . 3. . . . . . . . . . .3 Exemple : Deux comptoirs de service en série . . . . . . . . .6. . . 2. . . . . . .3. . 3. .5 2. . . . . . . . . Distribution stationnaire et théorème ergodique . 2. . . . .5 Système d'attente stationnaire M/M/1 . . . . . . . . . . . . 2. .9 2.6 Théorème de renouvellement à temps discret 3. . . . . . .1 Description générale . .6. Processus de naissance et de mort . . .7. . .7 Théorème de renouvellement à temps continu 3. .6 *Processus linéaire sans immigration . . . . . .7 Théorème ergodique .4 *Processus de coalescence . . . 2. . . . 2. . . . . . . 3. . . . . . . . . . . . . . . . . . . . . . . . . . . .6 Système d'attente stationnaire M/M/∞ . . 3.6 2. . . . . . 3. . .5.3 Distributions asymptotiques . . . . . . *Démonstrations . . .1 Dé nition de distribution stationnaire .2 Distributions asymptotiques à temps discret .5.6. . . . . .2. . .2 Théorème ergodique . 2. . . . . . . . . . . . . . . . . . . . . .2. . . . . . . . . .2 Théorèmes de renouvellement . 3. . . .7 *Équation rétrograde de Kolmogorov . . 2. . . . 2. . . . . . . . . .2 Théorème de renouvellement élémentaire . . . . . .4 Exemple : Réclamations d'assurance . .1 Âge et temps de vie résiduel et total . . .3. . . 2. . . . . .2. . . 2. . . .8 2.7 2.4 Équation progressive de Kolmogorov . . . . . . . .7. . .Table des matières vi 2. . . .2.7. 2. . . . . 161 162 162 163 163 164 165 166 166 170 170 172 174 174 176 178 . .1. 4 Introduction aux martingales 4.1. .5. . . . . . . . .1. . . . . . . .5 Exemple : Martingale classique de doubler la mise 4. . . . . . 4.2. . .3 Exercices . 3. . . . . . . 4. .5 Système d'attente M/G/1 . . . . . .8 vii 3. .3. . . . .3 Théorème de renouvellement dans le cas stationnaire 3. . . . . . *Démonstrations . . 4. . . . . .3 Exemple : Prix juste d'une option d'achat . . . *Exercices supplémentaires . . . . . . . . . . .2 Théorème de renouvellement à temps discret .6. . . 4. . . . . .5 Exemple : Intervalles de loi uniforme . . . . . . . . . .4 3. . . . . . . . . . . . . . . .4.1. . . . . 3.1 Extension du théorème ergodique . . . . . . .2. . . . .7 3. . . .6 *Preuve du théorème d'arrêt .4. . 4. 4. .1 Temps d'arrêt .2. . . . . . . . . . . .6 3. . . . . . . 4. . 3. . . . . . . . . . . . . 4. . . .5 3. . . .6.6 Martingale par rapport à une suite de variables . . . . . . . . .4 *Exercices supplémentaires . Processus semi-markoviens . 4. . .7 Exemple : Marche aléatoire asymétrique .6. . . . . . . 183 187 . .4 Exemple : Compteur de particules . . 187 187 188 188 189 189 190 191 192 192 192 192 194 196 198 200 200 . . . . . . .2. . 180 . . . . .4.1. . . . . . . .4 Exemple : Modèle de Wright-Fisher . .1 Moyennes temporelles à temps discret . . . . . . . . . . . . . . . . . . 3. .Cours de processus stochastiques 3. . .2. . 3. . . . . . . . . . .1 Dé nition d'une martingale . . . . . . . . . . .2 Martingale arrêtée . . . 3. . . . . . .6 Exemple : Intervalles de loi exponentielle . . . . . 3. . . . . . . 3. . 4. . .1. . . . . . 179 . 3. . 4. . . . . . . . . . . . . . . . . 4. . . . . . . . . . . . . . . . . . . . . . . *Moyennes temporelles asymptotiques . . . . . 4. . . . . . . . . . . . . . .4. . . . . . . . . . . .4 Processus de renouvellement stationnaire . . . . . . . . . . .1. . . . .4.3 Processus de renouvellement avec alternance . . . . .3. . .2 Moyennes temporelles à temps continu . . . . .1 Théorème de renouvellement élémentaire . . . . . . . . . . 3. . . . 4. 3. . . . . . . . . . . .3. . .1 Dé nitions et exemples . . .6. . . . . 4.4 Théorème ergodique pour processus semi-markoviens Exercices . . . . .2. . . . . . . . . . . .5 Exemple : Processus de branchement . . . . .3 Exemple : Marche aléatoire symétrique arrêtée . .4 Exemple : Marche aléatoire asymétrique arrêtée . . . . .2 Théorème d'arrêt . . .2 Exemple : Principe de Peter . . . . . . . .2 Exemple : Marche aléatoire symétrique .5. 3. . . 3 Formule de Black-Scholes . . . . 5. . . . .2 Exemple : Seuil d'exercice d'une option d'achat 5. . . . . .1. . . . . . . . . . . . . 5. . . . . . . . . . . . . . . . .Table des matières viii 5 Introduction au mouvement brownien 5.1 Dé nitions et exemples . . .3 *Exercices . . .2. . . . . . . . . 5. . . . . . . .2 *Mouvement brownien géométrique . . 5.1. . . 5. . . . . . . . . . . . . .3 Construction du mouvement brownien standard 5. . . 202 . . . . . . . .4 Exemple : Prix juste d'une option d'Apple . . . . . . . .2. . . . . .2 Dé nition du mouvement brownien standard . . . . .1 Introduction . . . . . . . . 202 202 202 204 205 207 207 208 209 211 211 212 . . . . . . . . Bibliographie .2. . . . .2.4 Mouvement brownien avec dérive et écart-type 5. . 5. . . . . . .1.1. . . 5. . . . . . . . .1 Description générale . . . . . qui permet d'interpréter l'espérance comme la moyenne de valeurs observées à long terme. on s'attend à ce que la proportion de fois qu'on obtienne face soit près de 1/2 et que cette proportion suive approximativement une loi normale d'espérance 1/2 et de variance (2n)−2 . en lançant une pièce . d'indépendance. Ainsi. indépendamment dans les mêmes conditions. et le théorème limite central. la marche aléatoire décrite en faisant un pas à gauche ou à droite chaque fois qu'on obtient pile ou face. Le résultat le plus important sur les chaînes de Markov est le théorème ergodique. Il permet de comprendre le comportement de la chaîne sur une longue période de temps. on a aaire à une chaîne de Markov. Le tout culmine avec la loi des grands nombres.1 Chaînes de Markov à temps discret 1. sont indépendantes des valeurs prises par les variables qui précèdent. et la proportion de temps moyenne limite que la chaîne passe dans chaque état. de probabilité. étant donné la valeur prise par cette variable. Lorsque l'espace d'états est ni ou in ni dénombrable. c'est-à-dire la distribution de probabilité limite de la chaîne sur les diérents états lorsque celle-ci existe. de variable aléatoire et d'espérance. et ce selon l'état initial. du nom du mathématicien russe Andreï Markov (18561922). qui peut être à temps discret ou à temps continu. Autrement dit. si on lance une pièce de monnaie bien balancée un grand nombre de fois n indépendamment dans les mêmes conditions. C'est l'objectif principal de ce chapitre qui porte sur les chaînes à temps discret. C'est le sujet qu'on étudie dans un premier cours de probabilités après avoir introduit les notions fondamentales d'événement. Ce sont des variables aléatoires qui n'ont aucune in uence les unes sur les autres. Le cas le plus simple est celui d'une suite de variables aléatoires indépendantes. Le cas le plus simple d'une suite de variables aléatoires dépendantes est celui où les valeurs prises par les variables qui suivent n'importe quelle variable en particulier. Ainsi. le futur étant donné le présent est indépendant du passé. qui garantit que cette moyenne est la valeur prise par une variable aléatoire dont la distribution de probabilité s'approche de plus en plus d'une loi normale.1 Introduction Un processus stochastique est une suite de variables aléatoires indicées par le temps. Le processus est alors dit markovien. respectivement. Il décrit en général ce qui se passe à long terme. c'est-à-dire Pij = P r(Xn+1 = j|Xn = i). . De nombreuses situations réelles sont modélisées par des chaînes de Markov. L'état du système après n passages. 1. . physique. . Ce système est illustré dans la Figure 1. représenté pat Xn . un mur par exemple. Cela peut être représenté par une ouverture dans la cloison de dimension du même ordre de grandeur que celle d'une particule. Le temps est calculé en nombre de passages. 1. Ce chapitre commence donc par des exemples pour illustrer les principaux concepts et résultats qui sont développés par la suite. La probabilité de transition pour que Xn+1 = j étant donné que Xn = i est dénotée par Pij . représentés par A et B .1. contenant ensemble un nombre m de particules d'un gaz. On fait les hypothèses suivantes sur le passage des particules d'un compartiment à l'autre : Un seul passage à la fois peut survenir. Cette marche aléatoire reste une chaîne de Markov dans le cas où un pas est annulé si on frappe un obstacle. peuvent passer d'un compartiment à un autre. il est intéressant de savoir quelle est la probabilité d'être à une position donnée après un très long moment. Ce nombre peut prendre n'importe quelle valeur i = 0. . ou encore quelle proportion de temps est passée à cette position sur une longue période de temps. Les particules à l'intérieur du système ne peuvent pas en sortir et aucune autre particule ne peut y entrer. C'est le type de questions qu'on se pose lorsqu'on est en présence d'une chaîne de Markov. m.2 *Exemples 2 de monnaie un grand nombre de fois indépendamment dans les mêmes conditions.1 Modèle de diusion d'Ehrenfest en mécanique statistique On considère un système hermétiquement fermé constitué de deux compartiments. que ce soit en biologie. . qui sont en mouvement permanent. Les particules ont des chances égales de changer de compartiment. La cloison séparant les deux compartiments n'est cependant pas parfaitement étanche et les particules. est décrit par le nombre de particules dans le compartiment A. économie ou recherche opérationnelle.2.2 *Exemples 1. est une chaîne de Markov à temps discret. pour n ≥ 0. Dans un tel contexte. et si oui.1 Chaînes de Markov à temps discret A 3 B Figure 1 Modèle de diusion d'Ehrenfest. Cette matrice et la distribution de X0 décrivent entièrement le processus. est la matrice de transition. avec l'entrée Pij sur la ligne i et dans la colonne j . par symétrie. chaque particule devrait avoir . Voici le type de questions auxquelles on va essayer de répondre dans ce chapitre. m. En supposant la convergence. autrement. si j = i + 1 pour 0 ≤ i ≤ m − 1. En eet. cette probabilité de transition est donnée par Pij = i m m−i m 0 si j = i − 1 pour 1 ≤ i ≤ m. . Question 1 : Il est intéressant de savoir ce qui se passe à long terme : la probabilité de trouver j particules dans le compartiment A au temps n étant donné qu'il y en a i initialement converge-t-elle lorsque n augmente. . . pour j = 0. La matrice P = (Pij ). Dans le cas présent. quelle est la limite. . la limite prédite est donnée par lim P r (Xn = j|X0 = i) = n→∞ m j 1 2 m . c'est-à-dire les événements qui peuvent survenir au cours du temps et leurs probabilités. 1. Le processus est en fait une chaîne de Markov à temps discret. et ce indépendamment de la position des autres particules. en utilisant la variable aléatoire indicatrice 1{Xk =j} = 1 si Xk = j. une probabilité de transition ne peut converger que vers 0. on obtient donc que 1 n n−1 P r (Xk = j|X0 = i) = E k=0 Nj (n) X0 = i .2 *Exemples 4 à long terme une probabilité 1/2 d'être dans A plutôt que dans B . Question 3 : En général on s'attend toujours à ce que 1 n→∞ n n−1 P r (Xk = j|X0 = i) = lim k=0 m j 1 2 m . 2 Il est à noter que cette limite est celle prédite par la loi binomiale. n . Cette probabilité de transition du temps 0 au temps n ne converge pas. On est alors dans le contexte de m épreuves indépendantes de Bernoulli avec 1/2 comme probabilité de succès à chaque épreuve.1. En eet. Le nombre total de succès suit en conséquence une loi binomiale. puisque les valeurs 0 et 1 alternent. 0 sinon. par exemple. la moyenne temporelle jusqu'au temps n converge. Question 2 : Attention cependant à la périodicité : le nombre de particules dans le compartiment A prend en alternance des valeurs paires et impaires. Conséquemment. on a que P r (Xk = j|X0 = i) = E 1{Xk =j} |X0 = i . Toutefois. Dans le cas extrême où m = 1. Il est à noter que la limite prédite ne dépend pas de i. 1 si n est pair. l'état initial du système. Par la linéarité de l'espérance. on obtient que P r (Xn = 1|X0 = 1) = 0 si n est impair. Cette limite représente la proportion moyenne de temps à long terme avec j particules dans le compartiment A. et sa limite est donnée par 1 n→∞ n n−1 lim k=0 1 P r (Xk = 1|X0 = 1) = . . . La loi conditionnelle du nombre de gènes de type A à la génération n + 1 est binomiale de paramètres N et i/N .2 Modèle de Wright-Fisher en génétique des populations Le modèle de Wright-Fisher est le plus utilisé en génétique des populations. garantit que Xn pour n ≥ 0 est une martingale. Étant donné que Xn = i. On considère une population de N gènes à générations séparées sans chevauchement. la probabilité de tirer au hasard un gène de type A dans la génération n est i/N . En eet. .2. En l'absence de sélection et de mutation. 1. On dé nit Xn comme le nombre de gènes de type A à la génération n ≥ 0. Voici quelques questions qui se posent au sujet de cette chaîne de Markov à temps discret. . car la reproduction ne dépend pas du type de gène. N E (Xn+1 |Xn = i) = k=0 N k i N k 1− i N N −k =N i N = i. Quelles conséquences peut-on en tirer ? C'est le sujet du chapitre 4. De plus. N . les N gènes de la génération n + 1 sont obtenus en faisant des copies de N gènes tirés au hasard avec remise dans la génération n. . On s'intéresse à un type donné de gènes. Question 1 : L'espérance du nombre de gènes de type A à la génération n + 1 étant donné i gènes de type A à la génération n est i. Le modèle est neutre. pour k = 0. les copies sont identiques aux originaux. qui découle de la neutralité. 1.1 Chaînes de Markov à temps discret où 5 n−1 Nj (n) = 1{Xk =j} k=0 représente le temps passé avec j particules dans le compartiment A de l'instant 0 à l'instant n − 1. c'est-à-dire N k P r (Xn+1 = k|Xn = i) = i N k i 1− N N −k . Cette propriété. disons A. . sont des états absorbants dans le sens qu'on y reste certainement une fois qu'on les atteint. . . mais diminuée de 1 s'il n'y en a pas. .2. N est éventuellement 0 ou N avec certitude. . La probabilité qu'il soit de type A est donc i/N . Les réclamations font suite à des accidents de la route qui se produisent au hasard dans le temps. . La classe . Supposons que la classe d'un assuré est mise à jour après chaque année de conduite automobile. L'arrivée d'événements au hasard est décrite dans le chapitre 2 par un processus de Poisson. . Cela est le cas si lim P r (1 ≤ Xn ≤ N − 1|X0 = i) = 0. on peut se demander quelle est la probabilité d'atteindre éventuellement l'état N plutôt que l'état 0 à partir de l'état initial i. qui est un gène choisi au hasard parmi tous les gènes initiaux par symétrie. Le nombre de copies de Gj pour chaque j = 1.3 Système de bonus-malus en assurance automobile En assurance automobile. La caractéristique du processus est que le nombre de fois que l'événement se réalise dans un intervalle de temps donné est de loi de Poisson et qu'il est indépendant du nombre d'événements dans n'importe quel autre intervalle de temps disjoint du premier. . Tous les gènes sont donc éventuellement des copies du même gène initial. Elle est alors augmentée du nombre de réclamations durant l'année s'il y en a. . P r (Xn+1 = 0|Xn = 0) = P r (Xn+1 = N |Xn = N ) = 1. 1. GN . n→∞ En supposant cette condition véri ée. on devrait avoir lim P r (Xn = N |X0 = i) = n→∞ i . . Gi sont de type A. . qui correspondent à l'extinction de A et la xation de A. respectivement.1. Une façon d'obtenir la réponse est de distinguer les gènes initiaux.2 *Exemples 6 Question 2 : Les valeurs 0 et N pour Xn . disons G1 . . qui est l'exemple le plus important de chaîne de Markov à temps continu. la prime d'un assuré peut diminuer si aucune réclamation n'est faite durant une période donnée ou augmenter si une ou plusieurs réclamations sont soumises durant une certaine période. Par conséquent. En eet. On peut se demander si ces états sont éventuellement atteints avec certitude. dont G1 . N La con rmation de ce type de résultats est l'un des objectifs du chapitre 1. les périodes de fonctionnement et de réparation se succèdent en alternance. à l'état du système Xt . mais P r (Xn+1 = i − 1|Xn = i) = P r (Xn+1 = 0|Xn = 0) = e−λ . Cela reste à con rmer. Elles se terminent respectivement par une panne ou une remise en service. . respectivement. on s'attend à ce qu'il soit en fonctionnement une proportion moyenne de temps à long terme donnée par µ/(µ + ν). Le paramètre λ représente un taux de réclamations.1 Chaînes de Markov à temps discret 7 initiale est 0 et elle ne peut pas descendre plus bas. Les questions qui se posent ici au sujet de cette chaîne de Markov à temps discret sont de savoir si lim P r (Xn = j|X0 = 0) = πj ≥ 0. pour i ≥ 1. il correspond à un processus semi-markovien. le nombre de changements d'état et l'état du système sont des chaînes de Markov à temps continu.4 Modèle d'entretien en théorie de la abilité Un dispositif peut être ou bien en état de fonctionnement. La première est en fait un processus de naissance sur un nombre in ni d'états. pour tout instant t ≥ 0.2. Cette limite πj devrait correspondre à la proportion moyenne d'années à long terme qu'un assuré passe dans la classe j. De plus. On fait l'hypothèse que les temps de fonctionnement et de réparation sont des variables aléatoires indépendantes d'espérance µ et ν . Le nombre de changements d'état au cours du temps est un processus de renouvellement tel que dé ni au chapitre 3. n→∞ et d'identi er la limite si elle existe. Si Xn représente la classe d'un assuré après n années de conduite automobile. alors P r (Xn+1 = i + k|Xn = i) = λk −λ e . Quant. ou bien en état de réparation. Quant à l'état du système. Dans le cas où les temps de fonctionnement et de réparation sont de loi exponentielle. Le nombre de changements d'état est évidemment un processus croissant vers l'in ni. 1. k! pour k ≥ 1 et i ≥ 0. Sa valeur dépend du groupe de l'assuré. . Xn−1 = in−1 .3. Les transitions du temps 0 au temps n sont illustrées dans la Figure 2. L'indice n représente habituellement le temps. Xn−2 = in−2 . . En eet. . . .3. . . C'est l'hypothèse faite à partir de maintenant à moins d'indication contraire. c'est-à-dire toutes les distributions conjointes. . . X0 = i0 ) = Pin−1 . . . . .in × Pin−2 . la chaîne est dite homogène.2 Matrice de transition en n pas La matrice de transition en n pas pour tout n ≥ 1 est la matrice P (n) dont l'entrée sur la rangée i et dans la colonne j est donnée par (n) Pij = P r (Xn = j|X0 = i) . La matrice de transition et la distribution de X0 déterminent complètement la chaîne. . . C'est la propriété markovienne. Xn−1 = in−1 . . .in−1 × · · · × Pi0 . .i1 × P r (X0 = i0 ) . . 1. la dernière égalité étant obtenue par induction sur l'entier n ≥ 0. est appelée la matrice de transition. X0 = i0 ) × P r (Xn−1 = in−1 . . et ce pour tous les états in . La matrice P dont l'entrée sur la rangée i et dans la colonne j est donnée par Pij = P r (Xn+1 = j|Xn = i) . in−1 . pour tous les états i et j . . i0 .3 Dé nitions 1. X0 = i0 ) = Pin−1 . . i.in × P r (Xn−1 = in−1 . . . X0 = i0 ) = P r (Xn+1 = j|Xn = i) pour tous les états j.1. ) telle que P r (Xn+1 = j|Xn = i. . . 2. on obtient que P r (Xn = in .3 Dé nitions 8 1. Lorsque les probabilités de transition ci-dessus sont stationnaires (c'est-à-dire les mêmes pour tout n ≥ 0). . . . 1. X0 = i0 ) = P r (Xn = in |Xn−1 = in−1 .1 Chaîne de Markov à temps discret Une chaîne de Markov à temps discret est une suite de variables aléatoires {Xn }n≥0 à valeurs dans un espace d'états ( ni ou in ni) dénombrable (habituellement dénotés par 0. . en utilisant la dé nition de la probabilité conditionnelle et la propriété markovienne. i0 et tout entier n ≥ 0. . . (n) Pij = 1 pour tout i. j . car Pij est une probabilité et la somme sur j pour tout i xe donne la probabilité de l'ensemble de toutes les transitions possibles à partir de i. appelée l'équation de Chapman-Kolmogorov. Par stationnarité. j et pour tout 0 ≤ k ≤ n. Propriété 3. De plus on a les propriétés suivantes : Propriété 1. (n) j (n) Pij = (k) l (n−k) Pil Plj (0) Pij = pour tout i. avec 0 ≤ Pij ≤ 1 pour tout i. P (n) = P n pour tout n ≥ 0. 1 si i = j. (n) Les propriétés 1 et 2 sont immédiates. ou en notation matricielle P (n) = P (k) P (n−k) pour tout 0 ≤ k ≤ n. 0 sinon. on a (n) Pij = P r (Xn+k = j|Xk = i) . avec P (0) = I où I désigne la matrice identité. pour tout k ≥ 0. Propriété 2. La propriété 3. Ces deux propriétés signi ent que la matrice de transition en n pas est une matrice stochastique. Propriété 4.1 Chaînes de Markov à temps discret 9 in i1 i2 i0 0 1 in−1 i3 2 n−1 3 n Figure 2 Exemple de transitions du temps 0 au temps n. est obtenue en conditionnant sur l'état à un instant intermédiaire k entre 0 et n et en . pour tous les états i et j . 3 Exemple : Le temps d'un jour au suivant Supposons que le temps qu'il fera demain. X0 = i) P r (Xk = l|X0 = i) l = P r (Xn = j|Xk = l) P r (Xk = l|X0 = i) l = P r (Xn−k = j|X0 = l) P r (Xk = l|X0 = i) . c'est-à-dire P (1) = P . La propriété 4 est donc vraie pour n = 1 et.1. Le cas n = 0 est trivial par dé nition. l j i 0 k n Figure 3 Représentation de l'équation de Chapman-Kolmogorov. l pour tout i. alors P (n) = P (n−1) P (1) = P n−1 P = P n .) En n la propriété 4 découle de l'équation de Chapman-Kolmogorov et du fait que la matrice de transition en un pas est la matrice de transition elle-même.3 Dé nitions 10 utilisant la stationnarité. si elle est vraie pour n − 1 ≥ 1. (Voir la Figure 3. étant donné le temps qu'il fait aujourd'hui ne dépende pas du temps qu'il faisait les jours précédents. Xk = l|X0 = i) l = P r (Xn = j|Xk = l. d'où l'importance de pouvoir calculer la puissance d'une matrice. Désignons par Sn l'événement que le jour n ≥ 0 est ensoleillé et par Nn celui qu'il est nuageux. j et pour tout 0 ≤ k ≤ n. disons ou bien S pour ensoleillé ou bien N pour nuageux. La matrice de transition en n pas est donc donnée par la n-ième itération de la matrice de transition. Cela donne P r (Xn = j|X0 = i) = P r (Xn = j. 1.3. Les probabilités conditionnelles suivantes sont données : . 2. 8. Supposons maintenant qu'on est lundi et que c'est ensoleillé. . 6672 2 . 2 0.1 Chaînes de Markov à temps discret 11 P r (Sn+1 |Sn ) = 0. Remarquons que cette probabilité est (4) très près de P10 = 0. 4 0. soit l'entrée (0. 3328 0. En fait les deux lignes de la matrice de transition en 4 pas sont pratiquement identiques. 32 0. 4 0. La suite {Xn }n≥0 est une chaîne de Markov à temps discret sur les états 0 et 1 dont la matrice de transition P est donnée par P = 0. 36 0. Puisque vendredi est dans quatre jours. 6 . 3328. 0) de la matrice de transition en 4 pas. On a alors P r (Nn+1 |Sn ) = 1 − P r (Sn+1 |Sn ) = 0. 3344 0. 8 0. 6656 0. 68 = 0. Soit Xn = 0 si Sn se réalise. On veut connaître la probabilité que le vendredi suivant soit ensoleillé. 6 = 0. 8 0. 2 0. Ceci n'est pas un hasard comme nous le verrons plus loin. 3344. (4) Nous concluons que P00 = 0. P r (Sn+1 |Nn ) = 0. 64 0. ce qui signi e que l'état de départ ne fait pratiquement plus de diérence après seulement 4 pas. et Xn = 1 si Nn se réalise. 4. Nous obtenons pour cette matrice P (4) = P 4 4 = 0. on doit calculer (4) P r (X4 = 0|X0 = 0) = P00 . P r (Nn+1 |Nn ) = 1 − P r (Sn+1 |Nn ) = 0. 6. P r (Sn+1 |Nn . 1) dans cet ordre dont la matrice de transition est donnée par 0. 3 0 0. Xn−1 ) pour n ≥ 1. La suite {Yn }n≥1 . P r (Sn+1 |Sn . signi ent que P r (Xn+1 = 0|Xn = 0. Xn−1 = 0) = P r (Xn+1 = 0|Xn = 0. 5 0 0. 3 0 0. dé nie par Yn = (Xn . Nn−1 ) = 0. 5 On a. Sn−1 ) = 0. 7 0 P = 0 0. 1)) = P r (Nn+1 . Nn−1 ) = 1 − P r (Sn+1 |Sn . 1.3. 0).1. mais supposons maintenant que c'est le temps qu'il fera demain étant donné le temps qu'il fait aujourd'hui et le temps qu'il faisait hier qui ne dépende pas du temps des jours précédents avec les probabilités conditionnelles suivantes : P r (Sn+1 |Sn . Xn−1 = 1) .3 Dé nitions 12 1. 7. et (1. 7 .4 Exemple : Le temps sur deux jours consécutifs Reprenons l'exemple précédent. 9 0 0. par exemple. par exemple. 1 0 0. 0 0. est une chaîne de Markov à temps discret sur les états (0. Sn |Sn . P r (Sn+1 |Nn . (1. On procède de même pour les autres entrées de la matrice de transition. P r (Yn+1 = (1. Sn−1 ) = 0. car les deux premières probabilités conditionnelles ci-dessus. . 0)|Yn = (0. 3. 3 = 0. On peut cependant retrouver une chaîne de Markov en considérant le temps qu'il fait sur les deux derniers jours d'un jour au suivant. 0). Nn−1 ) = P r (Nn+1 |Sn . Nn−1 ) = 1 − 0. On pourrait considérer de façon analogue un nombre quelconque d'états pour le temps et un nombre quelconque de jours précédents avant d'avoir l'indépendance. 3. (0. La suite {Xn }n≥0 n'est plus une chaîne de Markov. Nn−1 ) = 0. 1). 5. respectivement. et donc la n-ième puissance de P . si elle est vraie pour n − 1. Nous obtenons alors que P n = QΛn Q−1 . b ≤ 1.1 Chaînes de Markov à temps discret 13 1. où Λ= λ1 0 0 λ2 est la matrice diagonale des valeurs propres. alors P n = P P n−1 = QΛQ−1 QΛn−1 Q−1 = QΛΛn−1 Q−1 = QΛn Q−1 .5 Chaîne de Markov sur deux états Dans le cas général d'une chaîne de Markov sur deux états. Supposons en fait que 0 < a. où 0 ≤ a. la matrice de transition est de la forme 1−a a b 1−b P = . Pour calculer la matrice de transition en n pas. qui est équivalente à λ2 − (2 − a − b) λ + (1 − a − b) = 0. du fait que Q−1 Q = I . Nous avons l'expression P = QΛQ−1 . 0 et 1. En eet. Q est une matrice dont les colonnes sont des vecteurs propres à droite correspondants et Q−1 une matrice dont les rangées sont des vecteurs propres à gauche correspondants. On trouve les solutions λ1 = (2 − a − b) + (2 − a − b)2 − 4(1 − a − b) =1 2 . cette équation est vraie pour n = 1 et. Les valeurs propres sont obtenues en solutionnant l'équation det(P − λI) = (1 − a − λ) (1 − b − λ) − ab = 0.3. nous allons diagonaliser cette matrice. Cela découle des équations P Q = QΛ et Q−1 P = ΛQ−1 . b < 1 de telle sorte que toutes les probabilités de transition sont positives. pour tout n ≥ 1. b < 1. La matrice de transition en n pas est alors donnée par P (n) = P n = 1 1 b 1 −a b a+b a a+b 1 0 0 (1 − a − b)n a a+b a − a+b . donc (1 − a) x1 + ax2 = λx1 .1. Cela signi e que la chaîne oublie son état initial à mesure que le temps s'écoule. Puisque −1 < 1 − a − b < 1 lorsque 0 < a. La limite de la matrice de transition en n pas lorsque n → ∞ a donc des lignes identiques. λ2 . 2 (2 − a − b) − D'autre part les vecteurs propres à droite doivent satisfaire l'équation x1 x2 P =λ x1 x2 . ce qui peut s'écrire sous la forme x2 = x1 (λ + a − 1) . on obtient que P 1 1 b 1 −a P = 1 1 b 1 −a = 1 1 b 1 −a 1 0 0 1−a−b . on a convergence vers une distribution de probabilité qui est donnée par un vecteur propre à gauche de P associé à la valeur propre 1 dont les composantes sont positives . on obtient sous cette condition que lim P (n) = n→∞ b a+b b a+b a a+b a a+b .3 Dé nitions 14 et λ2 = (2 − a − b)2 − 4(1 − a − b) = 1 − a − b. a En faisant x1 = 1 et λ = λ1 . d'où b a+b a a+b 1 0 0 1−a−b a a+b a − a+b . quel que soit l'état initial. De plus. 4 1 = = .4. C'est un cas particulier du théorème ergodique. Cette convergence découle du fait que la matrice stochastique P a une valeur propre 1 qui possède un vecteur propre à droite dont toutes les composantes sont 1 et que cette valeur propre est simple et dominante. la case . une souris est placée dans un labyrinthe de 9 cases disposées selon un damier 3 × 3. 4.4 Méthode de conditionnement sur la première transition 1. 1. qui est le résultat à venir le plus important sur les chaînes de Markov. 2 3 Les calculs eectués dans cet exemple montrent que cette limite est déjà pratiquement atteinte lorsque n = 4. 8 et b = 0.1 Chaînes de Markov à temps discret 15 et de somme égale à 1. Dans l'exemple du temps d'un jour au suivant. on a a = 0.1 Exemple : Promenade aléatoire dans un labyrinthe Dans cet exemple. a+b 1. 0 1 7 souris fromage 2 3 4 8 5 6 choc Figure 4 Souris dans un labyrinthe. ce qui donne b 0. Les cases sont numérotées de 0 à 8. La souris se promène dans ce labyrinthe en se déplaçant d'une case à la fois et en choisissant chaque fois au hasard l'une des cases adjacentes accessibles. Posons ui = P r(atteindre 7 | départ de i). pour n ≥ 0. . Les cases adjacentes communiquent entre elles en excluant cependant les cases en diagonale. 1. et la case 8 à l'extrémité opposée déclenchant un léger choc électrique (voir la Figure 4). . 8. . . ce qui se traduit par P77 = P88 = 1. . 8. Nous désirons calculer la probabilité que la souris atteigne la case 7 contenant le fromage plutôt que la case 8 où elle reçoit un choc étant donné un départ de n'importe quelle case. on obtient le . pour i = 0. On suppose cependant qu'elle s'arrête lorsqu'on atteint l'une des cases 7 ou 8. Soit Xn la position de la souris suite à n déplacements. .1. En conditionnant sur la première transition à partir de i et en utilisant la stationnarité des probabilités de transition. . La promenade est dite aléatoire. La matrice de transition par rapport à ces états dans cet ordre est P = 0 1/2 1/2 0 0 0 0 0 0 1/3 0 0 1/3 0 0 0 1/3 0 1/3 0 0 1/3 0 0 0 0 1/3 0 1/4 1/4 0 1/4 1/4 0 0 0 0 0 0 1/3 0 0 1/3 1/3 0 .4 Méthode de conditionnement sur la première transition 16 7 à l'une des quatre extrémités contenant un morceau de fromage. 1. . La suite {Xn }n≥0 est une chaîne de Markov à temps discret sur les états 0. 0 0 0 1/3 0 0 1/3 0 1/3 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 Les états 7 et 8 sont absorbants. 4. 3 1 u8 . Nous nous intéressons à l'espérance du nombre de lancers eectués et du nombre de faces obtenues jusqu'à la n du jeu en supposant que la pièce est équilibrée et que les lancers sont indépendants. 2 1 u7 . 3 avec u7 = 1 et u8 = 0. Ce système se simpli e en utilisant la condition de symétrie u0 = u3 = u6 = 1/2 sous l'hypothèse que la promenade aléatoire se termine à la case 7 ou à la case 8 avec probabilité 1. 3 Il est facile de véri er que c'est bien la solution du système complet.1 Chaînes de Markov à temps discret 17 système d'équations linéaire suivant : 1 u0 = u1 + 2 1 u1 = u0 + 3 1 u2 = u0 + 3 1 u3 = u1 + 4 1 u4 = u3 + 3 1 u5 = u3 + 3 1 u6 = u4 + 2 1 u2 . 1. 4 4 1 u7 . 3 1 1 u4 + u5 . 3 1 u8 . Le tableau 1 présente les quatre états possibles selon les résultats des trois derniers lancers avec F pour face. et X pour pile ou face. On trouve alors que 1 3 1 u2 = u5 = 3 u1 = u4 = 1 1 1 1 + · + ·1= 2 3 2 3 1 1 1 1 · + · + ·0= 2 3 2 3 · 2 . Pour eectuer les calculs. . 3 1 . 2 1 u3 + 3 1 u3 + 3 1 u2 + 4 1 u6 + 3 1 u6 + 3 1 u5 .2 Exemple : Jeu de pile ou face Dans l'exemple suivant. nous allons considérer la chaîne de Markov sur le nombre de faces consécutives avant un lancer jusqu'à un maximum de trois. un joueur lance une pièce de monnaie jusqu'à ce qu'il obtienne trois faces consécutives. Les probabilités initiales de ces résultats sont également données. P pour pile. 1. 8 8 4 2 Remarquons que cela correspond au nombre espéré de lancers supplémentaires avant la n du jeu à partir d'une pile. . on obtient le système d'équations suivant : 1 τ2 = τ3 + 2 1 τ1 = τ2 + 2 1 τ0 = τ1 + 2 1 τ0 + 1. Le premier lancer supplémentaire doit cependant être ajouté à la nouvelle espérance dans tous les cas. le nombre espéré de lancers avant la n du jeu est donnée par 1 1 1 1 3 + τ3 + τ2 + τ1 + τ0 = 14. P = 1/2 0 0 1/2 0 0 0 1 L'état 3 qui correspond à F F F marque la n du jeu. On considère maintenant νi = E(nombre de faces supplémentaires avant l'état 3 | état i).18 1. τ3 = 0. sinon il tombe à 0. 2. c'est-à-dire τ0 . Finalement. En conditionnant sur le résultat du premier lancer supplémentaire à partir de i. 3 est 1/2 1/2 0 0 1/2 0 1/2 0 . pour i = 0. ce qui a probabilité 1/2. 2. τ1 = 12 et τ2 = 8. 2 En eet si le résultat du premier lancer supplémentaire est F . 2 1 τ0 + 1. Évidemment. 1. La solution de ce système est donnée par τ0 = 14. 2 1 τ0 + 1. en conditionnant sur les résultats des trois premiers lancers. On dé nit τi = E(nombre de lancers supplémentaires avant l'état 3 | état i).4 Méthode de conditionnement sur la première transition État 3 derniers lancers Probabilité initiale 1/2 · 1/2 · 1/2 = 1/8 3 FFF 1/2 · 1/2 · 1/2 = 1/8 2 PFF 1 XP F 1 · 1/2 · 1/2 = 1/4 0 XXP 1 · 1 · 1/2 = 1/2 La matrice de transition par rapport aux états 0. le nombre de faces consécutives avant le prochain lancer augmente de 1. 3. . 1. Il est intéressant de remarquer que ν0 = τ0 /2. . L'autre joueur a alors un avoir égal à N . ν1 = 6 et ν2 = 4. Les probabilités de transition sont données par Pi. Ici on trouve la solution ν0 = 7. d'où le nombre espéré de faces avant la n du jeu est 1 1 1 (ν3 + 3) + (ν2 + 2) + 8 8 4 ν1 + 3 2 1 + (ν0 + 1) = 7.1 Chaînes de Markov à temps discret 19 pour i = 0. Chaque joueur mise une unité sur chaque partie et le gagnant récolte le tout. 3. 2 1 ν0 . Ce résultat n'est pas un hasard et il découle d'un théorème général en théorie des martingales qui sera présenté dans un autre chapitre.i−1 = 1 − p. On a une chaîne de Markov sur les états 0. Deux joueurs. Le jeu se termine lorsque l'un des deux joueurs est ruiné.i+1 = p.3 Ruine du joueur Cet exemple est le plus important sur les chaînes de Markov. font une série de parties. . Cela signi e que si l'avoir de A est i après n parties. Pi. Le système d'équations pour les autres espérances est cependant diérent : 1 (ν3 + 1) + 2 1 ν1 = (ν2 + 1) + 2 1 ν0 = (ν1 + 1) + 2 ν2 = 1 ν0 . ou i − 1 avec probabilité . ν3 = 0. N avec états absorbants 0 et N . . pour i = 1. . qui ont un avoir total égal à N unités. . 2. 2 C'est que le premier lancer supplémentaire doit être ajouté à la nouvelle espérance seulement si le résultat de ce lancer est F . . Ici encore. et ce indépendamment de toutes les autres parties. 1. ce qui n'est cependant pas le cas. On peut penser que le critère pour la n du jeu favorise les faces. 2 1 ν0 . et P00 = PN N = 1. N − 1. On fait l'hypothèse que 0 < p < 1. On dé nit Xn comme étant l'avoir de A après n parties pour n ≥ 0. 1. alors il est i + 1 avec probabilité p. 2 Ce nombre espéré est donc égal à ν0 . A et B . On suppose que le joueur A a une probabilité p de gagner chaque partie et le joueur B la probabilité complémentaire q = 1 − p. .4. en autant que 1 ≤ i ≤ N − 1. . . en conditionnant sur l'issue de la prochaine partie lorsque l'avoir de A est i = 1. De plus. . . On a donc que k−1 k−1 (ui+1 − ui ) + u0 = uk = i=0 i=0 q p i (u1 − u0 ) + u0 . alors il ne change plus par la suite avec probabilité 1. . . N . 1. On a u0 = 1 et uN = 0. p On en déduit par induction que (ui+1 − ui ) = q p i (u1 − u0 ) . N − 1. pour i = 0. . Si l'avoir de A est 0 ou N .) N : Ruine de B i + 1 probabilité p (0 < p < 1) Avoir de A i i − 1 probabilité q = 1 − p Partie n 0 : Ruine de A n+1 Figure 5 La ruine du joueur. c'est-à-dire (ui+1 − ui ) = q (ui − ui−1 ) . On s'intéresse à la ruine éventuelle du joueur A.4 Méthode de conditionnement sur la première transition 20 q = 1 − p après n + 1 parties. . On dé nit ui = P r (ruine éventuelle de A | avoir initial i pour A) .1. . on obtient que ui = pui+1 + qui−1 . (Voir la Figure 5. On dé nit νi = E (durée du jeu | avoir initial i pour A) . k n 1− q p 1− q p k N si p = q. dans le cas où l'avoir du joueur B est in ni. k si p > q . . . . N . Ceci suggère que. on peut véri er que la probabilité de ruine éventuelle du joueur B est 1 − uk . En laissant tendre l'avoir total des deux joueurs vers l'in ni. 1. On conclut donc que u1 − u0 = − 1 N −1 i=0 q p i . . 1. d'où uk = 1 − k−1 i=0 q p N −1 i=0 q p i i = 1 − 1 − si p = q = 1/2. ayant un avoir total égal à N . si r = 1. c'est-à-dire p ≤ 1/2. En remplaçant k par N − k et p par q . . lorsque l'avoir initial de A est k . c'est-àdire p = q = 1/2. on obtient que lim uk = N →∞ 1 q p si p ≤ q . avec N −1 0 = uN = i=0 q p i (u1 − u0 ) + u0 . c'est-à-dire p > 1/2. . la ruine éventuelle du joueur A est certaine si et seulement si sa probabilité de gagner chaque partie est inférieure ou égale à 1/2. . Donc le jeu se termine avec probabilité 1 par la ruine de l'un des deux joueurs. N . . et u0 = 1. Ici on utilise le fait que k−1 ri = i=0 k 1−rk 1−r si r = 1.1 Chaînes de Markov à temps discret 21 pour k = 0. . pour k = 0. On considère maintenant l'espérance du nombre de parties jusqu'à la ruine de l'un des deux joueurs dans le cas de joueurs de force égale. N . mais surtout que l'espérance est toujours nie. .5 Processus de branchement 22 En conditionnant sur l'issue de la prochaine partie lorsque l'avoir de A est i. On remarque que νN −k = νk . On en déduit alors par induction que (νi+1 − νi ) = (ν1 − ν0 ) − 2i. on obtient que 1 1 νi = νi+1 + νi−1 + 1. . pour k = 0. On déduit nalement que νk = k(N − k). la partie entière de N/2.5 Processus de branchement 1. . avec 0 = νN = N ν1 − N (N − 1). . . Par conséquent. .1 Probabilité d'extinction éventuelle Le processus de Galton-Watson est un processus de branchement qui a été introduit à l'origine pour décrire la transmission de noms de famille de père à ls. pour i = 1. . . ce qui est attendu par symétrie. . 1. que la plus grande espérance est atteinte lorsque k = N/2 . Cette propriété sera utilisée pour la classi cation des états. pour k = 0. 1.5. 2 2 c'est-à-dire (νi+1 − νi ) = (νi − νi−1 ) − 2. ν1 = N − 1. N − 1. N . on a k−1 (νi+1 − νi ) + ν0 νk = i=0 k−1 (ν1 − 2i) = i=0 = kν1 − k(k − 1). .1. avec ν0 = νN = 0. . c'est-à-dire. . . 1. La suite {Zn }n≥0 est une chaîne de Markov à temps discret sur un nombre in ni dénombrable d'états 0. indépendamment de tous les autres individus. 2.1 Chaînes de Markov à temps discret 23 On considère une population à générations discrètes et séparées dans laquelle les individus produisent des copies d'eux-mêmes. . . Génération Nombre d'individus 0 1 Z1 = 3 2 Extinction ou non Z0 = 1 Z2 = 3 n Zn = 0 ou > 0 Figure 6 Processus de branchement de Galton-Watson. On dé nit un = P r (Zn = 0|Z0 = 1) . On suppose que chaque individu à chaque génération produit un nombre k de descendants de première génération avec probabilité pk pour k ≥ 0. L'espérance du nombre de descendants de première génération de chaque individu est m= kpk . avec 0 comme état absorbant. On suppose un seul individu à la génération initiale. c'est-à-dire Z0 = 1. . 1. Cet état correspond à l'extinction de la population. k≥0 Le nombre total d'individus à la génération n ≥ 0 est représenté par Zn . et on s'intéresse à l'extinction éventuelle de la population. La Figure 6 illustre la situation. . 1. le nombre d'individus à la génération 1 est k avec probabilité pk . et la descendance de chacun d'eux sera éteinte à la génération n. soit n − 1 générations plus tard. où pk sk .5 Processus de branchement 24 pour n ≥ 0. En eet. avec u0 = 0. En conditionnant sur le nombre de descendants de première génération produits par l'individu de la génération 0. avec probabilité donnée par un−1 . représente la fonction génératrice pour le nombre de descendants de première génération d'un individu. C'est la probabilité que la population soit éteinte à la génération n étant donné qu'elle commence avec un seul individu à la génération 0. on obtient l'expression un = φ(n) (u0 ) . on obtient l'équation de récurrence pk (un−1 )k . indépendamment de toutes les autres. Ces hypothèses garantissent que la fonction génératrice φ(s) est strictement croissante et strictement convexe pour 0 < s < 1. on a alors φ (s) = d φ (s) = ds kpk sk−1 > 0 k≥1 et φ (s) = d2 φ (s) = ds2 k(k − 1)pk sk−2 > 0. un = k≥0 En eet. Cependant l'extinction peut se produire à une génération antérieure. pour n ≥ 0. Dans ce qui suit. k≥2 . on fait les hypothèses suivantes : Hypothèse 1 : 0 < p0 < 1. qui est la valeur prise par Z1 . Hypothèse 2 : 0 < p0 + p1 < 1. L'équation de récurrence peut s'écrire un = φ (un−1 ) . c'est la probabilité que la descendance d'un individu soit éteinte après n générations. φ (s) = k≥0 pour 0 ≤ s ≤ 1. Autrement dit. En procédant à l'itération de l'équation de récurrence n fois. Celle-ci dépend de la pente à s = 1. Soit u∞ = lim un . Puisque 0 = u0 < p0 = u1 < u. 1] avec une valeur positive à s = 0 et une valeur 1 à s = 1. Cas m > 1. Il existe un point unique 0 < u < 1 tel que φ(u) = u. la seule possibilité est que u∞ = u. on obtient que un < un+1 = φ(un ) < u. c'est-à-dire u1 < u2 = φ(u1 ) < u.1 Chaînes de Markov à temps discret 25 De plus. φ(s) est continue pour 0 ≤ s ≤ 1 avec φ(0) = p0 > 0 et φ(1) = 1. qui est donnée par kpk = m. La Figure 7 illustre cette situation. . elle converge. elle ne peut satisfaire φ(s) = s qu'en un seul autre point s = 1 dans cet intervalle. La courbe de φ(s) étant strictement croissante et de pente strictement croissante sur l'intervalle [0. La suite {un }n≥0 étant croissante et bornée. Mais puisque 0 < u∞ ≤ u. on a aussi par croissance stricte φ(u0 ) < φ(u1 ) < φ(u). pour tout n ≥ 0. La trajectoire des points obtenus par itération de φ(s) à partir de s = 0 dépend de la position de ce point initial par rapport à 1. En répétant l'argument. φ (1) = k≥1 Deux cas sont à considérer. n→∞ On a alors par continuité φ(u∞ ) = u∞ . 1. En conclusion. la probabilité d'extinction éventuelle de la . Comme l'illustre la Figure 8.5 Processus de branchement 26 φ(s) 1 p0 0 = u0 u1 u2 u3 < < u = φ (u) 1 s Figure 7 Graphique de la fonction génératrice φ(s) dans le cas où m > 1. on a le résultat suivant qui s'applique aux deux cas cidessus : Étant donné que Z0 = 1. la courbe de la fonction φ(s) pour 0 ≤ s ≤ 1 ne rencontre alors la diagonale principale qu'au point s = 1. Cas m ≤ 1. Les arguments précédents s'appliquent avec u remplacé par 1. u < 1 si et seulement si m > 1. alors la probabilité d'extinction éventuelle est ui . Remarque : Si Z0 = i. car les i descendances des i individus de la génération initiale doivent être . De plus.1 Chaînes de Markov à temps discret 27 population dé nie par u = lim un n→∞ est la plus petite solution de φ(s) = s pour 0 ≤ s ≤ 1. φ(s) 1 p0 0 = u0 u1 u2 u3 < < u=1 s Figure 8 Graphique de la fonction génératrice φ(s) dans le cas où m ≤ 1. où X1 . . Cette fonction satisfait l'équation de récurrence φn (s) = φn−1 (φ(s)). pour 0 ≤ s ≤ 1. Dans le cas présent les conditions sont satisfaites pour Zn = X1 + · · · + XZn−1 . On en déduit alors par induction que φn (s) = φ(n) (s).5. .2 Distribution asymptotique de la taille de la population La taille de la population à la génération n est donnée par la variable aléatoire Zn . La fonction génératrice de Zn étant donné que Z0 = 1 est dé nie par φn (s) = E(sZn |Z0 = 1). pour tout n ≥ 1. est donnée par E(sZ ) = E(sZ |Y = k)P r(Y = k) k≥0 k = sXi E P r(Y = k) i=1 k≥0 k E(sXi ) P r(Y = k) = k≥0 i=1 φ(s)k P r(Y = k) = k≥0 = ψ(φ(s)).5 Processus de branchement 28 éteintes pour que la population soit éteinte. sont des variables aléatoires indépendantes identiquement distribuées à valeurs entières non négatives et de fonction génératrice φ(s). . Ce résultat découle du fait que la fonction génératrice de Z = X1 + · · · + XY .1. indépendantes de la variable aléatoire Y également à valeurs entières non négatives mais de fonction génératrice ψ(s). ce qui est la n-ième itérée de la fonction φ(s). X2 . 1. pour 0 ≤ s ≤ 1. . Ce résultat suggère une explosion possible de la population à long terme au moins lorsque m > 1. représentent les nombres de descendants de première génération des individus de la génération n − 1. Pour u < s < 1. En eet. n→∞ ∞ si m > 1. j≥1 pour 0 ≤ s < 1 et tout k ≥ 1. on a φ(n) (u) = u pour tout n ≥ 0. L'espérance d'une variable aléatoire correspond à la dérivée de sa fonction génératrice évaluée au point 1. la suite croît vers u comme pour un = φ(n) (0). En n pour s = u. on a de façon analogue une suite qui décroît vers u (voir la Figure 9). et Zn−1 est le nombre total d'individus de la génération n − 1. on a donc 0 si m < 1.1 Chaînes de Markov à temps discret 29 où X1 . lim E (Zn |Z0 = 1) = 1 si m = 1. j≥1 Or lim φ(n) (s) = u. ce qui permet de conclure. . . Pour 0 ≤ s < u. n→∞ Donc dans tous les cas il y a extinction ou explosion de la population à long terme avec probabilité 1. Finalement on obtient que 0 ≤ lim sk P r (Zn = k|Z0 = 1) ≤ lim n→∞ n→∞ sj P (Zn = j|Z0 = 1) = 0. de fonction génératrice ψ(s) = φn−1 (s). . Asymptotiquement. cela donne E (Zn |Z0 = 1) = φn (1) =φ φ(n−1) (1) · φ = φ (1) φ(n−2) (1) · · · · · φ φ(1) · φ (1) n = mn . En fait on peut montrer que lim P r (Zn = k|Z0 = 1) = 0 pour tout k ≥ 1. n→∞ pour 0 ≤ s < 1. . où u est la probabilité d'extinction éventuelle de la population. tous de fonction génératrice φ(s). Pour Zn étant donné que Z0 = 1. on a φ(n) (s) = un + sj P (Zn = j|Z0 = 1). X2 . 3 Ruine du joueur contre un adversaire in niment riche On reprend le problème de la ruine du joueur mais en supposant que l'avoir de l'adversaire B est in ni. Donc l'avoir du joueur A après chaque partie. 1. Lorsque le joueur A n'a plus aucun avoir.1. et donc qu'il est ruiné. indépendamment de l'issue de toutes les autres parties. augmente d'une unité avec probabilité p ou diminue d'une unité avec probabilité 1 − p. On suppose 0 < p < 1. On s'intéresse à la ruine éventuelle du joueur A étant donné un avoir initial égal à i.5.5 Processus de branchement 30 φ(s) 1 0 s u = φ (u) s 1 Figure 9 Graphique de la probabilité d'extinction éventuelle. La situation peut être décrite par un processus de branchement en ima- . le jeu s'arrête. en autant qu'il est positif. Avoir de A i + 1 probabilité p Z0 = i Z1 i − 1 probabilité q Partie 0 : Ruine de A 0 1 i Figure 10 Première ronde de parties d'un joueur contre un adversaire in niment riche. On a donc P r (ruine éventuelle de A | avoir initial i pour A) = ui . c'est-à-dire. représenté par Zn . La ruine éventuelle du joueur A dont l'avoir initial est i correspond alors à l'extinction éventuelle de la population étant donné i individus à la génération initiale. puis qu'il recommence avec son nouvel avoir à la n de la ronde. où u = φ(u) = (1 − p) + pu2 .1 Chaînes de Markov à temps discret 31 ginant que le joueur A mise à tour de rôle les i unités de son avoir initial. Les deux solutions possibles sont u= 1± 1 − 4p(1 − p) 1 ± (1 − 2p) = . si p ≤ 1/2. Cela est illustré dans les Figures 10 et 11. une unité de mise à un individu qui peut en produire 2 avec probabilité p ou aucun avec probabilité q = 1 − p. et l'avoir de A après la n-ième ronde au nombre d'individus à la génération n. 2p 2p On conclut que u= 1−p p 1 si p > 1/2. Une ronde correspond à une génération de la population. . Z0 = i. qu'il multiplie chacune par 2 avec probabilité p ou 0 avec probabilité 1 − p. Dans le cas où la ruine éventuelle de A est certaine. La ruine éventuelle de A est donc certaine si et seulement si p ≤ 1/2. =i n≥0 où m = 0 × (1 − p) + 2 × p = 2p.5 Processus de branchement 32 Avoir Ronde Z0 = i 0 2 probabilité p 2 probabilité p 0 probabilité q 0 probabilité q Z1 au total 1 Zn = 0 ou > 0 n Figure 11 Processus de branchement pour modéliser l'avoir d'un joueur contre un adversaire in niment riche. . On a alors wi = E Zn Z0 = i n≥0 E (Zn |Z0 = i) = n≥0 iE (Zn |Z0 = 1) = n≥0 mn . on dé nit wi = E(nombre de parties jusqu'à la ruine de A | avoir initial i pour A).1. Un état i est périodique si d(i) > 1 et apériodique sinon (d(i) = 0 ou 1).9. alors l'état est transitoire. .6. 1. Sinon (fii < 1). Par convention. Sinon (µi < ∞).d. si p = 1/2.3) que d(i) = 1 si et seulement si Pii > 0 pour tout n ≥ N (i) pour un certain entier N (i) ≥ 1.{n ≥ 1 : Pii (n) > 0}. c'est-à-dire.c.1 Chaînes de Markov à temps discret 33 Par conséquent. si et seulement si m < 1. on obtient que wi = i 1−2p ∞ si p < 1/2. (b) Un état récurrent i est récurrent nul si µi = E(temps de premier retour à i | départ de i) = ∞.g. (c) La période d(i) d'un état i est dé nie par d(i) = p.6 Classi cation des états Il y a plusieurs types d'état. alors l'état est récurent positif. (d) Un état récurrent positif apériodique est dit ergodique. La classi cation des états d'une chaîne de Markov joue un rôle essentiel dans l'étude de son comportement asymptotique. L'espérance du nombre de parties avant la ruine de A est donc nie si et seulement si p < 1/2. Il est montré (n) dans l'appendice (section 1. 1.1 Dé nitions (a) Un état i est récurrent si fii = P r(retour à i | départ de i) = 1. Ici le temps est mesuré en nombre de transitions. d(i) = 0 si l'ensemble ci-dessus est vide. puis on fait la boucle 1. d(2) = 2. car on retourne à 2 à partir de 2 avec probabilité positive seulement en 2k pas.2 Exemples Dans les exemples ci-dessous les états sont représentés par des cercles numérotés et les transitions de probabilité positive par des èches. (a) Dans l'exemple de la Figure 12. 2 2 2 En eet pour ne plus retourner à 2 à partir de 2.6.1. puis à 0 (probabilité 1/2). 2 2 4 En eet on ne retourne pas à 2 à partir de 2 si on va à 1 (probabilité 1/2). avec les mêmes probabilités. la probabilité résultante est 0. 0. 4. car P r(ne jamais retourner à 2 | départ de 2) = 2 · 1 1 1 · · 1 · · 1 · · · · = 0. 1 1/2 0 1 1/2 1/2 2 1/2 1/2 3 1 4 1/2 Figure 13 Exemple (b).6 Classi cation des états 34 1. 1 0 1/2 1 1/2 1/2 1/2 2 1/2 3 1/2 4 1 Figure 12 Exemple (a). (b) Dans l'exemple de la Figure 13. puis on fait la boucle 3. car P r(ne jamais retourner à 2 | départ de 2) ≥ 1 1 1 · · 1 · 1 · · · · = > 0. l'état 2 est récurrent. soit on va à 3. deux situations sont possibles : soit on va à 1 (probabilité 1/2). pour tout k ≥ 1. De plus. car on retourne par la suite à 0 (probabilité 1) une . 3 une in nité de fois. Dans les deux cas. 1 (probabilité 1/2 · 1) une in nité de fois . l'état 2 est transitoire. car P r(ne jamais retourner à 0 | départ de 0) = 1 1 1 · · · · · · = 0. (c) Dans l'exemple de la Figure 14. De plus. d(2) = 2 pour la même raison que dans l'exemple (a). in nité de fois. ce qui a probabilité 0. il faut en eet aller 1 (probabilité 1/2). De plus l'état 0 est apériodique. puis retourner à 1 (probabilité 1/2) une in nité de fois. 2 2 2 Ici pour ne plus retourner à 0 à partir de 0. 2 (1) P00 = Finalement l'état 0 est récurrent positif. k≥0 s= 1 2 1 1−s 1 1−s s= 1 2 2 1 s= 2 . car 1 > 0. car l'espérance du temps de premier retour à 0 à partir de 0 est µ0 = 1 2 k k≥1 = 1 2 k k−1 1 2 k k≥1 = = = 1 d 2 ds sk 1 d 2 ds 1 2 = 2. l'état 0 est récurrent.1 Chaînes de Markov à temps discret 1/2 35 1/2 1/2 0 1 1/2 Figure 14 Exemple (c). 3 Critères de classi cation Les critères de classi cation des états suivants servent à démontrer de nombreux résultats théoriques. Or. et donc 0 est récurrent positif. c'est-à-dire µ0 = 1+ 1 1−2p ∞ si p < 1 . la probabilité de retourner à 0 à partir de 0. 1 0 p p 1 q =1−p 2 q =1−p 3 q =1−p Figure 15 Exemple (d). il est transitoire si p > 1/2 et récurrent si p ≤ 1/2. est égale à la probabilité d'atteindre 0 à partir de 1. 2 si p ≤ 1 . puisqu'on va à 1 à partir de 0 avec probabilité 1. µ0 . L'état 0 est périodique de période 2 pour la même raison que dans l'exemple (a). (d) L'exemple de la Figure 15 décrit une situation identique au problème de la ruine du joueur contre un adversaire in niment riche. Ils illustrent également le fait qu'un état récurrent nul partage une propriété avec un état récurrent positif et une propriété avec un état transitoire. sauf qu'un bon samaritain donne l'équivalent d'une mise au joueur lorsque celui-ci est ruiné.6. cette probabilité correspond à la probabilité de ruine éventuelle du joueur à partir d'un avoir initial de 1. De plus. 1. elle est donnée par 1 plus l'espérance du nombre de parties jusqu'à la ruine du joueur à partir d'un avoir initial égal à 1. La démonstration de ces critères est reportée .6 Classi cation des états 36 qui est ni. 2 1 Quant à l'espérance du temps de premier retour à 0 à partir de 0. L'espérance est alors nie. On suppose que 0 < p < 1. En eet. 2 1 si p = 2 . lorsque 0 est récurrent.1. On conclut que l'état 0 est ergodique. c'est-à-dire f00 = 1−p p < 1 si p > 1 . si et seulement si p < 1/2. f00 . Cette relation binaire est une relation d'équivalence. si j est accessible à partir de i. c'est-à-dire Pij > 0 pour un certain n ≥ 0. (a) Un état i est récurrent si et seulement si (n) Pii = ∞. n≥1 (n) Sinon il est transitoire.4 Partition des états L'espace des états d'une chaîne de Markov peut être décomposé en classes d'équivalence. et alors nécessairement limn→∞ Pii = 0. 2 et 3 ci-dessous sont reportées à une section ultérieure. symétrique : j ↔ i si i ↔ j . De nition Deux états i et j communiquent.1 Chaînes de Markov à temps discret 37 à une section ultérieure. . donc (m) Pji > 0 pour un certain m ≥ 0. (n) et de même si i est accessible à partir de j . De plus les états appartenant à une même classe sont alors de même type et de même période. ce qui est noté i ↔ j . Cela s'avère utile pour déterminer le type d'une classe d'états. En eet elle est : (0) ré exive : i ↔ i. (b) Un état récurrent i est récurrent nul si et seulement si (n) lim Pii n→∞ = 0.6. En n certains types d'état sont exclus si le nombre d'états est ni. puisque Pii = 1 > 0 . Les démonstrations des propositions 1. par dé nition . Sinon il est récurrent positif. 1. qui sont aussi le type et la période de la classe. (c) i et j ont la même période. alors fki = fkj pour tout état k. et 0 autrement.1. périodique. m ≥ 0. Proposition 2 (a) Si un état i est récurrent. Lorsqu'il y a une seule classe. Donc une classe récurrente est fermée. (b) i est récurrent positif si et seulement si j est récurrent positif . et qu'un état récurrent est ou bien récurrent positif ou bien récurrent nul. c'est-à-dire Pij = 0 pour tout n ≥ 1 et tout j i. la chaîne est dite irréductible. puisqu'alors Pij Pjk > 0 pour certains m. ergodique selon le type de ses états. alors fij = P r(visite future à j | départ de i) = 1 (n) pour tout j ↔ i. l Par conséquent. Proposition 3 Si le nombre d'états est ni. Une classe (ou une chaîne irréductible) est dite transitoire. les états d'une même classe sont de même type et de même période.6 Classi cation des états 38 (n) (m) transitive : i ↔ k si i ↔ j et j ↔ k. alors : (a) i est récurrent si et seulement si j est récurrent . Puisqu'un état est ou bien récurrent ou bien transitoire. et donc (n+m) Pik (n) = (m) Pil Plk (n) (m) ≥ Pij Pjk > 0. alors : . (b) Si i et j sont des états dans la même classe récurrente. c'est-à-dire Pij Pji > 0 pour certains n. l'ensemble des états peut être décomposé en classes d'équivalence. Proposition 1 (n) (m) Si i ↔ j . récurrente positive ou nulle. n ≥ 0. 3. 0 0 0 0 0 1 1/2 0 1/2 0 0 0 0 1 0 0 0 0 Il y a trois classes d'états tel qu'illustré dans la Figure 16 : 0 4 1 2 5 3 Figure 16 Exemple de partition des états. 1. 2.c. car non fermée. (b) Dans tous les cas. 4} transitoire.5 Exemple de partition des états Une chaîne de Markov à temps discret sur les états 0. car non fermée. car d(0) = p.6. {0. et apériodique. 4.{2k : k ≥ 1} = 2. il y a au moins un état récurrent. et périodique de période 2. 5 dans cet ordre a des probabilités de transition en un pas données par la matrice P = 0 1/3 1/3 0 1/3 0 0 0 0 1/2 0 1/2 0 1/2 0 0 0 1/2 . {2} transitoire.1 Chaînes de Markov à temps discret 39 (a) Tous les états récurrents sont récurrents positifs. car d(2) = 0. 1. Corollaire : Une chaîne irréductible (et toute classe fermée) sur un nombre ni d'états est récurrente positive. .d.g. . 3. Des simpli cations sont possibles ont utilisant la Proposition 2 de la section 1.7 Théorème ergodique et distribution stationnaire 40 {1. (b) Dans tous les cas. . 1.c. Ils décrivent la situation à long terme. µj fij = P r(visite future à j | départ de i) µj = E(temps de premier retour à j | départ de j).4. c'est-à-dire après un très long moment ou sur une très longue période de temps. 1. Les démonstrations sont reportées à une section ultérieure. et apériodique.7. Leur utilisation est illustrée par plusieurs exemples. Les démonstrations sont plus simples dans le cas où le nombre d'états est ni.7 Théorème ergodique et distribution stationnaire Cette section présente les résultats principaux sur les chaînes de Markov.5. .{2.1. car fermée sur un nombre ni d'états. donc ergodique.d. 3.g. on a : 1 lim n→∞ n n−1 (k) Pij = fij × k=0 Remarque 1 : Les probabilités 1 . car d(1) = p. 5} récurrente positive.} = 1.1 Théorème ergodique (a) Dans tous les cas sauf peut-être dans celui où j est récurrent positif périodique. µj fij se calculent par la méthode de conditionnement sur la première transition. on a : (n) lim Pij = fij × n→∞ où et 1 . . n où n−1 Nj (n) = 1{Xk =j} k=0 est le nombre de visites à j du temps 0 au temps n − 1. on a µ−1 = 0. la quantité µ−1 repréj sente la fraction moyenne à long terme de visites à j à partir de j (voir la Figure 17). donc avec une seule classe d'états.1 Chaînes de Markov à temps discret 41 Remarque 2 : Pour tout état j récurrent nul ou transitoire. si et seulement si les conditions suivantes sont satisfaites : (a) πj > 0 pour tout j . j Remarque 3 : Pour tout état j récurrent positif. En eet on a alors µ−1 = j = = 1 n→∞ n n−1 (k) Pjj lim lim n→∞ 1 n k=0 n−1 1{Xk =j} |X0 = j E k=0 lim E n→∞ Nj (n) X0 = j .2 Distribution stationnaire Une suite nie ou in nie dénombrable π = (πj ) est une distribution stationnaire pour une chaîne irréductible. temps moyen µj j temps moyen µj Figure 17 Retours à un état récurrent j . 1.7. . (b) j πj = 1 . c'est-à-dire Pij = 1. on a µ−1 = πj . dont la matrice de transition est doublement stochastique admet une distribution stationnaire uniforme donnée par πi = N −1 pour i = 0. alors que la condition (c) représente l'équation de stationnarité. N − 1. les trois conditions pour une distribution stationnaire sont trivialement satisfaites. . En eet. 1. j Remarque 1 : Les équations de stationnarité ont ainsi l'interprétation suivante : la fraction moyenne à long terme de visites à l'état j est égale à la somme des fractions moyennes à long terme des visites aux états i suivies immédiatement d'une transition à l'état j . celle-ci signi e que π est un vecteur propre à gauche de la matrice de transition P associée à la valeur propre 1. Dans ce cas la distribution stationnaire est unique et donnée par πj = µ−1 pour tout j .42 1. .7. c'est-à-dire π = πP en notation matricielle.7.7 Théorème ergodique et distribution stationnaire (c) πj = Σi πi Pij pour tout j . numérotés 0. À noter que le vecteur dont toutes les composantes sont égales à 1 est un vecteur propre à droite correspondant. . N − 1. .4 Théorème sur la distribution stationnaire Une chaîne irréductible a une distribution stationnaire (πj ) si et seulement si elle est récurrente positive. où (πj ) est une distribution j stationnaire pour la chaîne de Markov restreinte aux états de la classe C(j). . . Une chaîne de Markov irréductible sur un nombre ni N d'états. .3 Matrice de transition doublement stochastique Une matrice de transition P pour une chaîne de Markov à temps discret est dite doublement stochastique si sa transposée est une matrice stochastique. . . i pour tout j . qui est nécessairement fermée. Remarque 2 : Pour tout état j dans une classe récurrente positive C(j). En notation matricielle. 1. 1. 1. Les conditions (a) et (b) garantissent que (πj ) est une distribution de probabilité positive. N − 1. pour ensoleillé et N . πN −1 ) est la distribution stationnaire qui est donnée par πj = µ−1 pour j = 0. 6 N 0. est récurrente positive et la matrice de transition en n pas satisfait lim P n→∞ (n) = π0 π1 · · · · · · · · · · · · π0 π1 · · · πN −1 · · · πN −1 . La situation est illustré par le graphe de la Figure 18. j 1. π1 . 1. 2 > 0. donc une chaîne irréductible. . . .1 Chaînes de Markov à temps discret 43 1. pour nuageux dont la matrice de transition est donnée par P = 0.2. disons 0. et apériodique. 4 Figure 18 Représentation des transitions pour le temps qu'il fait d'un jour au suivant. 0. 1. car le nombre d'états est ni. N − 1. 6 . .3 sur le temps d'un jour au suivant avec les états S . 8 0. où (π0 .7. 2 0.6 Exemple : Retour sur le temps d'un jour au suivant On reprend à nouveau l'exemple de la Section 1. ou 0. récurrente positive. . car P00 = 0. . ou 1. · · · . 2 0. On a alors lim P (n) = n→∞ π0 π1 π0 π1 . 8 S 0.5 Chaîne irréductible apériodique à espace d'états ni Une chaîne irréductible apériodique sur un nombre ni d'états. . .7. Nous avons ici une seule classe d'états. donc ergodique. 4 0. 44 1. où (π0 .2 Figure machine.9 1 1 0. soit tomber dans un moins bon état de fonctionnement. le jour suivant elle peut soit rester dans le même état. d'où π1 = 2π0 . elle est envoyée en réparation dès le lendemain. c'est-à-dire 2 ou 3.7. Lorsque la machine est en mauvais état de fonctionnement. 1 0 P = 0 0 0. Voici la matrice de transition pour l'état de la machine. La condition π0 + π1 = 1 permet alors d'obtenir π0 = 1/3 et π1 = 2/3.1 3 2 0. π1 = 0. 8π0 + 0. 4π1 . 0. respectivement. il est question d'une machine qui peut être soit en réparation (état 0).8 0. Si la machine est dans l'un des états de fonctionnement 1 ou 2 un jour donné. 1 0 0 0 1 0 0.7 Exemple : Modèle de réparation Dans l'exemple suivant. π1 ) = π est la distribution stationnaire. 8 0. 1. 1. 2 . puis remise en bon état de fonctionnement pour le surlendemain. soit dans un état de fonctionnement qui est bon (état 1). 9 0. moyen (état 2) ou mauvais (état 3). 2 ou 3. d'un jour au suivant : 0 1 0 0 0 0. 19 Représentation graphique d'un modèle de réparation d'une . 6π1 . L'équation de stationnarité π = πP donne ici π0 = 0.7 Théorème ergodique et distribution stationnaire pour la limite de la matrice de transition en n pas. 2π0 + 0. Les diérents états et les transition possibles sont illustrés dans la Figure 19. et donc ergodique. . De la classe 7 à la classe 1. 1π1 + 0. µ0 = π0 = 17 est le nombre moyen de jours qu'une machine nouvellement réparée fonctionne avant de retourner en réparation. c'est-à-dire π0 = π3 π1 = π0 + 0. π2 . 65%. Cette condition s'écrit alors π0 +10π0 +5π0 +π0 = 1. ce qui implique que la chaîne est apériodique.1 Chaînes de Markov à temps discret 45 Tous les états communiquent entre eux. 9 > 0. 80% . C'est la proportion moyenne de jours à long terme que la −1 machine passe en réparation. on a lim P (n) n→∞ π0 π0 = π0 π0 π1 π1 π1 π1 π2 π2 π2 π2 π3 π3 . on a les pourcentages suivants : 100%. avec π0 +π1 +π2 +π3 = 1. Puisque le nombre d'états est ni. la chaîne est récurrente positive. π3 π3 où (π0 . 90%. 75% . 70% . 3π2 . 9π1 π2 = 0. 8π2 π3 = 0. 1. Dans ce cas. d'où π0 = 1/17. et donc la chaîne est irréductible. La matrice de transition pour les classes de 7 à 1 dans cet ordre est de la forme P = 1 − p0 1 − p0 1 − 1 pi i=0 1 − 2 pi i=0 1 − 3 pi i=0 1 − 4 pi i=0 1 − 5 pi i=0 p0 0 p1 p2 p3 p4 p5 0 p0 0 p1 p2 p3 p4 0 0 0 0 0 0 0 0 p0 0 0 0 0 p0 0 0 p1 0 p0 0 p2 p1 0 p0 p3 p2 p1 p0 . Il y a 7 classes d'assurés.7. 85% . π1 . De plus. La classe d'un assuré change d'une année à la suivante selon le nombre de réclamations eectuées durant l'année. P11 = 0. π3 ) = π satisfait π = πP . La classe dans laquelle se trouve un assuré détermine le pourcentage de la prime annuelle maximale qu'il doit payer. De plus. on considère un système de bonus-malus pour l'assuranceautomobile tel qu'utilisé au Brésil.8 Exemple : Bonus-malus pour l'assurance-automobile Dans cet exemple. On a donc aaire à une chaîne irréductible ergodique. car tous les états communiquent entre eux. pour k ≥ 0. 00005. . Dans le cas où λ = 0. elle est apériodique. 65%. est donnée par π7 = 0. π5 .7 Théorème ergodique et distribution stationnaire 46 où pk = λk −λ e k! représente la probabilité de k réclamations durant l'année. π5 = 0.1. π3 . On fait donc l'hypothèse que les réclamations surviennent selon un processus de Poisson d'intensité annuelle λ > 0. 09355. on peut véri er que la distribution de probabilité π = (π7 . 88948. π4 . π2 . π6 . 00032. donc la distribution stationnaire. π1 = 0. 01444. π4 = 0. ce qui est très près du pourcentage pour la classe 1. car il y a un nombre ni d'états. 00001. π2 = 0. π3 = 0. Il y a une seule classe. De plus. et elle est récurrente positive. De plus. π1 ) qui satisfait π = πP . Cela signi e notamment que presque 89% des assurés en moyenne sont dans la classe 1 à long terme. le pourcentage moyen de la prime payée par les assurés à long terme est π7 · 100% + π6 · 90% + · · · + π1 · 65% = 65. 10. 7 6 5 4 3 2 1 Figure 20 Transitions pour des classes d'assurés selon un système de bonus-malus. car P11 = p0 > 0. 00215. π6 = 0. La Figure 20 représente les diérents états et les transitions de probabilité positive. 2 2 pour tout entier i. c'est aussi le cas pour le point (i − k. Un raisonnement similaire s'applique si on suppose que πi−1 > πi+1 pour un certain i. ce point est sous l'axe horizontal. Ceci est une contradiction. pour un certain i. pour tout k ≥ 1.c. l'équation précédente garantit que le point (i − 2. De plus. Par induction. elle est de période 2. πi−k ).1 Chaînes de Markov à temps discret 47 1. et donc πi−k < 0. Si c'est le cas. La chaîne est récurrente positive si et seulement si elle possède une distribution stationnaire (πi ).i+1 = Pi. La droite L qui passe par ces points est alors de pente positive comme illustré dans la Figure 22. pour k assez grand. Cette équation signi e que le point (i. πi−1 ) et (i + 1. cette droite étant de pente positive. La chaîne est clairement irréductible. positif. alors 1 1 πi = πi−1 + πi+1 . πi−2 ) est sur le prolongement de la droite L. 1/2 i−1 i i+1 1/2 Figure 21 Marche aléatoire sur les entiers. πi ) est au milieu du segment de la droite L qui relie les points (i − 1.i−1 = . Or. car tous les états communiquent entre eux.g. On conclut que πi−1 = πi+1 = πi . . Cette marche est illustrée dans la Figure 21. Supposons que πi−1 < πi+1 . πi+1 ).{2k : k ≥ 1} = 2. car d(0) = p. négatif ou nul.d.9 Exemple : Marche aléatoire sur les entiers On considère une marche aléatoire sur les entiers de telle sorte que les probabilités de transition sont données par 1 Pi. 2 pour tout entier i. Ensuite.7. 7. 0 si c = 0. . . La chaîne ne peut donc pas 1. i πi = 1. .1. pour une certaine constante c ≥ 0. 1. . ∞ si c > 0.10 Exemple : Chaîne avec plusieurs classes d'états On considère une chaîne de Markov à temps discret sur les états 0. . 6 telle qu'illustrée dans la Figure 23 dont la matrice de transition est donnée par P = 0 0 1 0 0 0 1/7 1 0 0 0 0 0 1/7 0 1 0 0 0 0 1/7 On relève trois classes d'états : 0 0 0 1/4 3/4 0 1/7 0 0 0 3/4 1/4 0 1/7 0 0 0 0 0 0 1/7 0 0 0 0 0 1 1/7 .7 Théorème ergodique et distribution stationnaire 48 πi+1 πi πi−1 i−4 i−3 i−2 i−1 i i+1 Figure 22 Situation contradictoire pour une distribution stationnaire pour la marche aléatoire sur les entiers satisfaisantπi−1 < πi+1 pour un certain i. Mais alors πi = i ce qui entre en contradiction avec être récurrente positive. et donc que πi = c. pour tout entier i. pour tout entier i. 1. car fermée sur un nombre ni d'états. 0 sinon. Plus généralement. 2.1 Chaînes de Markov à temps discret 0 1 2 49 3 4 5 6 Figure 23 Illustration d'une chaîne de Markov avec trois classes d'états. on a que 1 lim n→∞ n n−1 P k=0 (k) = 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 0 0 1/5 1/5 0 0 1/5 1/5 0 0 1/5 1/5 0 0 0 1/2 1/2 1/5 1/5 0 0 0 1/2 1/2 1/5 1/5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 . 2 forment une matrice de transition doublement stochastique pour 3 états. 6}. car non fermée. mais que 1 lim n→∞ n n−1 k=0 1 (k) Pij = . j = 0. de distribution stationnaire (1/3. 1/2).d. On remarque que (n) Pij = 1 si n = j − i (modulo 3). qui est récurente positive. {3. de distribution stationnaire (1/2.c. 1. donc ergodique. qui est transitoire. 1/3). {0. 1. pour i. {5. . qui est récurrente positive. car Pij pour i. j = 0. car Pij pour i. j = 3. 3 pour i.{3k : k ≥ 1} = 3. 2}. car P33 > 0.g. ne converge pas lorsque n → ∞. car d(0) = p. 4 forment une matrice de transition doublement stochastique pour 2 états. 4}. apériodique. de période 3. car P66 > 0. 2. 1. car fermée sur un nombre ni d'états. j = 0. apériodique. 1/3. µ0 5 3 5 Il est même possible de montrer ici que 1 (n) lim P50 = . et donc fij = 0 pour i = 0. Les entrées non nulles sur chacune de ces lignes correspondent à la distribution stationnaire pour cette classe récurrente positive. nous devons calculer fij pour i = 5. 2 illustrent le fait que classe {0. 1. 5. 2 et j = 3. 2. En eet lorsqu'on quitte la classe transitoire {5. j Pour les entrées non nulles sur les deux dernières lignes. 2. 6 et sur les lignes correspondant aux états 0. 1. et d'y rester en visitant tous les états avec probabilité 1. f33 = f43 = 1 et f53 = f63 . 7 7 7 7 7 7 7 où f03 = f13 = f23 = 0.1. De façon analogue il y a 3 chances sur 5 pour l'autre classe récurrente {0. 4}. 2} est fermée. 1. j D'autre part. les 0 apparaissant dans les deux dernières colonnes des deux dernières lignes correspondant aux états de la classe transitoire {5. En conditionnant sur la première transition. on trouve par exemple que 1 1 1 1 1 1 1 f63 = f63 + f53 + f43 + f33 + f23 + f13 + f03 .7 Théorème ergodique et distribution stationnaire 50 Les 0 dans les colonnes correspondant aux états 3. La situation est analogue pour les lignes correspondant aux états de la classe récurrente positive {3. 5/7 5 Ce résultat est intuitivement clair. 2}. 1. 1. il . On obtient ainsi que f63 = 2/7 2 = . 1. 5. µ3 5 2 5 Les autres entrées peuvent être obtenues de la même façon. 5 n→∞ bien que l'état d'arrivée 0 est récurrent positif périodique. il y a 2 chances sur 5 d'entrer dans la classe récurrente {3. j = 0. 3. 2}. pour laquelle µ−1 = 1/3 et fij = 1 pour j i. 6 et j = 0. 4. pour j = 5. 4. Cela est dû au fait que lorsqu'on entre dans la classe récurrente positive périodique {0. 6}. 4} avec µ−1 = 1/2 pour j = 3. 6. 6} s'expliquent par le fait que µ−1 = 0. 4. 1. 6. Le théorème ergodique garantit alors que 1 n→∞ n n−1 (k) P63 = f63 × lim k=0 1 2 1 1 = × = . Ainsi on a que 1 lim n→∞ n n−1 (k) P50 = f50 × k=0 1 3 1 1 = × = . . En numérotant les colonnes et les rangées de 1 à 8 tel qu'illustré dans la Figure 24. v) = A(u. . Lorsque l'état d'arrivée j est récurrent positif périodique. En fait. Ce résultat est cependant exceptionnel.11 Exemple : Déplacement aléatoire sur un échiquier On suppose qu'un roi se déplace au hasard sur un échiquier de 8 × 8 = 64 cases en choisissant à chaque pas l'une des cases adjacentes avec la même probabilité. 1. La probabilité de transition de la position u à la position v s'exprime sous la forme suivante : P (u. j) : i.7. on n'a jamais convergence dans ce cas lorsque l'état de départ i = j . Il y a trois types de position : à l'intérieur (I ).1 Chaînes de Markov à temps discret 51 y a 1 chance sur 3 d'entrer par chacun des états. d(u) . le théorème ergodique ne garantit pas en général (n) la convergence de Pij . l'espace des positions est {(i. . à un bord (B ). et la probabilité de chacun reste 1/3 par la suite. j = 1. . i 1 C B B B B B C B I I I I I I B 2 B I I I I I I B 3 B I I I I I I B 4 B I I I I I I B 5 B I I I I I I B 6 B I I I I I I B 7 C j B B B B B B B C 1 2 3 4 5 6 7 8 8 Figure 24 Représentation d'un échiquier pour le déplacement d'un roi. à un coin (C ). v) . 8}. on dit que la chaîne est réversible. v) = 5 si u est à un bord (type B ). v) v = π(u)P (u. et π(u)P (u. 3 si u est à un coin (type C ). v) A(v. v) = u π(u) = 1. . 0 sinon. v) = A(v. Dans ce cas. A(u. De plus. on a π(u) > 0 pour tout u. A(u. car on peut retourner à la case (1. v . La succession des positions du roi sur l'échiquier est une chaîne de Markov qui est récurrente positive. La chaîne est donc ergodique. 1) à partir de cette case en 2 ou 3 pas par exemple. v) v = π(v)P (v. u) = = π(v)P (v. u d(u ) π(u) = où d(u ) = 6 × 6 × 8 + 6 × 4 × 5 + 4 × 3 = 420. v pour tout u. On conclut que (π(u)) est la distribution stationnaire. ce qui est la condition de stationnarité. c'est-à-dire A(u. u d(u ) u d(u ) pour tout u. u Par dé nition. v) = 1 si u et v sont voisins. u). On dé nit d(u) . u). et d(u) = v 8 si u est à l'intérieur (type I ). De plus elle est apériodique. On remarque que la matrice A est symétrique.7 Théorème ergodique et distribution stationnaire 52 où A(u.1. car irréductible sur un nombre ni d'états. On véri e alors que π(u) = π(u) P (u. u). et alors nécessairement limn→∞ Pii = 0.1 Chaînes de Markov à temps discret 53 1. E(Ni |X0 = i) = kP r(Ni = k|X0 = i) k≥1 P r(Ni ≥ k|X0 = i). (b) Un état récurrent i est récurrent nul si et seulement si (n) lim Pii n→∞ = 0. . Or.1 Critères de classi cation (a) Un état i est récurrent si et seulement si (n) = ∞. = k≥1 De plus (l) P r(Ni ≥ k|X0 = i) = (l) fii P r Ni l≥1 ≥ k − 1|Xl = i . où 1{Xn =i} Ni = n≥1 représente le nombre de visites futures à i. Sinon il est récurrent positif.8. Pii n≥1 (n) Sinon il est transitoire.8 *Démonstrations 1. Démonstration : (en utilisant le théorème ergodique pour (b)) (a) On a (n) Pii = P r(Xn = i|X0 = i) n≥1 n≥1 = E 1{Xn =i} |X0 = i n≥1 = E(Ni |X0 = i). d'où k P r(Ni ≥ k|X0 = i) = fii . (b) La démonstration du résultat est une conséquence du théorème ergodique (n) qui garantit que Pii → 0 lorsque n → ∞ si un état i est récurrent nul. On obtient nalement l'équation de récurrence P r(Ni ≥ k|X0 = i) = fii P r (Ni ≥ k − 1|X0 = i) . si Pii → 0 lorsque n → ∞. k=0 . pour tout k ≥ 1. (l) fii = P r (Ni ≥ 1|X0 = i) fii = l≥1 est la probabilité de visite future à i à partir de i.1. (n) Inversement. Par stationarité. · · · . Xl−1 = i. D'autre part. On en déduit que (n) Pii n≥1 k fii = = k≥1 fii 1−f ii ∞ si fii < 1. alors qu'elle converge (n) si et seulement si i est transitoire. Pii → 0 lorsque n → ∞. X1 = i|X0 = i) est la probabilité que la première visite future à i à partir de i à l'instant 0 ait lieu à l'instant l. Donc la série diverge si et seulement si i est récurrent. et (l) Ni 1{Xn =i} = n≥l+1 représente le nombre de visites à i à partir de l'instant l + 1.8 *Démonstrations 54 où (l) fii = P r (Xl = i. par induction. si fii = 1. alors (voir le lemme 1 en appendice sur la limite d'une moyenne) 1 lim n→∞ n n−1 (k) Pii = 0. et dans ce cas. on a (l) P r Ni ≥ k − 1|Xl = i = P r(Ni ≥ k − 1|X0 = i). (c) i et j ont la même période. implique r≥1 Pjj < ∞. c'est-à-dire Pij Pji > 0 pour certains n. i est . d'où (r) (n+r+m) Pii ≥ r≥1 Pii r≥1 (n) (m) (r) ≥ Pij Pji Pjj ≥ 0. Remarque (n) La suite Pii ne converge pas lorsque n → ∞ si i est récurrent positif (n) périodique. r≥1 (r) (r) Donc. d'où µi = ∞. c'est-à-dire. ce qui est une contradiction avec un état i récurrent positif. alors : (a) i est récurrent si et seulement si j est récurrent . puisque Pii = 0 pour tout n qui n'est pas un multiple de d(i).8. m ≥ 0. la limite est égale à µ−1 par le théorème eri godique.2 Proposition 1 sur la partition des états (n) (m) Si i ↔ j . c'est-à-dire. d'où µi = ∞. Sinon. j transitoire.1 Chaînes de Markov à temps discret 55 Dans le cas où i est récurrent. 1. on devrait avoir convergence vers 0. i transitoire. ce qui veut dire que i est récurrent nul. k=0 Or. la limite dans le cas où i est récurrent est donnée par µ−1 par le théorème i ergodique. et inversement par symétrie. on a les inégalités (n+r+m) Pii (n) (r) (m) ≥ Pij Pjj Pji ≥ 0. (b) i est récurrent positif si et seulement si j est récurrent positif . r≥1 Pii < ∞. On devrait donc avoir 1 n→∞ n n−1 (k) lim Pii = 0. Démonstration : (en utilisant les critères de classi cation) (a) Pour tout r ≥ 1. Par conséquent. si (r) Pjj > 0. (b) Si i et j sont des états dans la même classe récurrente. (c) Par les inégalités en (a). c'est-à-dire. alors Pjj → 0 lorsque r → ∞. c'est-à-dire que n + r + m est un multiple de d(i). si (n+r+m) Pii → 0 lorsque r → ∞. (r) c'est-à-dire. 1. (b) On suppose que i et j sont récurrents. . on a alors d(j) ≥ d(i).3 Proposition 2 sur la partition des états (a) Si i est un état récurrent. et 0 autrement. c'est-à-dire Pij = 0 pour tout n ≥ 1 et tout j i. En conséquence. d'où n + 2r + m est un multiple de d(i). on a d(j) ≤ d(i) par symétrie. Par conséquent.8. On conclut donc que d(i) = d(j). r = (n + 2r + m) − (n + r + m) est un multiple de d(i).1. i récurrent nul. alors fij = P r(visite future à j | départ de i) = 1 (n) pour tout j ↔ i. Inversement.8 *Démonstrations 56 récurrent si et seulement si j est récurrent. Mais alors on a aussi (2r) Pjj (r) (r) ≥ Pjj Pjj > 0. alors (n+r+m) Pii > 0. alors fki = fkj pour tout état k. la période de i. Par les inégalités en (a). Par la dé nition de la période de j . et inversement par symétrie. i est récurrent positif si et seulement si j est récurrent positif. j récurrent nul. alors il existe un certain n ≥ 1 tel que 0 < Pij ≤ fij . Cela est intuitivement clair. (b) Pour tous les états i. .ik+1 · · · · · Pin−1 . Alors. L'inégalité inverse est obtenue par symétrie. Son interprétation est que la probabilité de ne pas retourner à i à partir de i en passant par j est 0 si i est récurrent. Pij > 0 pour un certain n ≥ 1.i1 · Pi1 . d'où l'inégalité fkj ≥ fki . En fait la seule possibilité compatible avec l'égalité ci-dessus est fij = 0. X1 = i. i1 . où (k) gij = P r (Xk = j. Si d'autre part j i.in > 0. j et k. Si i et j sont dans la même classe récurrente. On a alors (k) gij ≥ Pik . Soit ik = max{1 ≤ l ≤ n : il = i}. Dans ce cas. in = j telle que Pi0 .i2 · · · · · Pin−1 .in > 0. On a aussi fij = 1 par symétrie. alors ou bien fij = 0 ou bien fji = 0. On (n) considère donc j = i et on suppose que fij > 0. d'où on conclut que 1 − fji = 0. D'autre part. on a fkj ≥ fki fij = P r(visite future à j en passant par i | départ de k) en considérant la première visite future à i à partir de k. j|X0 = i) représente la probabilité de la première visite future à j au k-ième pas à partir de i sans passer à nouveau par i. alors on a l'égalité fij · (1 − fji ) = 0. alors fij = 1 par (a). car cette probabilité est plus petite ou égale à la probabilité de ne pas retourner à i à partir de i.1 Chaînes de Markov à temps discret 57 Démonstration : (a) Il va su re de montrer que si i est récurrent. Xk−1 = i. in−1 . j. · · · . on a évidemment l'inégalité (k) 0 = 1 − fii ≥ gij (1 − fji ). · · · . qui est nulle lorsque i est récurrent. (n) Si de plus j ↔ i. il existe une suite d'états i0 = i. car fii = 1 si i est récurrent. car j est récurrent si i est récurrent et j ↔ i. L'égalité est évidente pour j = i. Ceci n'est compatible avec l'égalité ci-dessus que si fji = 1. Il reste donc à montrer l'égalité ci-dessus. et cet état est nécessairement récurrent positif par (a). 1. Dans ce cas la distribution stationnaire est unique et donnée par πj = µ−1 pour tout j . alors : (a) Tous les états récurrents sont récurrents positifs. Corollaire : Une chaîne irréductible (et toute classe fermée) sur un nombre ni d'états est récurrente positive.4 Proposition 3 sur la partition des états Si le nombre d'états est ni.8 *Démonstrations 58 1. (b) Si tous les états j sont transitoires. il y a au moins un état récurrent. ce qui est une contradiction avec une somme égale à 1. alors le théorème ergodique garantit la convergence vers 0 de chaque terme de la somme à gauche ci-dessus.8. ce qui démontre le corollaire. Démonstration : (en utilisant le théorème ergodique) (a) Par la proposition 1.8. si i est récurrent nul. on a alors Pij → 0 lorsque n → ∞. alors j est récurrent nul pour tout j ↔ i. Par la proposition 2 et le théorème ergodique. ce qui mène à une contradiction pour les mêmes raisons. j Démonstration de la nécessité : (en utilisant le théorème ergodique) . (b) Dans tous les cas. C'est aussi le cas pour la classe de cet état.1.5 Théorème sur la distribution stationnaire Une chaîne irréductible a une distribution stationnaire (πj ) si et seulement si elle est récurrente positive. (n) 1= (n) Pij = j j:j↔i puisqu'on a un nombre ni de termes qui tendent tous vers 0. Il y a donc au moins un état récurrent. µj = 1 < ∞. Dans ces conditions. k=0 pour tout entier n ≥ 1. alors fij = 1. = i et donc par induction que (n) 0 < πj = πi Pij . le lemme 2 en appendice sur la limite d'une somme donne 0 < πj = 1 µj πi = i c'est-à-dire. si la classe est transitoire.1 Chaînes de Markov à temps discret 59 Pour tout état j . µj . L'équation est aussi trivialement satisfaite pour n = 0. on a 0 < πj = 1 n πi i n−1 (k) Pij . et si la classe est récurrente. Or. l'existence de la distribution stationnaire (πj ) implique que 0 < πj = πl Plj = πi Pil Plj l i l = πi i Pil Plj l (2) πi Pij . le théorème ergodique garantit que 1 n→∞ n n−1 (k) Pij = fij × lim k=0 1 1 = . alors 1/µj = 0. i pour tout entier n ≥ 1. Démonstration de la su sance : 1 . j dans la même classe. En eet. πj d'où l'état j est récurrent positif. µj µj pour i. Par conséquent. et que wj = E(Nj ) = E(Nlj ). l où Nlj représente le nombre de visites à j précédées immédiatement d'une visite à l. on a que πi = 1/ c'est-à-dire. dé nit une distribution stationnaire. j i Figure 25 Visites à j entre une visite à i et la suivante. l i j l wl = 1/µi . d'où πj = πi wj . où wj représente l'espérance du nombre de visites à j entre une visite à i et la suivante.8 *Démonstrations 60 On considère un état particulier i. puisque que j est atteignable à partir de i. wj = πj /πi . On obtient alors que wj E(Nlj |Nl = n)P r(Nl = n) = n l = nPlj P r(Nl = n) n l = E(Nl )Plj l = wl Plj . On montre que πj = wj l wl pour tout état j . l pour tout j . et Nj = l Nlj avec Nj = 1 si j = i. En divisant par l wl = µi < ∞. On remarque d'abord que wj > 0. Remarque : Puisque wi = 1. puisque i est récurrent positif. on a toutes les conditions d'une distribution stationnaire. . entre une visite à i et la suivante.1. 6 Théorème ergodique (a) Dans tous les cas sauf peut-être dans celui où j est récurrent positif périodique. on a : 1 lim n→∞ n n−1 (k) Pij = fij × k=0 1 . µj En eet on a alors (voir la Figure 26) n (n) Pij (k) = (n−k) fij Pjj k=1 (k) = (n−k) fij δ{k≤n} Pjj → fij × k≥1 1 lorsque n → ∞. µj Démonstration de (a) : Partie 1. (b) Dans tous les cas. On observe d'abord qu'il su t de montrer que (n) Pjj → 1 lorsque n → ∞. car (k) 0 ≤ fij = fij ≤ 1 k≥1 . µj où fij = P r(première visite future à j au k -ième pas | départ de i) (k) La convergence découle du lemme 2 en appendice sur la limite d'une somme. on a : (n) lim Pij = fij × n→∞ où 1 .8.1 Chaînes de Markov à temps discret 61 1. µj fij = P r(visite future à j | départ de i) et µj = E(temps de premier retour à j | départ de j). représentée par C(j).1. l→∞ . On montre d'abord que j (n −k) λj = lim Pjj l l→∞ . La probabilité de retourner à j à partir de la dernière visite à j avant l'instant n est alors égale à 1. l→∞ pour une sous-suite {nl }. par les critères de classi cation des états. que Pjj → 0 lorsque n → ∞ si j est transitoire. alors λj = µ−1 . on obtient l'équation de renouvellement (n−k) q(n) = (m) fjj = 1. et 0 autrement. Il su t de montrer que si (n ) λj = lim Pjj l . première visite à j j j i 0 k n Figure 26 Transition de i à j en n pas avec première visite à j au pas k. On considère j maintenant le cas où j est récurrent apériodique. En eet. (n) Partie 2. En décomposant l'événement selon l'instant de la dernière visite à j avant l'instant n (n exclu). en utilisant le fait démontré dans la partie 3 que (n) (n) lim Pij − Pjj = 0. auquel cas µ−1 = 0. pour tout entier k ≥ 1. On sait déjà. n→∞ pour tout état i dans la classe de j .8 *Démonstrations 62 et (n−k) lim δ{k≤n} Pjj n→∞ = 1 . si (n ) λj = lim Pjj lr . δ{k≤n} Pjj k≥1 m≥k pour tout entier n ≥ 1. µj avec δ{k≤n} = 1 si k ≤ n. alors (n ) (k) Pjj lr = (nlr −k) Pji Pij i (nlr −k) (k) = Pji Pij (n −k) − Pjj lr (k) i (n −k) Pji Pjj lr + i dès que nlr ≥ k). représentée par C(j). pour tout n ≥ N (i. k) pour i. tel que (n) Pik > 0. il existe un entier N (i. si n n'est pas un multiple de d. Soit j un état récurrent apériodique. . k). disons de période d(j) = d pour la chaîne (Xn ). i Finalement. k dans C(j) dont les probabilités de transition sont données par P(i. Alors j est récurrent nul apériodique pour la chaîne (Xkd ). Par le lemme 3 en appendice sur la condition d'apériodicité. D'autre part. Le lemme 2 en appendice sur la limite d'une somme permet alors d'obtenir que (k) λj = λj Pji = λj . l'application du même lemme à q(nl ) donne (m) 1 = λj fjj (m) = λj mfjj = λ j µj .k)(j. k dans la classe de j . On peut donc conclure que (n) lim Pjj = 0. (n) Pjj = 0. . Il reste à considérer le cas où j est récurrent nul périodique. par ce qui précède. où la somme est sur tous les états i dans la classe C(j). m≥1 k≥1 m≥k ce qui permet de conclure. k) ≥ 1 pour tous i.1 Chaînes de Markov à temps discret 63 pour une sous-suite {nlr }. qui est récurrente. de telle sorte que (kd) lim Pjj k→∞ = 0. On construit maintenant une chaîne couplée ((Xn . n→∞ Partie 3. donc fermée. Yn )) sur l'espace des états de forme (i.l) = Pij Pkl . Y0 = j). De façon analogue. On dé nit (voir la gure 27) T = min{n ≥ 1 : (Xn . l dans C(j).j)(j. pour tout i dans C(j). Y0 = j) k=1 ∞ + P r(Xn = j|T = k)P r(T = k|X0 = i. on trouve que (n) (n) (n) (n) Pjj ≤ Pij + P r(T ≥ n + 1|X0 = i. On a donc lim |Pij − Pjj | ≤ lim P r(T ≥ n + 1|X0 = i. Y0 = j) + P r(T ≥ n + 1|X0 = i. j)}. T = k|X0 = i. k.8 *Démonstrations 64 pour tous i. La chaîne couplée restreinte à cet espace d'états est irréductible.j) .l) = Pij Pkl > 0. Y0 = j). T = k|X0 = i.k)(j. N (k. Y0 = j) (n) = Pjj + P r(T ≥ n + 1|X0 = i. j). Y0 = j) n→∞ n→∞ = 1 − f(i. on déduit que (n) Pij = P r(Xn = j|X0 = i. Y0 = j) k≥1 n = P r(Yn = j|T = k)P r(T = k|X0 = i. Y0 = j) = P r(Xn = j.1. j. On remarque que (n−k) P r(Xn = j|T = k) = Pjj = P r(Yn = j|T = k). car (n) (n) (n) P(i. pour tout n ≥ k. . l)). dès que n ≥ max(N (i. Yn ) = (j. Y0 = j) + k=n+1 = P r(Yn = j|X0 = i. Y0 = j) k≥1 = P r(Xn = j|T = k)P r(T = k|X0 = i. Par conséquent. Y0 = j) k=n+1 ≤ P r(Yn = j. Y0 = j) k≥1 ∞ P r(T = k|X0 = i. Y0 ) = (i. d'où (n) (n) lim Pij − Pjj = 0.j) → 0. le résultat (b) découle du résultat (a) sauf dans le cas où l'état j est récurrent positif périodique. alors f(i. On peut donc conclure que 1 lim n→∞ n n−1 (k) Pjj k=0 k(n) 1 = lim n→∞ n k(n) k(n) (ld) Pjj l=0 = 1 .j)(i. Le résultat (a) garantit alors que (ld) lim Pjj l→∞ = 1 . (n) Pjj = 0. lorsque n → ∞. disons pour la chaîne (Xn ). Xn i j j j 0 T n Yn j j j Figure 27 Première visite future de la chaîne couplée (Xn . D'autre part. µj . n→∞ En fait on obtient le même résultat si la chaîne couplée est transitoire. j) à l'instant T étant donné que (X0 .1 Chaînes de Markov à temps discret 65 Si la chaîne couplée est récurrente.j)(j. où d = d(j) ≥ 2. Cependant. Démonstration de (b) : Par le lemme en appendice sur la limite d'une moyenne. pour tout i dans C(j). Yn ) à (j. µj /d où µj /d représente l'espérance du temps de premier retour à j à partir de j avec d pas comme unité de temps. car alors (n) 2 Pij (n) = P(i.j) = 1. j est récurrent positif apériodique pour la chaîne (Xld ). si n n'est pas un multiple de d. j). L'équation de Chapman-Kolmogorov permet d'obtenir l'inégalité (n) (n−1) Pij = Pil Plj l (n−1) (n−1) ≤ Mj Pil = Mj l . . Par le corollaire du lemme 3 en appendice sur la condition d'apériodicité. où (π0 . j Démonstration : Ce résultat est une conséquence du théorème ergodique et du théorème sur la distribution stationnaire du fait que les propositions 2 et 3 sur la partition des états garantissent que la chaîne est récurrente positive et que fij = 1 pour tous états i.7 Chaîne irréductible apériodique à espace d'états ni Une chaîne irréductible apériodique sur un nombre ni d'états. . . i pour tout entier n ≥ 1. 1. . . dont toutes les entrées sont strictement positives. la matrice de transition P de la chaîne admet une puissance P N . est tel que k(n) 1 = . N − 1. . πN −1 ) est la distribution stationnaire qui est donnée par πj = µ−1 pour j = 0. j . on procède comme dans la partie 1 de la démonstartion de (a). . est récurrente positive et la matrice de transition en n pas satisfait lim P n→∞ (n) = π0 π1 · · · · · · · · · · · · π0 π1 · · · πN −1 · · · πN −1 . On dé nit (n) Mj (n) = max Pij . pour un état de départ i quelconque. N − 1. 1. 1. pour un certain entier N ≥ 1.1.8 *Démonstrations 66 où k(n) = la partie entière de (n − 1)/d. π1 .8. . disons 0. . n→∞ n d lim Finalement. Nous en proposons ici une démonstration directe. · · · . De plus. l lorsque k → ∞. On a donc (N +nk ) Mj (N ) → max i Pil πlj = Mj . il existe une sous-suite d'entiers {nk } telle que (nk ) Pij → πij . lorsque k → ∞. l (N Puisque Pil ) > 0. On a donc (n−1) (n) ≥ Mj Mj → Mj . lorsque n → ∞. pour tous i. on doit avoir πlj = Mj . i lorsque n → ∞.1 Chaînes de Markov à temps discret 67 pour tout état i et tout entier n ≥ 2. j . On conclut que (n) Pij → Mj . pour tout l. (n−1) (n) (n) ≤ mj mj = min Pij → mj . pour tous états i. on a (N ) Mj ≥ min Pij i et (n) Mj = j avec (n) lim Pij = lim j n→∞ (n) n→∞ (n−1) Mj = lim Pjj = n→∞ >0 lim Pji i n→∞ Pij = 1. i i L'équation de Chapman-Kolmogorov donne alors (N +nk ) Pij (N ) = (nk ) (N ) → Pil Plj l Pil πlj . j Pij = Mi Pij . De même. Toutes les probabilités de transition étant bornées par 1 et le nombre d'états étant ni. mj = min πij . lorsque n → ∞. l. ce qui implique que mj = Mj . j avec Mj = max πij . i . pour tous i. k=0 si ak → a lorsque n → ∞ avec 0 ≤ ak ≤ 1 pour tout k ≥ 0.2 Lemme 2 sur la limite d'une somme On a ak lorsque n → ∞. Finalement.1.1 Lemme 1 sur la limite d'une moyenne On a 1 n n−1 ak → a lorsque n → ∞. n (n) (k) Mj = lim Pjj = n→∞ fjj k=1 (n−k) lim Pjj n→∞ (k) = Mj fjj = Mj fjj . l'équation de renouvellement donne (n−k) 1 = q(n) = (m) fjj → Mj δ{k≤n} Pjj k≥1 m≥k (m) mfjj = M j µj .9. j 1.9 *Appendice 68 ce qui signi e que (Mj ) est bien une distribution stationnaire. k≥1 ce qui implique que fjj = 1. Démonstration : On a 1 n n−1 ak − a ≤ k=0 ≤ 1 n n−1 |ak − a| k=0 2N 1 + n n n−1 |ak − a| . k=N pour tout N ≥ 1. m≥k d'où j est récurrent positif et Mj = µ−1 .9.9 *Appendice 1. Ceci est plus petit que ε > 0 arbitraire si n > 4N/ε.k → b k≥1 k≥1 . où N est tel que |ak − a| < ε/2 pour tout k ≥ N . ak bn. 1. c'est-à-dire que j est récurrent. D'autre part. dans les cas suivants : (a) k≥1 ak < ∞. Ceci est plus petit que ε > 0 arbitraire si N est assez grand pour que k>N ak < ε/4.k ≤ 1 peut être remplacée par |bn.c.. les conditions suivantes sont équivalentes : (n) (1) d(j) = p. Ceci est plus grand que M > 0 arbitraire si N est assez grand pour que N ak > 2M/b.1 Chaînes de Markov à temps discret 69 si bn.k = bn−k si k ≤ n.k − b| < ε(2N N ak )−1 pour k = 1. en utilisant le fait qu'alors 0 ≤ bn. et 0 autrement. ou sinon (b) b > 0. où ak ≥ 0 et 0 ≤ bn. k≥1 pour tout N ≥ 1. puis n assez grand pour que |bn. N ..g.k > b/2 k=1 pour k = 1.d. N .k +B ≤ 1.. . 2B Démonstration : (a) On a ak (bn.k . k ≥ 1. 1.k − b| + 2 ≤ k=1 ak .{n ≥ 1 : Pjj > 0.k | ≤ B < ∞.k → b lorsque n → ∞ pour tout k ≥ 1.3 Lemme 3 sur la condition d'apériodicité Pour un état j . k=1 (b) On a N ak bn.k ≤ 1 pour tout n.9. Remarque 1 : Le résultat s'applique à bn.k − b) ≤ k≥1 ak |bn..k − b| k≥1 N ak |bn.. Remarque 2 : Dans le cas où k≥1 ak < ∞.. } = 1 . . puis n assez grand pour que bn. avec 0 ≤ bm ≤ 1 pour tout m ≥ 0 et bm → b lorsque m → ∞. la condition 0 ≤ bn.k ≥ k≥1 ak bn. k>N pour tout N ≥ 1. . ce qui est une contradiction.c. Corollaire : La matrice de transition P d'une chaîne irréductible apério- dique sur un nombre ni d'états admet une puissance P N . j). Par la condition (1). on a alors 0 ≤ n − ν 2 = jν + l pour certains entiers j ≥ 0 et 0 ≤ l < ν . j) ≥ 1 (n) tel que Pij > 0 pour tout n ≥ N (i.{n : n dans M } = 1 . }. il existe un entier k ≥ 2 tel que ν. Démonstration : Il est évident que (2) implique (1).g. (n (n (n (1') n1 + n2 est dans M si n1 . n = mk + r pour certains entiers m ≥ 0 et 0 < r < k.d.1. Dans ce cas. n2 sont dans M . Par la condition (1'). et n2 − n1 ≥ k pour tous n2 > n1 dans M . La condition (1') garantit que n = l(ν + 1) + (ν + j − l)ν appartient à M . On suppose la condition (1) pour un état j et on dé nit l'ensemble (n) M = {n ≥ 1 : Pjj > 0. pour un certain entier N ≥ 1. il existe un n dans M qui n'est pas divisible par k. ν + 1 appartiennent à M . . Cet ensemble satisfait alors les conditions suivantes : (1) p. qui est non vide. si j est accessible à partir de i. On montre d'abord que M contient deux entiers consécutifs. On suppose maintenant que ν. dont toutes les entrées sont strictement positives. En eet. Sinon. et on montre que tout n ≥ N (j) = ν 2 est dans M . c'est-à-dire. ν + k appartiennent à M . alors il existe un entier N (i. car Pjj 1 +n2 ) ≥ Pjj 1 ) Pjj 2 ) . mais la diérence satisfait 0 < n2 − n1 = (m + 1)k − n = k − r < k.9 *Appendice 70 (n) (2) Pjj > 0 pour tout n ≥ N (j) pour un certain entier N (j) ≥ 1. les entiers n2 = (m + 1)(ν + k) et n1 = n + (m + 1)ν appartiennent à M . 9 au cours d'une journée. ce qui signi e que sa probabilité de tomber en panne est 0.j)) Pjj > 0. 0 et 1. 2 pour pluvieux) dont la matrice de transition est donnée par 1/2 1/2 0 P = 1/4 1/2 1/4 . Déterminer : (a) la probabilité que les trois prochains jours soient ensoleillés . j) = m(i. 1 pour nuageux. 0 1/2 1/2 On est jeudi et c'est nuageux. (b) la probabilité que dimanche prochain soit ensoleillé. j) + N (j) ≥ 1. Une unité de production comprend deux machines-outils qui fonc- tionnent indépendamment l'une de l'autre. 1.1. 1. 2. 3. dès que n ≥ N (i. Lorsque qu'une chaîne est irréductible apériodique sur un nombre ni d'états. Chaque machine-outil a une abilité 0. Supposons que le temps qu'il fait d'une journé à la suivante est décrit par une chaîne de Markov sur les états 0. il existe un entier m(i. (n−m(i.10 Exercices 1. l)). montrer que si P (2) est la matrice de transition en deux pas d'une chaîne de Markov à temps discret sur deux états. j) ≥ 0 tel (m(i. En utilisant les propriétés d'une matrice de transition. Il faut une nuit pour réparer une machineoutil qui tombe en panne mais une seule à la fois peut être réparée.j)) Pij ≥ Pij > 0. on a la même inégalité pour toute paire d'états i. (a) Quelle est la matrice de transition pour le nombre de machines-outils en état de fonctionnement au début d'une journée ? (b) S'il faut deux nuits pour réparer une machine-outil. si j est accessible à partir de i. j dès que n ≥ max(N (k. alors (2) (2) P00 ≥ P10 . quels états peut-on considérer . 2 (0 pour ensoleillé.j)) Pij et alors (n) (m(i.1 Chaînes de Markov à temps discret que 71 En n. 1.10 Exercices 72 pour avoir une chaîne de Markov et quelle est sa matrice de transition ? 4. On considère un pentagone régulier dont les sommets sont numérotés de 1 à 5 dans le sens des aiguilles d'une montre. Initialement (instant 0), deux coccinelles sont placées aux sommets 1 et 3, respectivement. À chaque instant suivant, chacune des coccinelles se déplace, indépendamment de l'autre, vers l'un des deux sommets adjacents avec probabilité 1/2 pour chacun d'eux. Combien de temps en moyenne faudra-t-il pour que les deux coccinelles se rencontrent au même sommet ? Suggestion : Considérer la distance entre les deux coccinelles. 5. Deux joueurs de tennis, A et B, sont rendus à égalité dans un jeu. Il faut deux points d'avance pour être déclaré vainqueur. Un joueur qui a un point d'avance est dit en avantage. En supposant que A a une probabilité p de gagner chaque point, et B une probabilité 1 - p, indépendamment de tous les autres points, déterminer : (a) la probabilité pour A d'être déclaré vainqueur ; (b) l'espérance du nombre de fois que A sera en avantage avant la n du jeu. 6. On lance une pièce de monnaie non pipée plusieurs fois indépendam- ment jusqu'à ce qu'on obtienne trois faces consécutives (F F F ). Les résultats des trois premiers jets sont F P F . En incluant les trois premiers jets, déterminer la probabilité d'obtenir trois piles consécutives (P P P ) avant la n du jeu. 7. (SOA M A05 #5) Une espèce de eurs peut se trouver dans trois états : viable (0), en voie de disparition (1), ou éteinte (2). Les transi- tions d'état d'une année à la suivante sont modélisées par une chaîne de Markov non-homogène avec matrice de transition Qi de l'année i−1 à l'année i dé nie comme suit : 0, 85 0, 15 0 0, 7 0, 3 , Q1 = 0 0 0 1 0, 95 0, 05 0 Q3 = 0, 2 0, 7 0, 1 , 0 0 1 0, 9 0, 1 0 Q2 = 0, 1 0, 7 0, 2 , 0 0 1 0, 95 0, 05 0 Qi = 0, 5 0, 5 0 , 0 0 1 pour i ≥ 4. Calculer la probabilité que l'espèce de eurs s'éteigne éven- 1 Chaînes de Markov à temps discret 73 tuellement étant donné qu'elle est initialement en voie de disparition. 8. Dans un processus de branchement avec générations séparées, chaque individu de chaque génération, indépendamment de tous les autres, produit k individus de la génération suivante avec probabilité (1 − p)pk pour k ≥ 0. Déterminer la probabilité d'extinction éventuelle de la descendance d'un individu : (a) si 0 < p < 1/2 ; (b) si p = 1/2 ; (c) si 1/2 < p < 1. Dans le cas où l'extinction éventuelle est certaine, déterminer le nombre moyen total de descendants d'un individu. 9. Supposons que, dans un processus de branchement, le nombre de des- cendants de première génération de tout individu a comme fonction génératrice ϕ(s) = 1/2 + (1/2)s3 . Quelle est la probabilité d'extinction éventuelle de la population s'il y a 2 individus à la génération initiale ? 10. Supposons que, dans un processus de branchement, le nombre de descendants de première génération de tout individu de la génération n a comme fonction génératrice ψ(s) = 1/4 + (3/4)s si n est pair et ϕ(s) = 1/4 + (3/4)s2 si n est impair. Quelle est la probabilité d'extinction éventuelle de la population s'il y a un seul individu à la génération initiale (n = 0) ? 11. Une plante survit d'un printemps au suivant avec probabilité 3/4 et dans ce cas elle produit le printemps suivant 0, 1 ou 2 autres plantes identiques à elle-même avec la même probabilité 1/3. Une plante peut donc survivre et se reproduire plusieurs printemps de suite. On suppose une seule plante au départ et on considère le nombre total de plantes à chaque printemps suivant. (a) L'extinction est-elle certaine ? (b) Si elle ne l'est pas, quelle est sa probabilité ? 12. Dans un processus de branchement avec générations séparées, chaque individu de chaque génération, indépendamment de tous les autres, produit un nombre d'individus de la génération suivante selon une loi binomiale de paramètres 3 et 1/2, c'est-à-dire un nombre k avec probabilité pk = 3! k!(3 − k)! 1 2 3 , pour k ≥ 0. Dans la génération initiale, il y a deux individus. (a) A-t-on extinction certaine de la population ? (b) Sinon, quelle est la 1.10 Exercices 74 probabilité d'extinction éventuelle de la population ? 13. On lance un dé non pipé à répétition de façon indépendante. On représente par Xn le nombre maximum de points obtenus lors des n premiers jets. Déterminer : (a) la matrice de transition de cette chaîne ; (b) les états transitoires, récurrents, périodiques, apériodiques. 14. Déterminer les classes d'états transitoires, récurrentes nulles, récur- rentes positives, périodiques (dans ce cas donner leur période) et ergodiques de la chaîne de Markov sur les états 0, 1, ... dont la matrice de transition est : (a) P = 0 1/3 1/3 0 1/3 1/2 0 0 1/2 0 0 0 0 1 0 ; 0 0 0 0 1 0 0 1/2 1/2 0 (b) P = 0 1/4 0 0 1/4 1/4 0 0 1 0 0 0 1/3 0 0 1/3 0 0 1/2 0 0 0 1/2 0 0 0 0 0 0 1 0 0 0 0 1/2 0 0 0 0 0 0 1/2 1/4 0 1/3 0 0 1/2 1/2 . Justi er brièvement vos a rmations. 15. Une chaîne de Markov sur trois états, 0, 1 et 2, a comme matrice de transition 1/4 3/4 0 1 0 . P = 0 1/2 0 1/2 Déterminer : (a) les classes d'états et leur type ; (b) la matrice de transition en n pas ; (c) la limite de cette matrice lorsque n tend vers l'in ni. Suggestion : Diagonaliser la matrice de transition. 1 Chaînes de Markov à temps discret 75 16. Considérons la promenade aléatoire sur les entiers avec probabilités de transition données par Pi,i+1 = p, Pi,i−1 = q = 1 − p. (n) (a) Trouver Pij et en déduire que tous les états communiquent entre eux, et donc que la chaîne est irréductible. (b) Montrer que les états de la promenade aléatoire ne peuvent être récurrents positifs en utilisant la formule de Stirling : n! √ = 1. n→∞ nn+1/2 e−n 2π lim (c) Montrer que tous les états sont récurrents nuls si p = 1/2, et transitoires sinon. Remarque : Si an ,bn ≥ 0 et limn→∞ an /bn = 1, alors ∞ ∞ n=1 bn convergent ou divergent ensemble. n=1 an et 17. Dans un test de Vrai ou Faux, les questions sont posées de telle fa- çon que trois quarts du temps en moyenne une réponse Vrai suit une réponse Vrai et deux tiers du temps en moyenne une réponse Faux suit une réponse Faux. Quelle fraction approximative des réponses devrait être Vrai sur un grand nombre de questions ? 18. Supposons que, d'une génération à la suivante, les familles changent de groupe de revenu (Bas, Moyen, Élevé) selon une chaîne de Markov dont la matrice de transition est 0, 6 0, 3 0, 1 P = 0, 2 0, 7 0, 1 . 0, 1 0, 3 0, 6 Comment devraient se répartir les familles dans les trois groupes de revenu après un grand nombre de générations ? 19. Les résultats successifs de parties d'échecs d'un joueur donné contre un autre suivent une chaîne de Markov sur les états V pour victoire, D pour défaite et N pour nulle avec matrice de transition correspondante donnée par 3/4 0 1/4 0 3/4 1/4 P = 1/2 1/4 1/4 Comparer ce pro t à celui obtenu dans le cas où l'inventaire est renouvelé à 3 unités pour le lendemain matin dans tous les cas. La probabilité que Sn soit un multiple de 6 converge-t-elle lorsque n tend vers l'in ni ? Si oui. 2/10.1 . quelle est la limite ? 21. Montrer avec un exemple qu'une chaîne de Markov avec deux classes d'équivalence (la chaîne n'est donc pas irréductible) peut avoir plusieurs distributions stationnaires même si les deux classes sont ergodiques. 1.10 Exercices 76 Déterminer : (a) la proportion de victoires à long terme de ce joueur . 1. (b) limn→∞ P0. 24. 3 avec probabilités correspondantes 3/10. la demande est de 0. et (b) l'espérance du nombre de parties d'une victoire à la suivante. Une boutique d'électronique garde en inventaire au plus 3 unités d'un produit. 2. 2. Soit Sn la somme des points obtenus en lançant un dé non pipé n fois de façon indépendante. Une chaîne de Markov sur les états 0.1. alors que chaque jour. 23.0 . Elle renouvelle l'inventaire à 3 unités pour le lendemain matin seulement si le nombre d'unités est inférieur ou égal à 1 à la n d'une journée. Une chaîne de Markov sur un nombre ni d'états avec matrice de transition P est dite régulière s'il existe un entier N ≥ 1 tel que P N est positive (c'est-à-dire que toutes les entrées sont > 0). (b) le pro t net moyen par jour à long terme si le pro t réalisé sur une unité vendue est de 12 dollars et le coût pour garder une unité en inventaire durant une nuit est de 2 dollars. 0 0 0 1 0 1 0 0 0 0 Déterminer. 4/10. 2. 20. d'une journée à la suivante . Déterminer : (a) la matrice de transition pour le nombre d'unités à la n d'une journée. les limites des probabilités de transition (n) (n) en n pas suivantes : (a) limn→∞ P0. Montrer que la chaîne de Markov sur les états 0. 1. 4 avec la matrice de transition . 3. 1/10. 4 a comme matrice de transition P = 0 0 1/2 1/4 1/4 0 1/2 1/2 0 0 0 1/4 3/4 0 0 . si elles existent. 3. 22. les lois de Mendel prédisent les probabilités de transition ci-dessous d'une génération à la suivante pour les couples de parents DD. m − 1 et P0. (a) Véri er que la distribution binomiale de paramètres m et 1/2 Pi. il y a trois types de caractère génétique : D pour dominant.1 = Pm. 27. 1. H pour hybride. 2 disposés sur un cercle en allant à chaque saut au site adjacent dans le sens des aiguilles d'une montre avec probabilité p et au site adjacent dans le sens contraire avec (n) probabilité 1−p.1 Chaînes de Markov à temps discret 77 ci-dessous est régulière et trouver sa distribution stationnaire : P = 3/4 1/4 0 0 0 3/4 0 1/4 0 0 3/4 0 0 1/4 0 3/4 0 0 0 1/4 1 0 0 0 0 .. R pour récessif. DR.. Pi.i−1 = . . m m pour i = 1. Une sauterelle se déplace sur les sites 0. j et trouver alors les valeurs limites.. (a) Déterminer les valeurs de p pour lesquelles Pij converge pour tout i.i+1 = . HH. si elle existe. HR : P = 1 0 0 0 0 0 0 1 0 0 0 0 1/4 0 1/2 0 1/4 0 0 0 0 0 1 0 1/16 1/16 1/4 1/8 1/4 1/4 0 1/4 0 0 1/4 1/2 .m−1 = 1. (c) Répondre aux deux mêmes k=0 questions dans le cas où on ajoute un site 3. Dans une population. Soit Pij la probabilité de passer du site i au site j en (n) n sauts. (b) Répondre à la (k) même question pour (1/n) n−1 Pij . DH. Déterminer. En supposant des accouplements entre frères et soeurs au hasard à l'intérieur des familles. RR. Cette chaîne est irréductible. 26. Le modèle de diusion d'Ehrenfest pour le nombre de molécules d'un gaz dans un compartiment A en communication avec un compartiment B qui contiennent ensemble m molécules admet les probabilités de transition i m−i . la distribution limite des couples de parents étant donné un couple HH initialement. 25. .11 *Exercices supplémentaires 31. 30. En eet. Une machine à sous dans un casino vous donne 3 dollars si vous gagnez une partie. Pi. où p. q > 0 et p + q < 1. 28.i converge vers πi pour tout i lorsque n tend vers l'in ni ? Justi er brièvement. pour i ≥ 1. ergodique) . (n) récurrente positive ou nulle. (a) Pour quelles valeurs de p et q la chaîne est-elle récurrente positive ? (b) Dans ce cas. satisfait les équations d'équilibre et qu'elle est donc (n) la distribution stationnaire.2 si la limite existe. mais il faut payer 2 dollars par partie pour jouer. . Est-ce que cette machine à sous est pro table pour le casino ? 1. Pi. m..0 = 1 − . quelle est l'espérance du temps de premier retour à 0 à partir de 0 ? 29. Il est annoncé sur la machine qu'il y a toujours au moins une chance sur deux de gagner à chaque partie.i+1 = p. 2(i + 1) 2(i + 1) pour i ≥ 0 Déterminer : (a) les classes d'états et leur type (transitoire. indépendamment du temps des autres jours.1 = p. 1. la probabilité de succès à une partie est égale à (k + 1)/(k + 2) où k représente le nombre de succès aux deux parties précédentes.. P0. et P0.0 = 1 − p. Une chaîne de Markov à temps discret sur les entiers ≥ 0 a comme probabilités de transition Pi.1.0 = 1 − p − q. en précisant pourquoi la limite existe ou n'existe pas. (b) limn→∞ P0. Une chaîne de Markov à temps discret sur les entiers ≥ 0 a comme probabilités de transition Pi.i = q. Supposons qu'un jour ensoleillé (S ) est suivi d'un jour ensoleillé avec probabilité 2/3 et d'un jour nuageux avec probabilité 1/3. (b) Est-ce que Pi. Pi.i+1 = 1 1 . i!(m − i)!2m pour i = 0.11 *Exercices supplémentaires 78 donnée par πi = m! . alors qu'un jour nuageux (N ) est suivi . Déterminer : (a) l'espérance du nombre de tentatives. son niveau de risque tombe à 0. pour réussir deux paniers consécutifs . R). Étant donné que c'est nuageux depuis deux jours. Deux amies. -1 pour avantage A. respectivement. . Calculer : (a) la probabilité que l'assuré décède avant d'atteindre le niveau de risque 3 à partir du niveau 1 . ce qui a probabilité 1/8. (C. avec la probabilité complémentaire 1/8. en excluant les deux premières.1 Chaînes de Markov à temps discret 79 d'un jour nuageux avec probabilité 1/2 et d'un jour ensoleillé avec probabilité 1/2. 33. 0 pour égalité. (C. ce qui se produit avec probabilité 3/4. (P. P). P). roche (R) l'emportant sur ciseaux. quelle est l'espérance du nombre de jours nuageux supplémentaires avant d'avoir deux jours ensoleillés consécutifs ? 32. etc. son niveau de risque augmente de 1. (b) l'espérance du nombre de paniers réussis sur toutes les tentatives en (a). Les cinq états possibles pour décrire l'issu du jeu sont : -2 pour victoire A. et s'il décède. Ariane (A) et Béatrice (B). alors que s'il fait une réclamation et survit. indépendamment du temps des autres jours. Si un assuré ne fait aucune réclamation durant une année et survit. Ainsi. On suppose qu'Ariane et Béatrice choisissent chaque fois leur stratégie au hasard et indépendamment. 0. (b) l'espérance du nombre d'années sans réclamation avant que l'assuré ne décède ou n'atteigne le niveau de risque 3 à partir du niveau 1. R). 34. +2 pour victoire B. et deux stratégies identiques créant l'égalité en eaçant tous les gains précédents. ciseaux (C) l'emportant sur papier. si les stratégies utilisées par A et B. 2/3 s'il a manqué l'un ou l'autre de ses deux paniers précédents et 3/4 s'il a réussi ses deux paniers précédents. 0. papier (P) l'emportant sur roche. Une compagnie d'assurances utilise un système de bonus-malus avec des niveaux de risque 1. jouent à roche-papier-ciseaux jusqu'à ce que l'une des deux mène par deux parties. (b) les classes d'états et leur type (transitoire. au cours des 5 premières parties sont (R. +1. (C. 2. récurrente positive ou . C). Un joueur de basketball a manqué ses deux premiers paniers et par la suite il réussit un panier avec les probabilités suivantes : 1/2 s'il a manqué ses deux paniers précédents. les états consécutifs à partir de l'état initial 0 sont +1. +1 pour avantage B. son niveau de risque diminue de 1 l'année suivante (ou reste le même si ce niveau est déjà à 1). -1. Déterminer : (a) la matrice de transition de cette chaîne . qui représente le temps jusqu'à la ruine du joueur. l'espérance du nombre total de descendants d'un individu avant l'extinction . indépendamment de tous les autres. qu'il la double avec probabilité 1/2. un joueur mise 1 sur chaque partie. où 0 < p < 1. Déterminer : (a) les valeurs de p pour lesquelles l'extinction de la descendance d'un individu est certaine . la probabilité d'extinction de la descendance d'un individu. Cela signi e que le joueur gagne le double de sa mise en plus de récupérer celle-ci. Dans un processus de branchement avec générations séparées.11 *Exercices supplémentaires nulle. (c) l'espérance du nombre de parties avant la n du jeu. 37. On considère le problème de la ruine du joueur avec un avoir initial S0 = 1 et un avoir après n parties pour n ≥ 1 donné par Sn = S0 + ξ1 + . (c) dans le cas contraire. Attention au fait que le nombre d'individus produit est pair avec probabilité 1.. 36. qui est de 1 sur chaque partie. En utilisant la théorie des processus de branchement. produit 2k individus de la génération suivante avec probabilité (1−p)pk pour k ≥ 0. 2 ou 3 avec la même probabilité p et 0 avec probabilité 1 − 3p.80 1. on suppose que le joueur triple sa mise avec probabilité 1/7.. 38. déterminer les valeurs de p pour . avec probabilité p alors qu'il perd cette mise avec probabilité 1 − p. où ξk = 2 avec probabilité p et ξk = −1 avec probabilité 1 − p. pour 0 < p < 1. Déterminer : (a) la condition sur p pour que la descendance d'un individu ne s'éteigne pas avec probabilité 1 . et qu'il la perd sinon. 35. indépendamment pour k ≥ 1 avec 0 < p < 1. indépendamment de tous les autres. + ξn . (b) dans ce cas. chaque individu de chaque génération. Selon l'issue de la partie. périodique ou apériodique) . On dé nit N = min{n ≥ 1 : Sn = 0}. Déterminer la probabilité de la ruine éventuelle du joueur étant donné qu'il dispose d'un avoir initial de 5. Dans une série de parties indépendantes. Le nombre d'enfants de chaque individu dans un processus de bran- chement est 1. (b) la probabilité d'extinction de la descendance d'un individu sous la condition trouvée en (a). Dans ce cas. quelle est la valeur de E(N ) ? 39. ergodique) . apériodique ou périodique. 4 a des probabilités de transition en un pas données par la matrice P = 0 0 0 0 1/4 1/4 1/4 1/4 1/4 1/2 0 1/2 0 0 1 0 0 . 2. 2. 3. . P r(N < ∞) = 1 . 1/4 0 3/4 0 1/4 1/4 1/4 0 Déterminer : (a) les classes d'états et leur type (transitoire ou récurrente.1 = P4. (b) la limite lorsque n tend vers l'in ni de la probabilité de transition de 0 à 1 en n pas. Déterminer : (a) les classes d'états et leur type (transitoire. et dans ce cas récurrente positive ou nulle. c'est-à-dire. périodique) . récurrente nulle ou positive. Une chaîne de Markov sur les états 0. (a) Pourquoi la distribution stationnaire existe-t-elle et quelle est-elle ? (b) Quelle est la proportion de temps à long terme que ce professeur supervisera au moins un étudiant ? (c) En supposant que ce professeur commence à superviser un premier étudiant cette année. 3. E(N ) < ∞. (b) limn→∞ P n . Une chaîne de Markov à temps discret sur les états 0. 1. 41. Supposons que le nombre d'étudiants gradués supervisés par un pro- fesseur d'une année à la suivante suive une chaîne de Markov sur les entiers 0. 2.1 Chaînes de Markov à temps discret 81 lesquelles : (a) la ruine est certaine. c'est-à-dire. 3. 4 avec probabilités de transition P0. (b) la ruine se produit en un temps moyen ni. 3. 1.i+1 = 1/2 pour i = 1. quelle est l'espérance du nombre d'années consécutives (incluant l'année en cours) durant lesquelles ce professeur (n) supervisera au moins un étudiant ? (d) Est-ce que P0.3 = 1 et Pi. 2. 1.i−1 = Pi.0 converge lorsque n → ∞ et pourquoi en utilisant des arguments présentés au cours ? 40. 4 a comme matrice de transition P = 1/3 1/3 0 1/4 1/4 2/3 0 1/3 1/4 1/4 0 0 0 2/3 0 0 2/3 0 0 1/4 0 1/4 1/4 1/4 0 . et dans ce cas leur période. Une chaîne de Markov à temps discret sur les états 0. 3. et dans ce cas leur période) . Une chaîne de Markov à temps discret sur les états 0. 1. Une chaîne de Markov à temps discret sur les états 0. (b) la limite lorsque n (n) tend vers l'in ni de la probabilité de transition de 0 à 4 en n pas. périodique ou apériodique) . si la limite existe. (b) la limite lorsque n tend vers (n) l'in ni de la probabilité de transition de 2 à 1 en n pas. 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 . Déterminer : (a) les classes d'états et leur type (transitoire.11 *Exercices supplémentaires 82 P01 .1. 43. 4 a des probabilités de transition en un pas données par la matrice P = 0 1/3 1/3 1/3 0 1/2 0 1/4 0 1/4 0 0 1 0 0 0 0 0 1/3 2/3 0 0 0 2/3 1/3 . si cette limite existe. apériodique ou périodique. P04 . 3. 4. 3. P21 . et dans ce cas récurrente positive ou nulle. si cette limite existe. (n) 42. récurrente positive ou nulle. Déterminer : (a) les classes d'états et leur type (transitoire ou récurrente. 4 a des probabilités de transition à un pas données par la matrice P = 1 0 0 0 0 0 1/2 0 0 1/2 1/2 0 0 1/2 0 0 0 1/2 0 1/2 0 1/4 0 0 3/4 . 1. 2. 5 a des probabilités de transition en un pas données par la matrice P = 0 1/3 0 1/3 0 1/3 1 0 0 0 0 0 0 1 0 0 0 0 . 1. 44. 2. 2. 5 sont représentées dans la gure suivante : 5 1/3 1/2 1/2 1/2 0 1/3 1/4 2 1 1/2 1/3 4 1/4 1 1/4 1/4 3 1 Calculer la limite de la probabilité de transition de l'état 5 à l'état 1 en (n) n étapes.1 Chaînes de Markov à temps discret 83 Déterminer : (a) la distribution stationnaire si elle existe . 2. 3. lorsque n → ∞. Supposons qu'il pleuve à chaque départ avec probabilité 1/4 indépendamment de tous les autres. 45. 46. si la limite existe. (b) la limite lorsque n tend vers l'in ni de la probabilité de transition de 0 à 0 en (n) n pas. si la limite existe . 4 a comme matrice de . (b) la proportion de fois à long terme que la personne se fera mouiller parce qu'il pleut au moment du départ et qu'il n'y a aucun parapluie disponible au lieu du départ à ce moment-là. représentée par P51 . 4. 47. 1. Justi er brièvement l'existence ou non dans chaque cas. Justi er votre réponse. 3. 2. Au départ de la maison tous les matins et du bureau tous les soirs. Une personne dispose de trois parapluies qui sont ou bien au bureau ou bien à la maison. Soit Xn le nombre de parapluies disponibles au lieu du départ au moment du n-ième départ. P00 . où P05 est la probabilité de transition de 0 à 5 en k=0 k pas. Déterminer : (a) les états et la matrice de transition de cette chaîne . elle prend un parapluie s'il pleut à ce momentlà et s'il y a un parapluie disponible à cet endroit-là. 1. (c) la limite lorsque n tend vers l'in ni (k) (k) de (1/n) n−1 P05 . Une chaîne de Markov sur les états 0. Les probabilités de transition en une étape d'une chaîne de Markov sur les états 0. c'est-à-dire. récurrente positive ou nulle. . Déterminer : (a) les classes d'états et leur type (transitoire. périodique ou apériodique) . (c) la limite de la probabilité de transition de l'état 0 à l'état 4 en (n) n pas lorsque n → ∞.1.11 *Exercices supplémentaires 84 transition P = 0 1/2 1/2 0 0 1/3 0 1/3 1/3 0 0 0 1 0 0 0 0 0 1/4 3/4 0 0 0 3/4 1/4 . (b) la probabilité d'atteindre éventuelllement l'état 4 à partir de l'état 0. représentée par f04 . limn→∞ P04 . Un temps de séjour à un état i ≥ 0 est dénoté par Si . Elle exclut notamment la possibilité de transitions instantanées ou très rapprochées.1 Retour sur les chaînes à temps discret Considérons une chaîne de Markov {Xn }n≥0 à temps discret sur les états i ≥ 0. j ≥ 0. On remarque les propriétés suivantes. Le temps de séjour Si prend la valeur k ≥ 1 avec probabilité k−1 P r(Si = k) = Pii (1 − Pii ). Ce temps correspond à un nombre de transitions pour changer d'état à partir de l'état i tel qu'illustré dans la Figure 28. Il s'agit en fait d'une construction à partir de temps de séjours et de probabilités de changement d'état sous des conditions qui sont généralement véri ées. pour i.2 Chaînes de Markov à temps continu 2.1 Description générale La description des chaînes de Markov à temps continu présentée dans cette section est la plus intuitive. .1. Cette description n'est cependant pas la plus générale. 2. Pii Pii 1 − Pii autre état que i i temps n ≥ 0 Si Figure 28 Temps de séjour à un état i d'une chaîne de Markov à temps discret. dont les probabilités de transition sont données par Pij . Elle convient toutefois pour la plupart des applications. Le temps de séjour Si est donc une variable aléatoire discrète qui suit une loi géométrique de paramètre 1−Pii . Le cas Pii = 1 correspond à un état i absorbant avec un temps de séjour in ni. car P r(Si > k + l|Si > k) = = P r(Si > k + l) P r(Si > l) k+l Pii k Pii l = Pii = P r(Si > l). Cela est garanti par la propriété markovienne. c'est-à-dire si i est absorbant. dont l'entrée sur la rangée i et dans la colonne j est donnée par la probabilité qij . ainsi que les paramètres des lois géométriques pour les temps de séjours décrivent entièrement la chaîne. pour tous les états i et j . La matrice de transition lorsqu'il y a changement d'état. Par convention. les probabilités de transition conditionnelles étant donné qu'il y a changement d'état. Finalement. Il est indépendant des états visités auparavant et des temps de séjour à ces états. l ≥ 1. 1 − Pii Il est sans mémoire. qij = 0 pour tout j si Pii = 1. sont indépendantes des temps de séjour et des transitions qui ont précédé. . pour k. Q = (qij ). si j = i. c'est-à-dire lorsqu'on quitte l'état i. ce qui est noté Si ∼ G(1−Pii ).1 Description générale 86 et par conséquent l P r(Si = k) = Pii .2. P r(Si > l) = k≥l+1 pour tout l ≥ 0. et sont données par qij = Pij 1−Pii 0 si j = i. Il possède une espérance donnée par E(Si ) = P r(Si > l) = l≥0 1 . avec λi = 0 lorsque i est un état absorbant. Le temps de séjour Si suit une loi continue à valeurs strictement positives. De plus. En eet. λi est le taux avec lequel on quitte l'état i. Ainsi. . nous obtenons que P r(Si > h) = 1 − λi h + o(h). où o(h)/h → 0 lorsque h → 0. La Figure 29 illustre cette situation.2 Chaînes à temps continu Considérons maintenant les propriétés correspondantes du temps de séjour Si à un état i ≥ 0 dans un contexte de processus à temps continu {Xt }t≥0 . ce qui est noté Si ∼ Exp(λi ). h Par le développement de Taylor. j = i avec probabilité qij i Si temps t ≥ 0 Figure 29 Temps de séjour à un état i d'une chaîne de Markov à temps continu. 1 − e−λi h pour h ≥ 0 est une fonction concave dont la dérivée à h = 0 est la pente de la droite λi h pour h ≥ 0 (voir la Figure 30). interdisant ainsi les visites instantanées. Il s'agit en fait d'une loi exponentielle de paramètre 0 ≤ λi < ∞.1. Il prend alors une valeur supérieure à h > 0 avec probabilité ∞ P r(Si > h) = λi e−λi t dt = e−λi h . Nous avons donc que P r(0 < Si ≤ h) = 1 − e−λi h = λi h + o(h).2 Chaînes de Markov à temps continu 87 2. on a l'inégalité P r(0 < Si ≤ h) ≤ λi h. indépendamment des temps de séjour et des transitions qui ont précédé. il y a transition de i à j = i avec probabilité qij .1 Description générale 88 λi h 1 − e−λi h h Figure 30 Graphique pour 1 − e−λ h ≤ λi h. Il est indépendant des états visités auparavant et des temps de séjour à ces états. Lorsqu'on quitte l'état i. pour s. Si i n'est pas absorbant (λi > 0). j . car e−λi (s+h) e−λi s −λi h =e P r(Si > s + h|Si > s) = = P r(Si > h). alors qij = 1. On a qij = 0 si j = i par dé nition. λi Il est sans mémoire. i Le temps de séjour Si possède une espérance donnée par ∞ E(Si ) = P r(Si > h)dh = 0 1 . h > 0.2. ou si i est absorbant (λi = 0) par convention. . . c'est-à-dire P r(Xt+h = j|Xt = i. On dé nit T = min(T1 . et alors T est le temps avant que le premier de ces événements ne se produise. Tn ). La plus importante est d'être des processus sans mémoire : leur comportement futur étant donné l'état présent ne dépend pas des états et des temps de séjour passés. c'est-à-dire T = Ti avec probabilité λi .1. . λ2 . Xs = is pour 0 ≤ s < t) = P r(Xt+h = j|Xt = i) = Pij (h). pour tous les états j . . . . . . c'est-à-dire T ∼ Exp(λ1 + · · · + λn ). Si on dé nit Xt comme l'état à l'instant t. . On a les deux propriétés suivantes : (a) La variable aléatoire T est de loi exponentielle de paramètre λ1 +· · ·+λn . . is pour 0 ≤ s < t et pour t. h > 0.3 Minimum de variables de loi exponentielle Soient T1 . alors {Xt }t≥0 est une chaîne de Markov à temps continu. 2. . i. T1 . Tn des variables aléatoires indépendantes de loi exponentielle de paramètres λ1 . .2 Chaînes de Markov à temps continu 89 La matrice de transition lorsqu'il y a changement d'état. En eet. . . Q = (qij ). . respectivement. λ1 + · · · + λn pour i = 1. . . . T2 . . Remarque : Les chaînes à temps discret et les chaînes à temps continu ont des propriétés analogues. λn . . les temps de séjour sont sans mémoire et les changements d'état indépendants de tous les états précédents. et les paramètres des lois exponentielles pour les temps de séjour décrivent entièrement le processus. (b) La variable aléatoire T prend la valeur de Ti avec probabilité proportionnelle à λi . (c) L'événement T = Ti est indépendant de la variable aléatoire T . De façon typique. n. Démonstration : . Tn représentent des temps avant que des événements diérents ne se produisent. . Tn > t) = P r(T1 > t) . . on obtient que P r(T > t) = P r(min(T1 . Tn ) > t) = P r(T1 > t. . . .1 Description générale 90 (a) En utilisant les hypothèses d'indépendance et de loi exponentielle pour les variables aléatoires T1 . . . .2. . Tn . pour tout t>0. Tn . (b) En conditionnant sur la valeur de Ti et en utilisant l'indépendance des variables T1 . . on calcule que ∞ P r(T = Ti ) = 0 ∞ = P r(Tj ≥ s. e−λn t = e−(λi +···+λn )t . . . pour tout t > 0. . mais en conditionnant sur la valeur de Ti > t. . . . . . . n j=1 λj (c) En utilisant les mêmes arguments que précédemment. T > t) = λi = e−s − λi n j=1 λj n j=1 λj e n j=1 λj −t n j=1 ∞ t λj = P r(T = Ti )P r(T > t). on trouve que P r(T = Ti . . . pour tout j = i)λi e−λi s ds e−λj s λi e−λi s ds 0 j=i ∞ = λi e−s n j=1 0 = λi = e−s − n j=1 λj n j=1 λj λj ds ∞ 0 λi . P r(Tn > t) = e−λ1 t . comme il y a un seul technicien. qui sont données par les entrées de la matrice Q = (qij ). 1 ou 2. le nombre de rampes mobiles qui fonctionnent à l'instant t ≥ 0. soit un temps S2 = min(T1 . On considère Xt . si on est à l'état 1. mais en utilisant les probabilités de transition lorsqu'il y a changement d'état. Le temps de cette réparation est de loi Exp(ν). donc un temps S2 de loi Exp(2µ). jusqu'à ce que l'une des deux tombe en panne. 0. deux rampes mobiles fonctionnent indépendamment l'une de l'autre. pour tout i = 0.2 Chaînes de Markov à temps continu 91 2. Lorsqu'on est à l'état 0. on y reste jusqu'à ce que l'une des deux rampes mobiles qui sont en fonctionnement tombe en panne.1. Si en revanche on est à l'état 2. La méthode est analogue au conditionnement sur la première transition dans une chaîne de Markov à temps discret. une seule rampe mobile peut être réparée à la fois. on y reste jusqu'à temps que la rampe mobile qui est en réparation soit remise en fonctionnement. disons τi = E(temps avant l'état 0 | départ de l'état i). On obtient ainsi un système d'équations linéaire qu'il su t de résoudre.4 Conditionnement sur le premier changement d'état La probabilité d'atteindre éventuellement un état à partir d'un autre état dans une chaîne de Markov à temps continu peut être obtenue en conditionnant sur le premier changement d'état. le conditionnement sur le premier changement d'état donne l'équation τi = λ−1 + i qij τj . Pour l'espérance du temps pour atteindre un état à partir d'un autre état. ce qu'elle reste un temps T de loi Exp(µ). Lorsque cela se produit. Il y a dans ce cas un changement d'état après un temps . En n. où T1 et T2 sont des variables aléatoires indépendantes de loi Exp(µ). ce qu'elle reste un temps R de loi Exp(ν) indépendant de T . Tous les temps de réparation et de fonctionnement sont indépendants.5 Exemple : Entretien de rampes mobiles Dans cet exemple. chacune pendant un temps de loi Exp(µ).1. Il y a trois états possibles. j où λ−1 est l'espérance d'un temps de séjour à l'état i. soit un temps S0 de loi Exp(ν). 2. cela signi e qu'une rampe mobile est en fonctionnement. T2 ). la rampe mobile en panne est réparée par un technicien. Il i su t alors de résoudre ce système avec τ0 = 0. alors que l'autre est en réparation. Cependant. Nous allons utiliser la méthode de conditionnement sur le premier changement d'état. pour i = 0. 2 S2 ∼ Exp(2µ) 1 avec probabilité 1 = q21 0 S1 ∼ Exp(µ + ν) S0 ∼ Exp(ν) ν µ+ν = q12 0 avec probabilité 1 2 avec probabilité µ µ+ν = q10 1 avec probabilité 1 = q01 Figure 31 Temps de séjour et probabilités de changement d'état dans l'exemple des rampes mobiles. une fois à l'état 1. ν+µ ν+µ ν+µ 1 τ2 = + τ1 . R) de loi Exp(µ + ν) avec transition de l'état 1 à l'état 0 avec probabilité q10 = P r(S1 = T ) = µ . On déduit alors le système d'équations linéaire suivant : τ0 = 0. 1. à la suite de quoi on passe ou bien à l'état 0 avec . on y reste un temps de loi Exp(ν +µ) d'espérance (ν + µ)−1 . 1 µ ν + τ0 + τ2 .1 Description générale 92 S1 = min(T. 2.2. 2µ τ1 = En eet. µ+ν La situation est schématisée dans la Figure 31. par exemple. µ+ν et transition de l'état 1 à l'état 2 avec probabilité q12 = P r(S1 = R) = ν . Nous voulons calculer l'espérance du temps avec au moins une rampe mobile en fonctionnement à partir du moment où il y en a deux en fonctionnement. Posons τi = E(temps avant l'état 0 | départ de l'état i). et signi e donc que les changements d'état sont certainement isolés. Cette hypothèse est véri ée si λj qij < ∞. En exprimant τ1 en fonction de τ2 .2 Chaînes de Markov à temps continu 93 probabilité µ/(ν + µ).6 Hypothèse sur les changements d'état Nous faisons l'hypothèse supplémentaire suivante qui porte sur la probabilité de plusieurs changements d'état sur un petit intervalle de temps à partir de tout état i : P r(2 changements d'état ou plus dans [t. ou bien à l'état 2 avec probabilité ν/(ν + µ). on ajoute τ2 . on ajoute τ0 à l'espérance du temps avant d'atteindre l'état 0. qui est à son tour l'espérance du temps passé à l'état 2. t + h] à partir de l'état i. Dans le deuxième cas. j:j=i . Cette hypothèse rend nulle la probabilité de points d'accumulation pour les temps d'arrivée de changements d'états. t + h] | état i à t) = o(h). 2µ ν + µ ν + µ d'où on trouve que τ2 = 1− ν ν+µ −1 = ν + 3µ . on obtient que τ2 = 1 1 ν + + τ2 . soit τ1 . soit (2µ)−1 plus l'espérance du temps avant d'atteindre l'état 0 à partir de l'état 1. qui est trivialement 0. 2.1. 2µ2 Sj i=j i ν + 3µ 2µ(ν + µ) Si autre état que j t t+h Figure 32 Au moins deux changements d'état dans l'intervalle de temps [t. Dans le premier cas. Sj ≤ h. . où o(h) est la probabilité de réalisation de l'événement avec au moins deux changements d'état ou avec Si . la probabilité ci-dessus satisfait alors (voir la Figure 32) P r(Si + Sj < h)qij ≤ j:j=i P r(Si < h. On obtient alors l'approximation Pij (h) = λi qij h + o(h). 2. ou λj ≤ λ < ∞ pour tout j .7 Probabilités de transition in nitésimales L'hypothèse supplémentaire ci-dessus permet d'obtenir des approximations pour toutes les probabilités de transition sur de petits intervalles de temps. Remarque : Cette hypothèse est véri ée si : le nombre d'états est ni. ≤ j:j=i d'où j:j=i P r(Si + Sj < h)qij h ≤ λj qij → 0. Ces conditions couvrent tous les cas de chaîne de Markov à temps continu considérés dans ce chapitre. λi λj hqij = hλi j:j=i j:j=i lorsque h → 0.1 Description générale 94 pour tout état i. Ainsi. De même. on a (voir la Figure 33) Pij (h) = P r(Xt+h = j|Xt = i) = P r(0 < Si < h) · qij · P r(Sj > h) + o(h). Sj < h)qij j:j=i = P r(Si < h)P r(Sj < h)qij j:j=i λi λj h2 qij .2.1. qij = 0 pour un nombre ni de j pour tout i. En eet. pour tout j = i. on obtient que Pii (h) = P r(Si > h) + o(h) = 1 − λi h + o(h) où λi est le taux avec lequel on quitte l'état i. Cela signi e que λi qij est le taux avec lequel on quitte l'état i pour l'état j . −λi ≤ 0 si j = i. si j = i. où Pij (0) = 1 si j = i. . 1. . . 1 − λi h + o(h) si j = i. . On a alors que Pij (h) − Pij (0) = h→0 h aij = lim λi qij ≥ 0 si j = i. disons i. 2. La méthode pour le faire est de déduire.2. Nous en déduisons que Pij (h) − Pij (0) = h λi qij + o(h) h −λi + o(h) h si j = i. 2. j = 0.2 Chaînes de Markov à temps continu 95 Si i Si i i=j Sj t t+h t t+h Figure 33 Moins de 2 changements d'état dans l'intervalle de temps [t. et 0 sinon.1 Générateur et probabilités de transition Nous avons vu dans la section précédente que les probabilités de transition in nitésimales sont données par Pij (h) = λi qij h + o(h) si j = i. puis de résoudre un système d'équations diérentielles. N . . t + h] à partir de l'état i.2 Chaînes sur un nombre ni d'états L'objectif de cette section est d'évaluer les probabilités de transition Pij (t) pour tout t ≥ 0 pour une chaîne de Markov à temps continu sur un nombre ni d'états. 1. h→0 h→0 h h P (t) = lim . nous obtenons Pij (t + h) = Pik (t)Pkj (h). En notation matricielle. En notation matricielle. on considère l'état à l'instant intermédiaire t (voir le Figure 34). j pour tout i.2 Chaînes sur un nombre ni d'états 96 Ces limites sont les entrées du générateur de la chaîne. Pour les probabilités de transition de l'instant 0 à l'instant t + h. 0 si λi = 0.2. k pour i. C'est l'équation de Chapman-Kolmogorov. on a donc A1 = 0. . Les entrées de cette matrice satisfont aij = 0. on a donc P (t + h) = P (t)P (h). On remarque que aij = 0 pour tout j si i est absorbant (λi = 0). N . h h où I représente la matrice identité. j:j=i où qij = j:j=i 1 si λi > 0. d'où P (t + h) − P (t) P (h) − I = P (t) . On conclut alors que P (t + h) − P (t) P (h) − I = P (t) lim = P (t)A. j = 0. aij = aii + j aij j:j=i = −λi + λi qij . . . où 1 est un vecteur dont toutes les composantes sont 1 et 0 un vecteur dont toutes les composantes sont 0. . noté A = (aij ). Ainsi. En eet. De même. qui est l'équation rétrograde de Kolmogorov. . n! En eet. Les équations ont comme solution P (t) = eAt = n≥0 An tn .2 Chaînes de Markov à temps continu 97 j i k 0 t t+h Figure 34 Transition de i à j de l'instant 0 à l'instant t + h en passant par l'état k à l'instant intermédiaire t. nous supposons que le générateur A est diagonalisable. on a alors d At e = dt n≥1 = n≥0 nAn−1 tn−1 n! A An t n A n! At =e A = AeAt . c'est-à-dire A = QΛQ−1 . si on considère l'état à l'instant intermédiaire h entre 0 et t + h et qu'on laisse tendre h vers 0. C'est l'équation progressive de Kolmogorov. nous obtenons l'équation diérentielle matricielle P (t) = AP (t). A n de calculer P (t). 2 Exemple : Retour sur les rampes mobiles Reprenons l'exemple des deux rampes mobiles avec les hypothèses suivantes : temps de fonctionnement de chaque tapis de loi Exp(µ) . λN est une matrice diagonal de valeurs propres de A et Q est une matrice inversible dont les colonnes sont des vecteurs propres à droite associés.. A = µ −(ν + µ) 0 2µ −2µ . e λN t −1 Q .2.2 Chaînes sur un nombre ni d'états 98 où Λ= λ0 λ1 .. On passe de l'état 0 à l'état 1 au taux ν et de l'état 2 à l'état 1 au taux 2µ... On a alors QΛn Q−1 tn n! n≥0 Λn tn −1 = Q Q n! eAt = n≥0 = QeΛt Q−1 λt e 0 eλ1 t = Q . indépendance de tous les temps de fonctionnement et de réparation. Le générateur pour le nombre de rampes mobiles en fonctionnement est donc −ν ν 0 ν . alors qu'on quitte l'état 1 pour l'état 2 au taux ν et pour l'état 0 au taux µ. un seul tapis réparé à la fois et temps de réparation de loi Exp(ν) .2. 2. 2 Chaînes de Markov à temps continu 99 On pose µ = 1 et ν = 2 de telle sorte que −2 2 0 2 . A = 1 −3 0 2 −2 Les valeurs propres sont alors obtenues en solutionnant l'équation caractéristique 0 = det(A − λI) −λ − 2 2 0 1 −λ − 3 2 = det 0 2 −λ − 2 = (−λ − 2) ((−λ − 3)(−λ − 2) − 2 · 2) − 2(−λ − 2) = −λ(λ + 2)(λ + 5). x = −2z. alors x = y = z. si λ = −2. Les vecteurs propres à droite associés sont obtenus en solutionnant l'équation −2x + 2y x x λ y = A y = x − 3y + 2z . d'où x 1 y = 1 z 1 en prenant arbitrairement x = 1 . alors y = 0. −2. . Les valeurs propres sont donc λ = 0. −5. 2y − 2z z z Il y a trois cas à considérer : si λ = 0. 2 Chaînes sur un nombre ni d'états 100 et on obtient x −2 y = 0 z 1 en prenant arbitrairement z = 1 . . en n. 0 1/5 −2/15 La matrice de transition de l'instant 0 à l'instant t est alors donnée par P (t) = QeΛt Q−1 0t 1/5 1 −2 −2 e 0 0 −2t 0 3 0 e 0 −1/3 = 1 −5t 1 1 2 0 0 e −1/15 2/5 2/5 0 1/3 2/15 − 1/5 . si λ = −5. et dans ce cas x −2 y = 3 z −2 en prenant arbitrairement y = 3.2. =− 5 15 1 −3 2 La matrice A peut s'écrire sous la forme A = QΛQ−1 1/5 1 −2 −2 0 0 0 1 0 −2 −1/3 0 3 0 = 1 1 2 0 0 −5 −1/15 2/5 2/5 1/3 . Q= 1 1 1 −2 On trouve alors que Q−1 −3 −6 −6 1 0 −5 . On dé nit donc 1 −2 −2 0 3 . alors 3x = 3z = −2y. les entrées sur chaque ligne correspondent aux proportions moyennes de temps à long terme dans les états 0.2 Nombre d'arrivées dans un intervalle de temps Si {Xt }t≥0 est un processus de Poisson d'intensité ν pour les arrivées d'un événement. Plus généralement. ce qui signi e que la chaîne oublie l'état initial à long terme. Une naissance correspond à une transition d'un entier à l'entier suivant. des accidents ou des clients. le temps entre deux arrivées consécutives. on déduit que 1/5 1 −2 −2 1 0 0 1 0 0 0 −1/3 0 3 lim P (t) = t→∞ 1 1 2 0 0 0 −1/15 1/5 2/5 2/5 = 1/5 2/5 2/5 . De plus. 1/5 2/5 2/5 2/5 2/5 1/3 0 1/5 −2/15 Il est important de remarquer que toutes les lignes de la matrice de transition limite sont identiques. est de loi exponentielle de paramètre ν . qui compte le nombre d'arrivées d'un événement qui surviennent au hasard dans le temps à un taux constant. lorsque le taux d'arrivée dépend de l'état courant de telle sorte qu'on passe de l'état i ≥ 0 à l'état i + 1 avec probabilité 1 après un temps de loi Exp(νi ). Dans ce cas.3 Processus de Poisson comme processus de naissance 2. respectivement. Si le nombre d'arrivées dans l'intervalle de temps [0. alors l'état du processus à l'instant t est i. Le processus de Poisson est d'intensité ν > 0 si les arrivées surviennent avec ce taux. c'est-à-dire Xt = i. t] suit . 2.2 Chaînes de Markov à temps continu 101 Ainsi. alors {Xt }t≥0 où Xt représente l'état à l'instant t ≥ 0 est appelé un processus de naissance (voir la Figure 35). 1 et 2. par exemple. La chaîne passe alors de l'état i à l'état i + 1 avec probabilité 1. qui est indépendant de tous les autres temps inter-arrivées.3. Un processus de naissance est un processus croissant sur tous les entiers non négatifs avec augmentation de 1 à la fois avec probabilité 1. Le temps avant l'arrivée du prochain événement est de loi Exp(ν). alors le nombre d'arrivées dans l'intervalle de temps [0.1 Description générale Un processus de Poisson est une chaîne de Markov à temps continu {Xt }t≥0 . 2. t] est i.3. Pour chacun de ces sous-intervalles. ces arrivées de l'événement sont indépendantes. t] subdivisé en N sousintervalles de longueur égale t/N . On s'intéresse au nombre d'événements qui surviennent dans l'intervalle de temps [0. indépendamment des arrivées en dehors de cet intervalle. En fait cela est les cas pour le nombre d'arrivées dans tout intervalle de longueur t.. en particulier processus de Poisson lorsque νi = ν . alors que la probabilité qu'un événement ne survienne pas est 1 − pN = 1 − νt +o N t N ∼ 1 − νt . Les N sous-intervalles correspondent à N épreuves indépendantes. représenté par Xt .. = N où S est de loi Exp(ν).2. une loi Poisson(νt). t]. t t/N Figure 36 N intervalles de longueur égale t/N . 0 t/N 2t/N . = N De plus. On suppose que N est grand de telle sorte que t/N est petit et que la probabilité de deux arrivées ou plus dans un même sous-intervalle est négligeable. la probabilité qu'un événement survienne est pN = P r(S ≤ t/N ) = νt +o N t N ∼ νt ...4 Processus de Poisson comme processus de naissance 102 probabilité 1 i+1 Si ∼Exp(νi ) 0≤i temps t ≥ 0 Figure 35 Processus de naissance. La Figure 36 représente un intervalle de temps [0. Le processus est alors à accroissements indépendants. it/N (i+1)t/N . chacune donnant lieu à un succès (arrivée d'un événement) avec probabilité pN ou à un échec avec probabilité 1 − pN . Le nombre total de succès suit alors une loi binomiale avec paramètres N et pN . h→0 h P0k (t) = lim pour k ≥ 1. alors que la distribution reste identique parce que l'intensité du processus est constante. On a donc l'approximation P r(Xt = k|X0 = 0) ∼ = N k νt N k 1− νt N N −k 1 − νt N N −1 N − k + 1 (νt)k N = × × ··· × × × N N N k! 1 − νt N → N k (νt)k −νt e . représentée par P0k (t). k! pour tout s > 0. lorsque N → ∞. lorsque N → ∞. avec P00 (t) = e−vt . donc d'espérance et de variance νt.k (t). Plus rigoureusement.k−1 (t)(νh + o(h)) + o(h). étant donné que X0 = 0. la probabilité de transition ci-dessus. et la variance N pN (1 − pN ) → νt. k! pour k ≥ 0. Cela donne l'équation diérentielle P0k (t + h) − P0k (t) = νP0. Cela signi e que Xt . h > 0. k! pour tout k ≥ 0. pour t. le même raisonnement montre que P r(Xt+s − Xs = k|Xs = i) = (νt)k −νt e .k−1 (t) − νP0.2 Chaînes de Markov à temps continu 103 dont l'espérance N pN → νt. L'indépendance par rapport à Xs découle essentiellement du fait que la loi exponentielle est sans mémoire. En fait. Il est facile de véri er que la solution est donnée par P0k (t) = (νt)k −νt e . . suit une loi de Poisson de paramètre νt. satisfait l'équation de Chapman-Kolmogorov P0k (t + h) = P0k (t)(1 − νh + o(h)) + P0. 104 2. T = i=1 . accident avec blessures corporelles) avec la même probabilité p. Cette variable aléatoire suit une loi exponentielle de paramètre ν . La loi correspondante est appelée loi gamma de paramètres n et ν. des accidents) surviennent selon un processus de Poisson d'intensité ν et que chaque événement qui survient est d'un type donné A (par exemple. Cette variable aléatoire suit une loi géométrique de paramètre p.4 Processus de Poisson comme processus de naissance 2. On a alors (voir la Figure 37) N Ti ∼ Exp(νp).4 Arrivée d'événements d'un type donné Supposons que des événements (par exemple. Alors les événements de type A surviennent selon un processus de Poisson d'intensité νp. P r(Tn ≤ t) = P0k (t) = k≥n k≥n (νt)k −νt e .3 Distribution des temps d'arrivée Le premier événement dans un processus de Poisson d'intensité ν arrive après un temps de loi exponentielle de paramètre ν . k! La fonction de densité de Tn est donnée par la dérivée par rapport à t. le temps entre l'arrivée du (i − 1)-ième événement (instant initial si i = 1) et l'arrivée du i-ième événement. toutes les variables sont indépendantes. . où S0 . indépendamment de tous les autres événements.3. pour t > 0. soit N le nombre d'événements à survenir avant qu'un événement de type A ne se réalise. Le n-ième événement arrive après un temps Tn = S0 + · · · + Sn−1 . pour i ≥ 1. Or. Cela signi e que le taux d'arrivée des événements de type A est νp. . Sn−1 sont des variables aléatoires indépendantes de loi exponentielle de paramètre ν . . De plus. . soit d P r(Tn ≤ t) = −νe−νt dt = νe−νt (νt)k + νe−νt k! k≥n (νt)n−1 (n − 1)! k≥n (νt)k−1 (k − 1)! . En eet.3. Soit aussi Ti . 2. En eet. représenté par T .5 Arrivée d'événements de deux types Si {Xt }t≥0 et {Yt }t≥0 sont des processus de Poisson indépendants d'intensité ν1 et ν2 . Cela découle du fait que T =min(T1 . respectivement.3. respectivement (par exemple. T2 ) est de loi Exp(ν1 + ν2 ) si T1 et T2 sont des variables aléatoires indépendantes de loi Exp(ν1 ) et Exp(ν2 ). Ici. de telle sorte que la somme augmente de 1 à la n du minimum de ces deux temps. pour l'arrivée d'accidents avec blessures corporelles et l'arrivée d'accidents avec dommages matériels seulement). T1 représente un temps avant que Xt augmente de 1 et de même T2 un temps avant que Yt augmente de 1.2 Chaînes de Markov à temps continu T1 ∼ Exp(ν) 105 T2 ∼ Exp(ν) 1−p T3 ∼ Exp(ν) 1−p p 0 temps t ≥ 0 Figure 37 Temps jusqu'à l'arrivée d'un événement de probabilité p dans une suite d'événements qui surviennent au hasard au taux ν . . 2. on trouve que ∞ P r(T > t) = P r(T > t|N = n)P r(N = n) n=1 ∞ n−1 = n=1 ∞ = k=0 ∞ = (νt)k e−νt k! k=0 (νt)k e−νt k! p(1 − p)n−1 p(1 − p)n−1 n≥k+1 (νt)k e−νt (1 − p)k k! k=0 −νt νt(1−p) =e e =e −νtp . pour tout t > 0. alors {Xt + Yt }t≥0 est un processus de Poisson d'intensité ν1 + ν2 . Si Ui est un temps choisi au hasard parmi les temps d'arrivée ordonnées T1 . n. De façon analogue. t]. T1 . t pour 0 < s ≤ t. et donc des variables aléatoires indépendantes de loi de Poisson de paramètre sν et (t − s)ν . Cela signi e que chacune des n arrivées dans [0. étant donné que Xt = n. respectivement.6 Distribution conditionnelle des temps d'arrivée Étant donné une seule arrivée dans un intervalle de temps [0. respectivement. alors s P r(Ui ≤ s|Xt = n) = . c'est-à-dire P r(Z1 = k1 . .106 2. . . . . (s1 . toutes de loi uniforme sur [0. Donc. la variable Ui est bien de loi uniforme sur [0. t] survient dans [0. (sn . Autrement dit. . on s'attend à ce que la loi du temps de cette arrivée soit uniforme sur [0. . sn+1 ].4 Processus de Poisson comme processus de naissance 2. Zn+1 ont une distribution conditionnelle de loi multinomiale de paramètres n et (s1 − s0 )/t. La loi conditionnelle de Z1 . . Un . avec s0 = 0 et sn+1 = t. . En eet. alors on a la décomposition Xt = Z1 + Z2 . s1 ]. si Xt représente le nombre d'arrivées dans [0. est binomiale de paramètres n et s/t. kn+1 ! s1 − s0 t k1 . les n arrivées surviennent à des instants choisis au hasard et indépendamment dans l'intervalle [0. . car k P r(Z1 = k. étant donné que Xt = n. . . t]. Tn . .. . t]. . . . les temps ordonnés de ces arrivées. s2 ]. représentés par Z1 . sont distribués comme les statistiques d'ordre de variables aléatoires indépendantes U1 . t]. . Tn . Zn+1 = kn+1 |Xt = n) = n! k1 ! . où Z1 et Z2 sont les nombres d'arrivées dans [0. s] avec probabilité s/t indépendamment des autres. . s] et (s. sn+1 − sn t kn+1 . . . . 1. t]. (sn+1 − sn )/t. Z2 = n − k|Xt = n) = n−k e−νs (νs) e−ν(t−s) (ν(t−s)) k! (n−k)! n e−νt (νt) n! n! s k s = 1− k!(n − k)! t t n−k . t] dans un processus de Poisson d'intensité ν . En eet. . étant donné n arrivées dans [0.. t]. . . . le taux d'arrivée étant constant il n'y a pas de raison pour que l'événement survienne de préférence dans des régions de l'intervalle plutôt que d'autres. pour k = 0. . . t]. . .3. les nombres d'arrivées dans les intervalles [s0 . . . . . . Plus généralement. t] survient dans les intervalles ci-dessus avec probabilités proportionnelles à la longueur de ces intervalles. par exemple. 2. Un ≤ sn |Xt = n) = pour 0 ≤ s1 ≤ · · · ≤ sn ≤ 1. s'il y a . sn ≤ 1. Un sont choisis au hasard sans remise parmi les temps d'arrivée ordonnés T1 . . L'égalité montre que ces variables sont indépendantes. indépendamment des autres.4 Processus de mort 2. Un a la même distribution conjointe. qui correspond à une mort. Lorsque le processus est utilisé pour décrire la taille d'une population. . Tn . En fait. .2 Processus de mort linéaire Considérons le cas où le taux de mort lorsqu'on est à l'état i ≥ 0 est donné par µi = iµ. .. De plus. . P r(Un ≤ sn |Xt = n). .4. t t = P r(U1 ≤ s1 |Xt = n) .2 Chaînes de Markov à temps continu 107 Cela signi e que chacune des n arrivées dans [0. car toute permutation de U1 . l'état 0 correspond à l'extinction de la population. P r(U1 ≤ s1 . . . 2. . Ainsi. . C'est le cas. .1 Description générale Un processus de mort {Xt }t≥0 est une chaîne de Markov à temps continu sur les entiers non négatifs avec transition de i ≥ 1 à i − 1. . . Si U1 .. on a l'égalité pour 0 ≤ s1 . on a µ0 = 0 de telle sorte que 0 est une état absorbant. .4. . pour une population sans naissance où chaque individu vit indépendamment des autres pendant un temps aléatoire qui suit une loi exponentielle de paramètre µ. . avec probabilité 1 après un temps de loi Exp(µi ) (voir la Figure 38). . . . 0≤i Si ∼Exp(µi ) i − 1 avec probabilité 1 temps t ≥ 0 Figure 38 Processus de mort (µ0 = 0 de telle sorte que l'état 0 est absorbant). . . Un processus de mort est toujours décroissant. alors sn s1 . . . ce temps de séjour est indépendant de tous les autres... Ti ∼Exp(µ) indépendantes i − 1 avec probabilité 1 temps t ≥ 0 Figure 39 Représentation du processus de mort linéaire. . . .5 Processus de mort 108 i ≥ 1 individus dans la population à un moment donné. Ti sont des variables aléatoires indépendantes de loi Exp(µ). éteinte à l'instant t ≥ 0 étant donné que sa taille est k ≥ 1 initialement est donnée par P r(extinction à t | état k à 0) = P r(Sk + · · · + S1 < t). la taille de celle-ci diminue à i − 1 après un temps Si = min(T1 . . De plus.4. Or la population est éteinte à l'instant t > 0 si et seulement si les temps de vie des k individus à l'instant 0 sont inférieurs à t. Ti ) ∼Exp(iµ) T1 . .. La Figure 39 illustre la situation. c'est-à-dire (voir la Figure 41) P r(Sk + · · · + S1 < t) = P r(T1 < t. 2.3 Processus de naissance de Yule Le processus de naissance de Yule est un processus de naissance linéaire avec taux de naissance lorsqu'on est à l'état i ≥ 1 de la forme νi = iν . où T1 .2.. en utilisant l'hypothèse d'indépendance. . La représentation graphique de cet événement est donnée dans la Figure 40.. . . . . On a donc Si ∼ Exp(iµ).. . Tk < t) = P r(T1 < t) · · · P r(Tk < t) = (1 − e−µt )k . C'est la situation par exemple lorsque chacune des cellules d'une population . Remarquons que la probabilité que la population soit 1≤i Si =min(T1 . T2 . . T2 . . Ti ). . T1 ∼Exp(µ) T2 ∼Exp(µ) Tk ∼Exp(µ) 0 t Figure 41 Extinction au temps t > 0 à partir de temps de vie individuels. . se divise en deux après un temps aléatoire qui suit une loi exponentielle de paramètre ν . T2 . où T1 . . Ti sont des variables aléatoires indépendantes de loi Exp(ν) qui représentent les temps de vie de cellules-mères avant de se diviser en deux cellules- lles.. alors il augmente à i + 1 après un temps de séjour Si = min(T1 . . Ti ) ∼ Exp(iν) indépendant des autres temps de séjour.. Les Figures 42 et 43 illustrent cette situation. . indépendamment des autres cellules.2 Chaînes de Markov à temps continu 109 Sk ∼Exp(kµ) k k−1 Sk−1 ∼Exp((k − 1)µ) 1 S1 ∼Exp(µ) 0 t Figure 40 Extinction au temps t > 0 dans un processus de mort linéaire à partir de l'état k au temps 0. . Si ce nombre est i. L'état de la chaîne est le nombre total de cellules dans la population.. 2.5 Processus de mort 110 cellule-mère i temps de vie Ti ∼Exp(ν) 2 cellules- lles Figure 42 Temps de division d'une cellule-mère en deux cellules- lles. i + 1 avec probabilité 1 1≤i Si =min(T1 , T2 , ..., Ti ) ∼Exp(iν) T1 , T2 , ..., Ti ∼Exp(ν) indépendantes temps t ≥ 0 Figure 43 Temps avant une division parmi i cellules-mères. La loi de probabilité conditionnelle de Xt , le nombre de cellules au temps t ≥ 0, étant donné que X0 = 1, peut être obtenue à partir d'une correspondance avec le processus de mort linéaire. En eet, on a P r(Xt > k | X0 = 1) = P r(S1 + · · · + Sk < t) = 1 − e−νt k , pour tout k ≥ 1, puisque les temps de séjour S1 , . . . , Sk satisfont les mêmes conditions que dans la section précédente (voir la Figure 44). Ainsi, le nombre de cellules qui sont présentes au temps t ≥ 0 lorsqu'il n'y a qu'une cellule au départ suit une loi géométrique de paramètre e−νt . 2.4.4 *Processus de coalescence Le processus de coalescence est un processus de mort particulier avec taux de mort lorsqu'on est à l'état i ≥ 1 donné par µi = i(i − 1) . 2 Il est utilisé en génétique des populations pour les lignées ancestrales d'un échantillon aléatoire de gènes. Ce taux correspond au nombre de paires de lignées qui peuvent coalescer en remontant le temps pour n'en former qu'une seule, parmi i lignées. C'est le cas si chaque paire de lignées coalescent au taux 1 indépendamment des autres. Lorsqu'une paire de lignées coalescent 2 Chaînes de Markov à temps continu 111 k k−1 2 Sk Sk−1 S2 S1 1 0 t Figure 44 État k au temps t > 0 dans un processus de naissance linéaire à partir de l'état 1 au temps 0 le nombre total de lignées passe de i à i − 1. De plus une seule coalescence peut se produire à la fois avec probabilité 1. A partir d'un échantillon de i ≥ 2 gènes, on peut suivre les lignées en remontant le temps jusqu'à ce qu'on ait une seule lignée pour la première fois. Cela se produit lorsqu'on arrive à l'ancêtre commun le plus récent. On obtient ainsi un arbre de coalescence. La Figure 45 représente un arbre de coalescence à partir de i = 16 lignées initiales. temps vers le passé ancêtre commun le plus récent S2 ∼Exp(1) T16 S3 ∼Exp(3) Figure 45 Arbre de coalescence pour 16 lignées initiales. 2.5 Processus de mort 112 Soit Ti le temps nécessaire pour arriver à l'ancêtre commun le plus récent à partir de i ≥ 2 gènes. On a i Ti = Sj , j=2 où Sj représente le temps passé avec j lignées, pour j = 2, . . . , i. Ce temps est de loi Exp((j(j − 1)/2). De plus les temps S1 , . . . , Si sont des variables aléatoires indépendantes. Pour l'espérance de Ti , on obtient donc que i E(Ti ) = E(Sj ) j=2 i = j=2 2 j(j − 1) i 1 1 − j−1 j =2 j=2 =2 1− 1 i . Quant à la variance, elle est donnée par i V ar(Ti ) = V ar(Sj ) j=2 i = j=2 i =4 j=2 i−1 =4 j=1 i =8 j=1 2 j(j − 1) 2 1 1 − j−1 j 1 +4 j2 i j=2 2 1 −8 j2 i j=2 1 j(j − 1) 4 1 1 −4− 2 −8 1− 2 j i i Par conséquent on déduit que lim E(Ti ) = 2 i→∞ . 2 Chaînes de Markov à temps continu 113 et ∞ 1 8π 2 − 12 = − 12 ≈ 1, 16. 2 j 6 lim V ar(Ti ) = 8 i→∞ j=1 Il est intéressant de remarquer que E(S2 ) = V ar(S2 ) = 1, ce qui signi e que le temps passé avec deux lignées est responsable de plus de la moitié de l'espérance du temps jusqu'à l'ancêtre commun le plus récent, et de la grande majorité de la variabilité de ce temps, à partir d'un nombre quelconque de lignées. Un autre élément intéressant de l'arbre de coalescence est la longueur totale de toutes les branches verticales jusqu'à l'ancêtre commun le plus récent. Cette longueur est donnée par la variable i Li = jSj . j=2 Son espérance est i i E(Li ) = jE(Sj ) = 2 j=2 j=2 1 ≈2 j−1 i 1 1 dx = 2 log(i). x Supposons maintenant que des mutations se produisent au hasard le long de toutes les branches verticales de l'arbre de coalescence selon des processus de Poisson indépendants d'intensité λ. De plus les mutations transforment le matériel génétique à des sites tous diérents du brin d'ADN qui détermine le gène considéré. Chacune de ces mutations correspond à un site polymorphe dans l'échantillon, dans le sens que certains des gènes échantillonnés portent le matériel génétique de l'ancêtre commun le plus récent à un site donné alors que d'autres portent un matériel diérent. Le nombre de sites polymorphes dans un échantillon de taille i est représenté par Ni . En conditionnant sur la longueur totale de toutes les branches verticales de l'arbre de coalescence, Li , dont la fonction de densité est représentée par f (l), on trouve que ∞ E(Ni | Li = l)f (l)dl E(Ni ) = 0 = ∞ λlf (l)dl 0 = λE(Li ) ≈ 2λ log(i). respectivement.5 Processus de naissance et de mort 114 Cela permet d'estimer le taux de mutation λ par le nombre de sites polymorphes observés dans un échantillon de taille i divisé par 2log(i). C'est le cas asymptotiquement pour beaucoup d'autres modèles de population. Soit Si le temps jusqu'à la première coalescence en prenant N générations comme unité de temps et en laissant N → ∞.2. Cela est le cas si le temps avant une naissance est de loi Exp(νi ) et le temps avant une mort est de loi Exp(µi ). les N individus de la génération n + 1 sont des copies de N individus de la génération n choisis au hasard avec remise.5. Remarque : Dans le modèle de Wright-Fisher pour une population de taille N à générations séparées. N · N ···N 2N En désignant par [N t] la partie entière de N t pour tout t > 0 xé. 2. soit à l'état i−1 avec probabilité µi /(νi +µi ) (voir la Figure 46). Ici. .1 Description générale Le processus de naissance et de mort combine le processus de naissance et le processus de mort en un seul. on a donc P r(Si > t) = lim N →∞ 1− i(i − 1) + o(N −1 ) 2N [N t] = e− i(i−1) t 2 . Considérons un échantillon aléatoire sans remise de i individus à une génération donnée. une fois à l'état i ≥ 0 on y reste un temps de loi Exp(νi + µi ) avant d'aller soit à l'état i + 1 avec probabilité νi /(νi +µi ). les deux temps étant indépendants. Le nombre de lignées ancestrales est alors décrit par un processus de coalescence. Les paramètres νi et µi sont les taux de naissance et de mort. La probabilité qu'il n'y ait aucune coalescence en une génération est N · (N − 1) · · · (N − i + 1) i(i − 1) =1− + o(N −1 ). les deux lignées correspondantes coalescent. De plus. étant donné qu'il y a au moins une coalescence. et suivons les i lignées de ces individus en remontant le temps.5 Processus de naissance et de mort 2. On suppose que µ0 = 0. la probabilité conditionnelle qu'il y en ait exactement une a comme limite 1. Lorsque deux individus sont des copies d'un même individu de la génération précédente. 5. la probabilité d'une explosion en un temps ni est égale à 0.2 Chaînes de Markov à temps continu 115 i + 1 probabilité = qi. pour sans mémoire.2 Processus à temps de vie in ni Un processus de naissance et de mort est à temps de vie in ni.i−1 Si ∼Exp(νi + µi ) Figure 46 Processus de naissance et de mort. j pour tout état i et pour tout instant t > 0. En eet. Remarque : Une explosion en un temps ni ne peut survenir que dans le cas d'une chaîne de Markov à temps continu. Une condition su sante pour qu'un processus de naissance et de mort soit à temps de vie in ni est j≥0 1 = ∞. en supposant une naissance à la n de chacun d'eux. 2. sousentendu presque sûrement. est in nie. il ne peut y avoir qu'un nombre ni de changements d'état en un temps ni. est une notation utilisée pour signi er une loi exponentielle. µj + νj Cela signi e que l'espérance de la somme des temps de séjour aux diérents états.i+1 i − 1 probabilité 0≤i νi νi +µi µi νi +µi = qi.3 Systèmes d'attente Considérons un système d'attente de type M/M/s. La lettre M . 2.5. ce qui exclut la possibilité d'explosion. Autrement dit. dans le cas d'une chaîne de Markov à temps discret. . si Pij (t) = 1. La Figure 47 représente la situation dans le cas s = 1. le premier M signi e que le temps entre deux arrivées consécutives de clients suit une loi exponentielle. le s représente le nombre de serveurs pour les clients dans le système. Le nombre de clients Xt en attente ou en train de se faire servir dans le système à l'instant t. M/M/∞ : Dans ce cas. Finalement. disons de paramètre ν . le nombre de serveurs occupés est égal au nombre de clients dans le système jusqu'à un maximum de s. Les temps inter-arrivées et les temps de service sont tous supposés indépendants. Le taux . Le taux de naissance est le même que précédemment. × Exp(ν) × × × × Exp(µ) Figure 47 Système d'attente M/M/1. Ainsi. le nombre de serveurs occupés est égal au nombre de clients dans le système qui ne sera jamais saturé. µ0 = 0. Le processus d'arrivées est donc un processus de Poisson. µi = µ pour i ≥ 1. le serveur est occupé dès qu'il y a au moins un client dans le système.5 Processus de naissance et de mort 116 Ainsi. Trois systèmes sont à considérer : M/M/1 : Dans le cas où il n'y a qu'un seul serveur. Le deuxième M signi e que le temps de service suit aussi une loi exponentielle. sµ pour i ≥ s + 1.2. pour t ≥ 0. disons de paramètre µ. mais le taux de mort est µi = iµ pour 0 ≤ i ≤ s. est un processus de naissance et de mort dont les paramètres dépendent du nombre de serveurs. M/M/s pour 1 < s < ∞ : Dans ce cas. on a νi = ν pour i ≥ 0. soit νi = ν pour tout i ≥ 0. 2. j+1 j j j−1 i 0 t t+h Figure 48 Transitions pour l'équation progressive de Kolmogorov. les probabilités des visites à j − 1. Lorsque h est petit. j .4 Équation progressive de Kolmogorov L'équation progressive de Kolmogorov pour la dérivée de la probabilité de transition de l'état i à l'état j dans un processus de naissance et de mort de l'instant 0 à l'instant t est Pij (t) = µj+1 Pi.2 Chaînes de Markov à temps continu 117 de naissance est toujours νi = ν pour tout i ≥ 0.j+1 (t) + νj−1 Pi. alors que le taux de mort est µi = iµ pour i ≥ 0. et 0 sinon.5. j + 1 à cet instant sont dominantes (voir la Figure 48). avec ν−1 = µ0 = 0 et Pij (0) = 1 si j = i. j ≥ 0. Cette équation est obtenue en considérant la probabilité de transition de l'instant 0 à l'instant t + h et en conditionnant sur l'état à l'instant intermédiaire t. pour i. .j−1 (t) − (µj + νj )Pij (t). P r(Sj−2 + Sj−1 < h) ≤ P r(Sj−2 < h. h h La limite lorsque h → 0 donne l'équation progressive de Kolmogorov. P r(Sj+2 + Sj+1 < h)). l'équation de Chapman-Kolmogorov donne Pij (t + h) = Pik (t)Pkj (h) k = Pi.j−1 (t)(νj−1 h + o(h)) + Pij (t)(1 − (µi + νj )h + o(h)) + Pik (t)Pkj (h). Sj−1 < h) = P r(Sj−2 < h)P r(Sj−1 < h) ≤ (µj−2 + νj−2 )(µj−1 + νj−1 )h2 . On conclut que Pik (t)Pkj (h) = o(h).2. k=j−1.j.j−1 (t) − (µj + νj )Pij (t) + .j+1 qui dépend seulement de j . En regroupant toutes les fonctions o(h).j+1 Or.j+1 (t) + νj−1 Pi.j+1 (t)(µj+1 h + o(h)) + Pi. Pkj (h) ≤ max(P r(Sj−2 + Sj−1 < h). De même P r(Sj+2 + Sj+1 < h) ≤ (µj+2 + νj+2 )(µj+1 + νj+1 )h2 . k=j−1. De plus. on obtient que Pij (t + h) − P ij(t) o(h) = µj+1 Pi. µ = ν . 2. C'est un processus qui décrit une population qui reçoit des immigrants au taux λ et dans laquelle chaque individu donne .5 Processus linéaire avec immigration On considère un processus de naissance et de mort avec νi = iν + λ et µi = iµ.5 Processus de naissance et de mort 118 En eet. pour i ≥ 0.j.5. où Sl désigne un temps de séjour à l'état l. j−1 (t). En utilisant l'équation progressive de Kolmogorov.j+1 (t) + j≥1 j≥1 Pi. M (t) = (F (t) + F (t)(ν − µ))e(ν−µ)t = ((ν − µ)F (t) + λe(µ−ν)t )e(ν−µ)t . Ainsi.j (t) − +λ (j − 1)νPi. j≥1 car i≥0 1 = ∞. iµ + iν + λ ce qui garantit que le processus est à temps de vie in ni. indépendamment des autres. M (t) = j≥0 soit l'espérance du nombre d'individus à l'instant t étant donné qu'il y en a i à l'instant 0.j+1 (t) + j≥1 − j≥1 j(jµ + jν + λ)Pij (t) − j≥1 (j + 1)µPi.2 Chaînes de Markov à temps continu 119 naissance à un autre individu au taux ν et meurt au taux µ.j−1 (t) (j + 1)(j + 1)µPi.j−1 (t) (j + 1)µPi.j+1 (t) j≥1 ((j − 1)ν + λ)Pi. On essaie une solution de la forme M (t) = F (t)e(ν−µ)t . j≥1 Or. on trouve que jPij (t) M (t) = j≥1 = (j − 1)((j − 1)ν + λ)Pi. avec M (0) = i. Pi. .j−1 (t) + j≥1 = −µPi. On a alors M (t) = (−µ + ν)M (t) + λ.j−1 (t) = 1. où e(ν−µ)t est la solution de l'équation homogène (lorsque λ = 0). On dé nit jPij (t). 2.5 Processus de naissance et de mort 120 On en déduit que F (t) = λe(µ−ν)t . pour i ≥ 0. c'est-à-dire que F (t) = λ (µ−ν)t e + c.5. L'extinction est donc certaine si p ≤ 1/2. c'est-à-dire ν ≤ µ. Cela suggère l'existence d'une distribution stationnaire dans le cas ν < µ si λ > 0.i−1 La probabilité d'extinction éventuelle à partir de l'état i ≥ 1 est donc la même que la probabilité de ruine éventuelle d'un joueur contre un adversaire in niment riche. µ−ν d'où lim M (t) = t→∞ ∞ λ µ−ν si ν > µ. est donc absorbant. qui correspond à l'extinction.6 *Processus linéaire sans immigration On considère le processus de naissance et de mort linéaire avec νi = iν et µi = iµ. iν + iµ ν+µ iµ µ = = . étant donné un avoir initial de i et une mise de 1 sur chaque partie d'une série qui est doublée avec probabilité p = ν/(ν + µ) indépendamment des autres ou perdue avec la probabilité complémentaire. . mais l'absorption à l'état 0 avec probabilité 1 si λ = 0. Les probabilités de changement d'état à partir de tout état i ≥ 1 sont données par iν ν = . On obtient donc comme solution M (t) = λ (1 − e(ν−µ)t ) + ie(ν−µ)t . iν + iµ ν+µ qi. on dé nit τi = E(temps avant l'état 0 | départ de l'état i). en faisant F (0) = M (0) = i. 2. On trouve que c = i − λ/(µ − ν). µ−ν pour une certaine constante c. L'état 0. Dans le cas où ν ≤ µ. alors que sa probabilité donnée par (1 − p)i /pi = (µ/ν)i si ν > µ.i+1 = qi. si ν < µ. ν . On faisant tendre i vers l'in ni.2 Chaînes de Markov à temps continu 121 En conditionnant sur le premier changement d'état. indépendamment des autres. où i (τi+1 − τi ) ≤ zi + i zi = j=1 1 jν ν µ ν µ i τ1 . avec τ0 = 0. τi ≤ τi+1 ≤ τi + τ1 . Or. jν pour tout i ≥ 1. i(ν + µ) ν + µ ν+µ pour tout i ≥ 1. où Ti représente le temps jusqu'à l'extinction de la descendance de i individus dans une population où chaque individu donne naissance à un autre au taux ν et meurt au taux µ. Cette équation est équivalente à τi − τi+1 = 1 µ + (τi−1 − τi ). Dans le cas ν = µ. En eet. où Ti et T1 sont des variables indépendantes. on obtient que τ1 = ∞. j . on obtient l'équation τi = 1 ν µ + τi+1 + τi−1 . E(Ti ) ≤ E(Ti+1 ) = E(max(Ti . Dans le cas ν < µ. En faisant tendre i vers l'in ni et en supposant que τ1 < ∞. D'autre part. on trouve que ∞ τ1 = j=1 1 jν ν µ j =− log(1 − ν/µ) . on a i τ1 = j=1 i 1 + τi+1 − τi ≥ jν j=1 1 . on a zi ≤ τ1 = zi + ν µ pour tout i ≥ 1. τi = E(Ti ). on obtient alors que i τi − τi+1 = j=1 µ ν 1 jν i−j µ ν − i τ1 . iν ν En itérant jusqu'à ce qu'on arrive à τ0 − τ1 = −τ1 . d'où le résultat. T1 )) ≤ E(Ti + T1 ) = E(Ti ) + E(T1 ). j (t) − (µi + νi )Pij (t). h et t + h. En eet. Cette équation est obtenue en considérant les instants 0. où L1 représente le temps avant d'atteindre 0 à partir de 1 dans un processus de naissance et de mort avec taux de naissance et de mort νi = ν et µi = iµ. j ≥ 0. et Sk pour k ≥ 1 sont des variables aléatoires de loi Exp(ν + µ).2. En conditionnant sur la valeur de N1 . avec µ0 = 0 et Pij (0) = 1 si j = i. pour i. ν+µ Or. N1 L1 = Sk . 1 − 2p µ−ν On conclut que τ1 ≤ (µ − ν)−1 < ∞.5. alors que les probabilités de transition lorsqu'on change d'état sont les mêmes. La Figure 49 représente cette situation. pour i ≥ 1. on a donc ∞ n E(L1 ) = E n=1 ∞ Sk n = E(Sk ) P r(N1 = n) n=1 ∞ = n=1 = P r(N1 = n) k=1 k=1 n P r(N1 = n) ν+µ E(N1 ) . respectivement. toutes les variables étant indépendantes.7 *Équation rétrograde de Kolmogorov L'équation rétrograde de Kolmogorov pour la dérivée de la probabilité de transition de l'état i à l'état j dans un processus de naissance et de mort de l'instant 0 à l'instant t est donnée par Pij (t) = µi Pi−1. E(N1 ) = 1 µ+ν = < ∞. k=1 où N1 représente le nombre de parties jusqu'à la ruine du joueur contre un adversaire in niment riche étant donné un avoir initial de 1. un temps de séjour à tout état i ≥ 1 dans ce processus est d'espérance (ν + µ)−1 ≥ (i(ν + µ))−1 ). 2. et 0 sinon. Or.5 Processus de naissance et de mort 122 Il reste à montrer que τ1 < ∞. . On remarque d'abord que τ1 ≤ E(L1 ).j (t) + νi Pi+1. Dans ce cas.6 Distribution stationnaire et théorème ergodique 2.1 Dé nition de distribution stationnaire Soit {Xt }t≥0 une chaîne de Markov à temps continu sur un nombre ni d'états ou un processus de naissance et de mort à temps de vie in ni sur une in nité d'états. qui est une fonction o(h) qui dépend seulement de i.i+1 ≤ (µi−1 + νi−1 )(µi + νi )h2 + (µi+1 + νi+1 )(µi + νi )h2 . avec un temps de séjour à .j (t) + (1 − (µi + νi ) + o(h))Pij (t) + Pik (h)Pkj (t).i. k=i−1.i. On suppose la chaîne irréductible. l'équation est déduite à partir de Pij (t + h) = (µi h + o(h))Pi−1.2 Chaînes de Markov à temps continu 123 j i+1 i i i−1 0 h t+h Figure 49 Transitions pour l'équation rétrograde de Kolmogorov. 2.j (t) + (νi h + o(h))Pi+1.6.i+1 où Pik (h)Pkj (t) ≤ P r(Si−1 + Si < h) + P r(Si+1 + Si < h) k=i−1. La situation est illustrée dans la Figure 50. Par le théorème ergodique (section 2. et −λj si j = i.6. et de probabilités de transition qij de l'état i à l'état j = i lorsqu'on quitte l'état i qui sont telles que la matrice stochastique Q = (qij ) est irréductible.6 Distribution stationnaire et théorème ergodique 124 tout état i de loi exponentielle de paramètre λi > 0. avec aij = λi qij si j = i. La condition (c) signi e alors que le ot de sortie de j est égal au ot d'entrée à j par tout autre état i. Une distribution stationnaire π = (πi ) pour cette chaîne est dé nie par les trois conditions suivantes : (a) πj > 0 pour tout j . (b) j πj = 1 . (c) πj λj = i=j πi λi qij pour tout j . ou πA = 0 en notation matricielle. C'est la condition de stationnarité. Ici A = (aij ). On suppose que chaque .6. Remarque : La distribution stationnaire pour la matrice stochastique est donnée par πj λj k πk λk Q . i Si ∼Exp(λi ) état j = i avec probabilité qij avec (qij ) irréductible 0 < λi < ∞ temps t ≥ 0 Figure 50 Description d'une chaîne de Markov à temps continu irréductible. 2.2.2 Exemple : Sauts aléatoires sur des sites On imagine neuf nénuphars dans un étang qui correspondent à autant de sites dont quatre sont occupés par une grenouille. et 0 est un vecteur dont toutes les composantes sont 0. Les conditions (a) et (b) garantissent que la distribution stationnaire est une distribution de probabilité positive. la probabilité πj correspond à la fraction moyenne de temps à long terme que la chaîne passe à l'état j .7). de telle sorte que l'état i est non absorbant. est le générateur de la chaîne. 2 Chaînes de Markov à temps continu 125 grenouille saute à un taux de 1 sur l'un des nénuphars inoccupés choisi au hasard. Le générateur A pour les états dans cet ordre est −2 2 0 0 0 −4 4 0 . numérotés de 1 à 126. un client qui arrive à un comptoir déjà occupé quitte aussitôt le système. Donc. Ici. . 126. En eet. . A= 2 0 −4 2 0 2 4 −6 . et les deux comptoirs sont occupés (12). . Le temps de service au comptoir 1 suit une loi exponentielle de paramètre 4. par impatience. indépendamment des autres grenouilles.6. Les clients arrivent au comptoir 1 selon un processus de Poisson d'intensité 2. Cet exemple est représenté dans la Figure 51. un changement d'état correspond au remplacement au hasard d'un nénuphar parmi 4 qui étaient occupés par un nénuphar parmi 5 qui étaient inoccupés. 126 est une distribution stationnaire. Cependant. seul le comptoir 1 est occupé (1). pour j = i. on a qij = 1 1 = . un client se rend à un comptoir 2 pour recevoir un autre service. . Le temps de séjour à un état est un minimum de 4 temps indépendants de loi Exp(1). πi = 1/126 pour i = 1. . et 0 sinon. . Ainsi. Par symétrie. on a que 1A = A1 = 0. Les quatre états possibles du système sont qu'aucun comptoir n'est occupé (0). alors que celui au comptoir 2 suit une loi exponentielle de paramètre 2. Le taux avec lequel on quitte l'état i est donc λi = 4. . le taux avec lequel on passe de l'état i à l'état j est le même que le taux avec lequel on passe de l'état j à l'état i.3 Exemple : Deux comptoirs de service en série On considère deux comptoirs de service en série. c'est-à-dire λi qij = λj qji . Tous les temps de service sont indépendants et ils sont également indépendants du processus d'arrivées. c'est-à-dire qu'après avoir été servi à un comptoir 1. il y a 9 = 126 4 états possibles. seul le comptoir 2 est occupé (2). . 2. pour i = 1. Le générateur A étant symétrique. 5×4 20 si i et j dièrent par un seul nénuphar occupé. Les états de cette chaîne sont représentés par les quatre nénuphars occupés. multiplié par la proportion moyenne de temps à long terme passé à cet état. π2 . plusieurs quantités intéressantes peuvent être calculées. π1 . π2 . À long terme. 1/3. π12 A= 0.2. 0. Le nombre moyen de serveurs occupés à long terme est donné par la somme du nombre de serveurs occupés pour chaque état. La proportion moyenne de temps à long terme avec le comptoir 2 occupé est donnée par π2 + π12 = 4/9. 0 avec la contrainte que π0 + π1 + π2 + π12 = 1. 2/9. soit la probabilité qu'un temps de loi Exp(2) se . Le système à résoudre a n de déterminer la distribution stationnaire est π0 . π12 = 1/3. soit 0 · π0 + 1 · (π1 + π2 ) + 2 · π12 = 7/9. un client qui se présente à un instant au hasard est servi au comptoir 2 si les deux comptoirs sont libres à son arrivée (probabilité π0 ). 1/9 . π1 .6 Distribution stationnaire et théorème ergodique 126 Exp(4) Exp(2) × × comptoir 1 × Exp(2) comptoir 2 si occupé si occupé Figure 51 Deux comptoirs de service en série. À l'aide de cette distribution stationnaire. ou si le comptoir 1 est libre et le comptoir 2 occupé (probabilité π2 ). La solution est π0 . La proportion moyenne de clients servis au comptoir 2 parmi tous les clients qui se présentent à long terme est π0 + 2 2+4 · π2 = 4/9. mais que celui-ci se libère avant la n du service au comptoir 1 (probabilité 2/(2 + 4)). 0. Remarquons que le taux d'arrivée des clients est 2 et aussi le taux de sortie lorsque le comptoir 2 est occupé. . Il est à remarquer que les raisonnements pour déduire les deux dernières quantités fonctionnent parce que le processus d'arrivée de clients est de Poisson. si aucun des deux comptoirs n'est occupé à son arrivée (probabilité π0 ). un client qui se présente à un instant au hasard ne passe pas de temps dans le système si le comptoir 1 est occupé à son arrivée (probabilité π1 + π12 ). En revanche. µ 1 · µ 2 .4 Processus de naissance et de mort stationnaire On considère un processus de naissance et de mort à temps de vie in ni sur tous les entiers non négatifs pour lequel les taux de naissance νi et les taux de mort µi . µk . il passe un temps moyen 1/4 au comptoir 1 auquel on ajoute un temps moyen 1/2 au comptoir 2 seulement si celui-ci se libère entretemps (probabilité 2/(2 + 4)). k≥0 où θk = ν0 · ν1 . Finalement. mais le comptoir 2 occupé (probabilité π2 ). sont tous nis et strictement positifs sauf µ0 = 0. . le comptoir 2 est occupé 4/9 du temps à long terme. puis un temps moyen 1/2 au comptoir 2. Dans ce cas. si le comptoir 1 est libre à son arrivée. 2+4 À long terme. d'où la proportion de clients servis au comptoir 2 doit être 4/9. pour i ≥ 0. . νk−1 . 2. la distribution stationnaire existe si et seulement si θk < ∞. il passe un temps moyen 1/4 au comptoir 1. Le temps moyen qu'un client qui se présente passe dans le système à long terme est donné par 0 · (π1 + π12 ) + (1/4 + 1/2) · π0 + 1/4 + 2 × 1/2 · π2 = 7/18. et donc qu'une arrivée particulière ne dépend pas de celles qui précèdent ou qui suivent.6.2 Chaînes de Markov à temps continu 127 termine avant un temps de loi Exp(4) qui lui est indépendant). Or. . 2. .6 Distribution stationnaire et théorème ergodique 128 pour k ≥ 1. La (j +1)-ième équation du système donne 0 = νj−1 πj−1 − (νj + µj )πj + µj+1 πj+1 . Nous allons prouver cette a rmation par induction. µ1 L'hypothèse d'induction est que πi = θi π0 . . Tout d'abord. d'où π1 = ν0 π0 = θ1 π0 . le générateur est de la forme −ν0 ν0 µ1 −(ν1 + µ1 ) ν1 · · · A= · · · νj−1 −(νj + µj ) µj+1 · · · . Ainsi. la première équation de ce système est 0 = −ν0 π0 + µ1 π1 . µj+1 . pour i ≥ 0. . pour i = 1. · · · La distribution stationnaire π = (πi ) est déterminée par le système d'équations πA = 0. j . avec θ0 = 1. c'est-à-dire πj+1 = (νj + µj )πj − νj−1 πj−1 . . La distribution stationnaire π = (πi ) est alors donnée par πi = θi k≥0 θk . .5 Système d'attente stationnaire M/M/1 Soit un système d'attente de type M/M/1. Remarque : Dans le cas d'un processus de naissance et de mort sur les entiers 0. N j=0 θj pour i = 0. . . Ainsi. 1. premier servi. N .2 Chaînes de Markov à temps continu 129 L'hypothèse d'induction mène alors à l'équation ν0 · ν1 · · · νj−1 · (νj + µj ) ν0 · ν1 · · · νj−1 · µj − µ1 · · · µj · µj+1 µ1 · · · µj · µj+1 ν0 · ν1 · · · νj = π0 µ1 · µ2 · · · µj+1 πj+1 = π0 = θj+1 π0 . . avec θ0 = 1. . < ∞. . la distribution stationnaire π = (πi ) est donnée par πi = θi . . . . 2. Il y a donc une distribution stationnaire si et seulement si π0 > 0. . mais µ0 = νN = 0. . comme illustré dans la Figure 47. pour tout k ≥ 1.6. 1. si ν < µ. N − 1 et 0 < µi < ∞ pour i = 1. . . . et dans ce cas ∞ ∞ 1= θi πi = π0 i=0 i=0 si et seulement si π0 = avec i≥0 θi 1 i≥0 θi . . θk = k≥0 ∞ 1 1−ν/µ si ν ≥ µ. où ν est le taux d'arrivée des clients et µ le taux de service d'un client. N avec 0 < νi < ∞ pour i = 0. Nous avons donc que θk = ν µ k . 1. N . avec comme règle de service premier arrivé. . . Le nombre de clients dans le système est un processus de naissance et de mort avec taux de naissance νi = ν pour tout i ≥ 0 et taux de mort µi = µ pour tout i ≥ 1. Ainsi L → ∞ lorsque ν/µ → 1. où X est une variable de loi géométrique de paramètre 1 − ν/µ. pour i ≥ 0. . Le temps moyen à long terme qu'un client passe dans le système est donné par W = i≥0 = i≥0 (i + 1) πi µ iπi + µ i≥0 πi µ L 1 = + µ µ 1 = . µ(1 − ν/µ) Nous obtenons donc que L = νW. 1 − ν/µ 1 − ν/µ où 1/(1 − ν/µ) est l'espérance d'une variable de loi géométrique de paramètre 1 − ν/µ. C'est la formule de Little. L'égalité découle de la stationnarité. La quantité νW représente le nombre moyen de clients dans le système au départ d'un client. La quantité L représente le nombre moyen de clients dans le système à l'état stationnaire à l'arrivée d'un client.6 Distribution stationnaire et théorème ergodique Donc la distribution stationnaire π = (πi ) existe si et seulement si ν < µ. et elle est alors donnée par πi = ν µ i (1 − ν/µ).130 2. Voici quelques remarques intéressantes : π0 représente la fraction moyenne de temps à long terme que le serveur est libre. Le nombre moyen de clients dans le système est donné par L= 1 ν/µ −1= . 1 − π0 représente la fraction moyenne de temps à long terme que le serveur est occupé. Il s'agit donc de la distribution de X − 1. D'autre part. on a que θk = νk ν0 · · · νk−1 = . et θ0 = 1. pour i ≥ 0. La distribution stationnaire π = (πi ) existe dans tous les cas et elle est donnée par πi = (ν/µ)i −ν/µ e . comme illustré dans la gure 52. µ1 · · · µk k!µk pour k ≥ 1. . le nombre moyen de clients dans le système à l'état stationnaire est L= ν . respectivement. k! pour tout ν. θk = k≥0 k≥0 (ν/µ)k = eν/µ < ∞. µ soit l'espérance d'une variable de loi de Poisson de paramètre ν/µ. × Exp(µ) × Exp(µ) × Exp(µ) × Exp(ν) Figure 52 Système d'attente avec une in nité de serveurs.6 Système d'attente stationnaire M/M/∞ Dans le cas d'un système d'attente de type M/M/∞. Ainsi. Le temps moyen W qu'un client passe dans le système équivaut simplement à l'espérance d'une variable de loi exponentielle de paramètre µ. les taux de naissance et de mort sont donnés par νi = ν et µi = iµ.2 Chaînes de Markov à temps continu 131 2. soit 1/µ. soit L = νW . i! pour i ≥ 0.6. Dans ce cas. On véri e ici encore la formule de Little. µ > 0. 2. Pour tout i ≥ 0.7 Théorème ergodique Si {Xt }t≥0 est une chaîne de Markov à temps continu irréductible sur un nombre ni d'états ou un processus de naissance et de mort irréductible à temps de vie in ni sur une in nité d'états. De plus. (πj ) est l'unique distribution stationnaire. j≥i où Sj représente un temps de séjour à l'état j ≥ 0.1 Processus à temps de vie in ni Un processus de naissance et de mort est à temps de vie in ni. c'est-à-dire qu'il satisfait Pij (t) = 1. µj + νj .7 *Démonstrations 2. µj + νj Démonstration : On note d'abord que la situation la moins favorable à un temps de vie in ni est celle où il y a une naissance à la n de tous les temps de séjour. On considère donc un processus de naissance avec taux de naissance νj + µj pour tout j ≥ 0. alors on a Pij (t) = P r(Xt = j|X0 = i) → πj ≥ 0 lorsque t → ∞. j pour tout état i et pour tout instant t > 0. on dé nit Ti = Sj . et dans ce cas. si j≥0 1 = ∞. ou bien πj = 0 pour tout j .7 *Démonstrations 132 2. ou bien πj > 0 pour tout j . On a alors que E(Ti ) = j≥i 1 .6.2.7. 2 Chaînes de Markov à temps continu 133 Supposons maintenant que Pij (t) < 1, p = P r(Ti > t) = j≥i pour un certain t > 0. En conditionnant sur l'état à l'instant t, on obtient alors que Pij (t) = p2 . Pij (t)P r (Tj > t) ≤ P r(T0 > t) P r(Ti > 2t) = j≥i j≥i Par induction, on trouve que P r(Ti > kt) ≤ pk , pour tout k ≥ 1. On a donc que ∞ ∞ P r(Ti > s)ds ≤ E(Ti ) = 0 ∞ pk = P r(Ti > kt) ≤ k=1 k=1 p < ∞. 1−p Par conséquent, la condition E(T0 ) = ∞, qui entraîne que E(Ti ) = ∞ pour tout i ≥ 0, entraîne aussi que j≥i Pij (t) = 1 pour tout t > 0 et tout i ≥ 0. 2.7.2 Théorème ergodique Si {Xt }t≥0 est une chaîne de Markov à temps continu irréductible sur un nombre ni d'états ou un processus de naissance et de mort irréductible à temps de vie in ni sur une in nité d'états, alors on a Pij (t) = P r(Xt = j|X0 = i) → πj ≥ 0 lorsque t → ∞. De plus, ou bien πj = 0 pour tout j , ou bien πj > 0 pour tout j , et dans ce cas, (πj ) est l'unique distribution stationnaire. Démonstration : On remarque d'abord que Pij (t) > 0 pour tout t > 0 et tout couple d'états i, j sous la condition que la chaîne est irréductible (voir les gures 53 et 54). En eet, Pii (t) ≥ P r(Si > t) > 0, 2.7 *Démonstrations 134 Si i 0 t Figure 53 Situation pour Pii (t) > 0. Si i i1 Si1 S i2 i2 in−1 j=i Sin−1 0 Sj t Figure 54 Situation pour Pij (t) > 0 pour j = i. où Si représente un temps de séjour à l'état i. Pour j = i, il existe des états i0 = i, i1 , ..., in = j tous diérents tels que la probabilité de transition de ik à ik+1 lorsqu'on quitte l'état ik est positive, c'est-à-dire qik ik+1 > 0, pour k = 0, 1, . . . , n − 1. On a alors n−1 Pij (t) ≥ P r n S ik < t < k=0 n−1 Sik k=0 qik ik+1 > 0, k=0 où Sik représente un temps de séjour à l'état ik pour k = 0, 1, . . . , n. En considérant seulement les instants entiers n ≥ 0, on obtient une chaîne de Markov à temps discret {Xn }n≥0 dont les probabilités de transition d'un instant au suivant sont données par Pij (1) > 0 pour tout i et j , donc irréductible apériodique. Le théorème ergodique à temps discret garantit alors que Pij (n) → πj ≥ 0 lorsque n → ∞. De plus, ou bien πj = 0 pour tout j , ou bien πj > 0 pour tout j . Dans ce second cas, j πj = 1 et πj = πi Pij (n), i 2 Chaînes de Markov à temps continu 135 pour tout n ≥ 0 et tout j . De même, en considérant seulement les instants de la forme n/2k pour tout n ≥ 0 pour k ≥ 1 xé, on obtient que n 2k Pij → πj lorsque n → ∞ et πj = πi Pij i n , 2k pour tout n ≥ 0 et tout j . Maintenant, pour tout t ≥ 0 xé et tout entier k ≥ 1 xé, il existe un entier nk (t) ≥ 0 tel que nk (t) nk (t) + 1 ≤t< . k 2 2k De plus, on a l'inégalité |Pij (t) − πj | ≤ Pij (t) − Pij nk (t) 2k nk (t) 2k + Pij − πj . Pour ε > 0 arbitraire, le premier terme à droite est inférieur à ε/2 pour k assez grand (par le lemme sur la continuité uniforme des probabilités de transition de la section 2.6.8), et pour un tel k xé le deuxième terme à droite est également inférieur à ε/2 pour nk (t) assez grand (par ce qui précède), c'est-à-dire, pour t assez grand. Il reste à véri er les équations de stationarité pour (πj ) dans la cas où πj > 0 pour tout j avec j πj = 1. Tout d'abord, en faisant croître k vers l'in ni dans πj = πi Pij i nk (t) 2k , on obtient que πj = πi Pij (t) , i pour tout j et tout t ≥ 0. Puis, en faisant décroître h vers 0 dans 0= πi i Pij (t + h) − Pij (t) h , 2.7 *Démonstrations 136 on conclut que 0= πi Pij (t) , i pour tout j et tout t ≥ 0. (Dans les deux cas, on utilise le lemme 2 sur la convergence d'une somme en appendice du chapitre 1.) Finalement, l'équation progressive de Kolmogorov et un changement d'ordre de sommations donnent 0 = Pik (t)akj πi i k = πi Pik (t) akj k = i πk akj , k pour tout j , où akj représente l'élément k, j du générateur A de la chaîne de Marvov à temps continu. 2.7.3 Lemme sur la continuité des probabilités de transition Si {Xt }t≥0 est une chaîne de Markov à temps continu irréductible sur un nombre ni d'états ou un processus de naissance et de mort irréductible à temps de vie in ni sur une in nité d'états, alors on a |Pij (t + h) − Pij (t)| ≤ Cj h, pour tout t, h ≥ 0, où Cj est une constante qui peut dépendre de l'état j , et Pij (t) = P r(Xt = j|X0 = i) est la probabilité de transition de l'état i à l'état j de l'instant 0 à l'instant t ≥ 0. Ce résultat garantit que la probabilité de transition est uniformément continue. Démonstration : on obtient le résultat énoncé avec Cj = max λl l dans le cas d'une chaîne sur un nombre ni d'états. λj . on utilise plutôt Plj (h) ≤ P r(Sj−1 < h) ≤ λj−1 h. Dans le cas d'un processus de naissance et mort. où Sj représente un temps de séjour à l'état j de loi exponentielle de paramètre λj . Remarque : La démonstration montre que le résultat est aussi valide pour n'importe quelle chaîne sur un nombre in ni d'états avec λl ≤ λ pour tout état l.2 Chaînes de Markov à temps continu 137 En conditionnant sur l'état à l'instant t. De même. . pour tout l = j . pour tout l < j . l d'où Pij (t + h) − Pij (t) = Pil (t)Plj (h) + Pij (t)(Pjj (h) − 1). Plj (h) ≤ P r(Sl < h) ≤ λl h. on obtient que Pij (t + h) = Pil (t)Plj (h). et Cj = max{λj−1 . l=j On a toujours 1 − Pjj (h) ≤ P r(Sj < h) ≤ λj h. l=j et par conséquent |Pij (t + h) − Pij (t)| ≤ Pil (t)Plj (h) + Pij (t)(1 − Pjj (h)). et Plj (h)) ≤ P r(Sj+1 < h) ≤ λj+1 h. pour tout l > j . λj+1 } dans le cas d'un processus de naissance et de mort sur un nombre in ni d'états. Puisque l Pil (t) = 1. 5 an et 3 ans. puis attendait un temps de loi exponentielle de moyenne 1 heure avant de recevoir le prochain appel. Les temps de fonctionnement de ces systèmes sont indépendants et de loi exponentielle de moyennes 1 an. temps pendant lequel tout nouvel appel était rejeté. 1. Déterminer le générateur pour le nombre d'employés occupés : (a) avant la réorganisation du service. 3 et dans ce cas qu'il est remplacé par un appareil neuf. Deux employés d'une maison de courtage recoivent des appels de clients au sujet d'achat ou de vente de fonds mutuels. sinon l'appel est rejeté.). On dispose de quatre batteries numérotées de 1 à 4 dont les temps de vie sont indépendants de loi exponentielle de moyenne 100 heures. lorsqu'un appel est reçu par un employé qui est occupé. 2.8 Exercices 138 2. Une lampe a besoin de deux batteries pour être opérationnelle. 2. Quel est le temps moyen que le sous-marin restera en mer ? 5. Depuis une réorganisation du service. Supposons qu'un appareil tombe en panne après avoir subi un k-ième choc avec probabilité k2 /9 pour k = 1. Soit T le temps de fonctionnement de la lampe et N le numéro de la dernière batterie non épuisée. chacun d'eux était occupé un temps de loi exponentielle de moyenne 1/4 d'heure avec chaque client. Si les chocs sont espacés par des intervalles de temps indépendants de loi exponentielle de paramètre 9. On utilise les batteries dans l'ordre (d'abord 1 et 2. quel est le générateur pour le nombre de chocs subis par l'appareil en fonctionnement ? 3. Un sous-marin dispose de trois systèmes de navigation et il reste en mer tant qu'au moins deux de ces systèmes fonctionnent. Lorsque leurs lignes téléphoniques étaient indépendantes. et (b) après la réorganisation du service. puis 3 lorsque l'une des deux premières est épuisée. Trouver . etc. respectivement. Une chaîne de Markov à temps continu sur les états 0. 4.2. 1 et 2 a comme générateur : −3 2 1 2 −4 2 0 1 −1 Déterminer le temps moyen pour atteindre 2 à partir de 0.8 Exercices 1. il est transféré à l'autre employé si celui-ci est libre. Lorsqu'elle brûle. Un câble transatlantique prend un temps de loi exponentielle de paramètre 2 avant de subir un bris. Dans une population de N individus. le concierge la remplace immédiatement pour une neuve. Répondre à la même question dans le cas de n batteries. Quel est le générateur de la chaîne de Markov pour le mouvement (+ ou -) du prix de l'action de cette compagnie ? Justi er brièvement en identi ant bien les états. Comment estimeriez-vous λ ? 9. Le temps de réparation est de loi exponentielle de paramètre 5. Supposons que le prix d'une action d'une grande compagnie est à la hausse (+) dès et aussi longtemps que la dernière nouvelle la concernant est bonne et à la baisse (-) lorsqu'elle est mauvaise. Une ampoule à l'entrée d'un immeuble a un temps de vie de loi ex- ponentielle de moyenne 100 jours. De plus. Un correcteur d'épreuves lit un manuscrit de 200 pages et relève 108 erreurs typographiques. En supposant deux câbles avec des temps de fonctionnement et de réparation indépendants et deux équipes de . 7. Supposons que l'auteur fasse des erreurs typographiques selon un processus de Poisson d'intensité inconnue λ par page et que le correcteur en relève en moyenne 9 sur 10. Déterminer le temps moyen pour que tous les individus soient aectés par la maladie étant donné qu'il y en a un seul initialement dans le cas où µ = 0 et p > 0.2 Chaînes de Markov à temps continu 139 l'espérance de T et la distribution de N . alors que chaque paire d'individus se rencontre à un taux λ et chaque fois que cela se produit un individu aecté transmet la maladie à un autre qui ne l'est pas avec probabilité p. 10. 6. un employé qui s'occupe de l'entretien journalier remplace l'ampoule par une neuve par mesure préventive selon un processus de Poisson d'intensité 0. certains sont aectés d'une cer- taine maladie.02 par jour. (a) Quel est le taux de remplacement de l'ampoule ? (b) Quelle est la probabilité que la prochaine ampoule soit remplacée par le concierge ? 8. De plus ces nouvelles arrivent selon un processus de Poisson d'intensité 2 par jour et chacune d'elles est bonne avec probabilité 2/3 ou mauvaise avec probabilité 1/3 indépendamment de toutes les autres. Chaque individu aecté guérit à un taux µ. d'autres pas. 2 ou 3 dans une période de 20 minutes. 12. quelle est la probabilité que les deux câbles ne fonctionnent pas après un temps t étant donné qu'ils fonctionnent tous les deux initialement ? 11.2. Calculer l'espérance du temps que vous devrez attendre avant qu'un train arrive. ils arrivent selon un processus Poisson d'intensité 2 par 30 minutes. Si un autre appel arrive durant cette période.8 Exercices 140 réparation. Une chaîne de Markov à temps continu sur les états 0. 1 et 2 a comme générateur −2 1 1 2 −4 2 0 1 −1 Déterminer la fraction moyenne de temps à long terme à l'état 0. mais elles réussissent seulement avec probabilité 1/2. il faut un temps de loi exponentielle de moyenne 2 mois pour rattraper et emprisonner à nouveau chaque prisonnier en cavale. (SOA M A06 #9) Un jeu dans un casino fait des paiements selon un processus Poisson d'intensité 5 par heure et le montant d'un paiement peut être 1. .. En faisant toutes les hypothèses d'indépendance. 15. et dans ce cas tous les prisonniers s'évadent en bloc. La conversation téléphonique avec un client dure un temps de loi exponentielle de moyenne 1/4 d'heure. (SOA M A06 #10) Vous arrivez à une station de train à 6h15. mais la ligne té- . 14. Un courtier d'assurances reçoit des appels de clients selon un proces- sus de Poisson d'intensité 4 par heure. 2. Jusqu'à 7h00. Calculer la probabilité qu'il n'y ait pas de paiement de 1. les tentatives d'évasion surviennent selon un processus de Poisson d'intensité 1 par 4 mois. les trains arrivent selon un processus Poisson d'intensité 1 par 30 minutes. Dans une prison du Far West. (b) le temps moyen pour que les deux prisonniers en cavale se retrouvent ensemble en prison. 13. sans limite. La probabilité qu'un paiement soit égal à i est 1/2i et les paiements sont indépendants les uns des autres.. déterminer : (a) le générateur pour le nombre de prisonniers en cavale sur les deux en prison au départ . il est mis en attente jusqu'à la n de la conversation en cours. Après 7h00. D'autre part. 3. Quel est le nombre moyen de réparateurs en service à long terme ? 18. Déterminer : (a) la proportion moyenne de temps que le courtier sera au téléphone . (c) le temps moyen qu'un client passera au téléphone ? 16. Tous les temps de fonctionnement et de réparation sont indépendants. Des automobilistes se présentent à une station-service au taux de 20 par heure. soit 0 (aucune). (b) la proportion moyenne de clients auxquels le courtier répondra . Il y a deux pompes disponibles dans la station et le temps de service à chacune d'elle est de loi exponentielle de moyenne 6 minutes. Il y a 4 appareils et 2 réparateurs qui peuvent travailler chacun sur un seul appareil à la fois. 17. fonctionnent chacune un temps exponentiel de paramètre 1 avant de tomber en panne et prennent chacune un temps exponentiel de paramètre 1 à réparer. 1. Le temps de fonctionnement d'un appareil suit une loi exponentielle de moyenne 2 alors que le temps de réparation suit une loi exponentielle de moyenne 1/2. la boutique en commandent 2 et elle les reçoit en un temps exponentiel de moyenne une semaine. Deux machines. 1 et 2. (a) Quelle est la distribution stationnaire du nombre de voitures dans la station ? (b) En moyenne. On fait les hypothèses habituelles d'indépendance et on s'intéresse à ce qui se passera à long terme. Les acheteurs se présentent selon un processus de Poisson d'intensité 2 par semaine et ils repartent avec un ordinateur s'il y en a au moins un en stock. On suppose que tous les temps de fonctionnement et de réparation sont indépendants. mais n'entrent pas s'il y a au moins quatre voitures dans la station. Une boutique qui vend des ordinateurs en garde au plus 3 en stock. Déterminer : (a) le nombre moyen d'ordinateurs en stock à . D'autre part un client en attente s'impatiente et libère la ligne après un temps de loi exponentielle de moyenne 1/4 d'heure. combien d'automobilistes sont servis par heure ? 19.2 Chaînes de Markov à temps continu 141 léphonique devient alors inaccessible et tout nouvel appel est rejeté. Lorsqu'il reste un seul ordinateur. Il y a un seul réparateur et celui-ci répare en priorité la machine 1 lorsque les deux machines sont en panne quitte à suspendre la réparation de la machine 2. Déterminer : (a) le générateur pour les machines en fonctionnement. 2 ou 12 . (b) la proportion moyenne de temps à long terme avec la machine 2 en fonctionnement. (a) Quelle est la proportion à long terme des clients qui prennent un taxi ? (b) Quel est le nombre moyen de taxis en attente ? (c) Lorsqu'un taxi arrive à la station. du processus de naissance et de mort dont les taux de naissance et de mort sont νi = ν. Les clients potentiels arrivent selon un processus Poisson d'intensité 2 par heure. En revanche. Déterminer la distribution stationnaire. Si le coieur coupe les cheveux d'un client selon un temps de loi exponentielle. si elle existe. les clients potentiels n'entrent pas et vont se faire couper les cheveux chez un compétiteur. Un central téléphonique dispose de m lignes. On suppose qu'un taxi attend à la station. Quelle est la distribution stationnaire du nombre de lignes occupées ? 24. gauche. le déplacement est annulé. quel est le temps moyen que ce taxi doit attendre avant de servir un client ? 23. Les appels arrivent se- lon un processus de Poisson d'intensité λ. Un coieur a de la place pour seulement 2 clients dans son salon. Il y a 1278 particules sur un damier de 100 par 100. Si la case choisie est en dehors du damier ou est déjà occupée par une particule. Un appel est accepté s'il y a une ligne libre au moment de son arrivée. µi = i . Lorsqu'il y a déjà 2 clients dans le salon.2. si un client ne trouve pas de taxi à son arrivée. i+1 . Chaque parti- cule saute à un taux égal à 1 sur l'une des quatre cases adjacentes au hasard (devant. respectivement. combien de temps en moyenne devrait-il passer avec un client a n que seulement 1/7 de sa clientèle soit perdue à la faveur d'un compétiteur ? 21. droite). et (b) le nombre moyen d'ordinateurs vendus en une semaine à long terme. il décide d'utiliser un autre moyen de transport. Quelle est la distribution stationnaire pour l'ensemble des cases occupées par les particules ? 22.8 Exercices 142 long terme . derrière. On considère une station de taxis dans un aéroport où les taxis et les clients arrivent selon des processus de Poisson d'intensité 2 et 3. 20. quel que soit le nombre de taxis présents lors de son arrivée. qu'il occupe pendant un temps de loi exponentielle de paramètre µ indépendamment de tout le reste. 9 *Exercices supplémentaires 27. B . les clients qui attendent pour être servis deviennent impatients et ils quittent au taux δ indépendamment les uns des autres. (a) Déterminer la distribution stationnaire dans le cas où δ = µ . Une population reçoit des immigrants à un taux égal à 1. où i est le nombre de réclamations précédentes pour un accident mineur. Un centre de traumatologie dispose de deux salles d'opération. Les arrivées de patients.2 Chaînes de Markov à temps continu 143 respectivement. mais qu'un tel accident n'est pas déclaré avec probabilité i/3. Déterminer : (a) le générateur pour le statut de l'assuré . (b) l'espérance du temps pour que les deux salles soient libres à partir du moment où elles sont toutes les deux occupées. sont espacées par des temps aléatoires d'espérance 1. CHAQUE individu se reproduit à un taux constant égal 2 et meurt à un taux donné par 1 + i qui dépend de la taille i de la population. qu'un accident n'est que mineur avec probabilité 3/4 indépendamment des autres.) 26. les patients sont dirigés vers d'autres centres. où Ai représente la catégorie A avec i réclamations pour un accident mineur au dossier. De plus. alors que les temps d'intervention sont des variables aléatoires d'espérance 1/2. Tous les temps sont supposés indépendants et de loi exponentielle. Supposons qu'un assuré de catégorie A subit des accidents selon un processus de Poisson d'intensité 1/2. De plus. Lorsque les deux salles d'opération sont occupées. Il y a quatre états possibles pour le statut de l'assuré : A0. Un assuré passe de la catégorie A à la catégorie B et y reste après une seule réclamation pour un accident majeur ou trois réclamations pour un accident mineur. Des clients se présentent pour recevoir un service selon un processus de Poisson d'intensité λ. Déterminer : (a) le générateur pour le nombre de salles d'opération occupées . (a) Déterminer les taux de naissance et de mort pour le nombre total d'individus dans cette population. (b) l'espérance du temps pour atteindre le statut B à . pour i ≥ 0. un à la fois. 28. A1. 25. (b) Existe-t-il une distribution stationnaire ? (On ne demande pas de la trouver si elle existe. Il sont servis un à la fois et le temps de service est de loi exponentielle de paramètre µ. 2. A2. (b) Montrer que la distribution stationnaire existe pour tout δ > 0. soit de 18h à minuit. 32. Dans une population de 2N personnes qui ont chacune un téléphone cellulaire. Le temps pour un membre du CEPSUM de réserver un plateau spor- tif par téléphone à partir du moment où il obtient la ligne est de 30 secondes. (d) la proportion moyenne de temps à long terme que chaque personne parlera au téléphone. (c) l'espérance du nombre d'appels en cours à l'état stationnaire . 30. en famille ? 31. (b) le générateur pour le nombre de grenouilles dans l'étang si trois grenouilles sautent indépendamment les unes des autres selon le modèle ci-dessus. 29. Le médecin commence sa garde le vendredi à 18h. On suppose tous les temps indépendants. Une grenouille sur le bord d'un étang (état 0) saute dans l'étang (état 1) et vice versa selon une chaîne de Markov à temps continu dont le générateur est A= −2 2 2 −2 . indépendant de tout le reste. Les appels arrivent indépendamment selon un processus de Poisson d'intensité λ > 0 par minute et ils sont mis en attente si la ligne est occupée. Déterminer : (a) les taux de naissance et les taux de mort . Un médecin de garde reçoit des appels selon un processus de Poisson d'intensité 2 par 24 heures. Tout nouvel appel durant ce temps est envoyé à quelqu'un d'autre. (b) la distribution stationnaire pour le nombre d'appels en cours . Déterminer : (a) la probabilité que la grenouille soit dans l'étang à l'instant t si elle est au bord de l'étang à l'instant 0 . La ligne redevient inoccupée losqu'il ne reste plus personne en ligne ni en attente. Quelle est la probabilité qu'il puisse passer entièrement la soirée du samedi.9 *Exercices supplémentaires 144 partir du statut A0. alors que chaque appel dure un temps de loi exponentielle d'espérance 3 minutes. Déterminer avec justi cation à l'appui : (a) les valeurs de λ pour lesquelles la ligne redevient certainement . Un appel nécessite un temps d'intervention de loi exponentielle d'espérance 3 heures.2. Le nombre d'appels en cours est alors un processus de naissance et de mort sur un nombre ni d'états. chaque personne qui n'est pas au téléphone en appelle une autre au hasard qui n'est pas au téléphone au taux instantané de 1 par heure indépendamment des autres. ce qui bloque la ligne aux appels entrants. Dans ce cas. l'appel en attente est pris par le premier préposé qui se libère si la personne en attente ne quitte pas la ligne auparavant par impatience. (0. et 4 (préposés 1 et 2 occupés avec un appel en attente). l'appel est pris par l'autre. Le CEPSUM reçoit des appels pour la réservation d'un plateau spor- tif selon un processus de Poisson d'intensité 2 et les appels sont dirigés vers deux préposés. mais rebroussent chemin si le comptoir est déjà occupé par un client. De plus. le serveur quitte son poste pour s'acquitter d'une autre tâche après un temps d'inoccupation d'espérance 1/3 et ne revient qu'après un temps d'espérance 1/4. 34. déterminer : (a) le générateur de la chaîne . 1). lorsque les deux préposés sont occupés. respectivement. (b) l'espérance du temps qu'un client qui se présente au comptoir passera dans le système en fonction de la . où la première composante représente le nombre de client au comptoir et la deuxième le nombre de serveur en poste. 0). Déterminer : (a) le générateur de la chaîne . un client qui ne trouve aucun serveur en poste quitte le comptoir après un temps d'attente d'espérance 1/5.2 Chaînes de Markov à temps continu 145 inoccupée à partir d'un premier appel . (b) les valeurs de λ pour lesquelles la ligne redevient inoccupée en un temps moyen ni à partir d'un premier appel. De plus. 3 (préposés 1 et 2 occupés avec aucun appel en attente). Lorsque l'un des préposés est occupé. et dans ce cas le temps moyen. (b) les proportions moyennes à long terme des appels reçus par le CEPSUM qui seront pris par les préposés 1 et 2. calculer la distribution stationnaire et donner une explication pour laquelle les proportions en (b) ne sont pas dans le rapport de 1 à 2. (1. 0) et (1. 1 (préposé 1 seulement occupé). 2 (préposé 2 seulement occupé). ce qui survient au taux instantané de 1. En faisant les hypothèses habituelles pour une chaîne de Markov à temps continu. 33. 1). Cependant. l'un des deux au hasard prend l'appel. en fonction de la distribution stationnaire (vous n'avez pas à calculer cette distribution). On numérote les états 0 (aucun préposé occupé). alors que lorsque les deux sont libres. APRÈS le quiz. un en formation numéroté 1 qui prend un temps exponentiel d'espérance 1 pour naliser la réservation et un avec expérience numéroté 2 qui prend un temps exponentiel d'espérance 1/2. le temps de service est d'espérance 1/2. On suppose tous les temps indépendants de loi exponentielle. D'autre part. Les états du système sont (0. Des clients se présentent à un comptoir de service selon un proces- sus de Poisson d'intensité 2. l'appel est mis en attente. (1. 1) et (0. Un seul enfant peut glisser à la fois. dans cet ordre. 1. 2). sinon il prend celle qui est libre ou qui se libère. car l'essence y est moins chère. 1. mais ne s'arrêtent à une ouverture pour regarder qu'avec probabilité 1/3 et seulement s'il y a une ouverture disponible. On a une chaîne de Markov sur quatre états possibles selon les nombres d'enfants en remontée. 0). disons de paramètres λ et µ. En supposant que la remontée prend en moyenne deux fois plus de temps que la descente. (c) la proportion moyenne de temps à long terme pendant laquelle chaque enfant glissera. Trois enfants s'amusent dans une glissade d'un parc. est −1 1 0 0 1 −2 1 0 . en descente et en attente.2. On suppose tous les temps de remontée et de descente indépendants et de loi exponentielle. Le temps de service est plus long à la seconde. Une station-service possède deux pompes à essence : une en libre service et une avec service. On suppose des temps de service de loi exponentielle. 2 et 3. Un entrepreneur en construction a pratiqué trois ouvertures dans une clôture d'un chantier pour permettre aux passants de satisfaire leur curiosité. respectivement. 3. On suppose qu'un seul passant à la fois peut regarder par une ouverture et un temps d'observation de loi exponentielle de paramètre 1 pour chacun. car on y véri e le niveau d'huile et on y lave le pare-brise. respectivement : (3. 37. de moyenne 2 min à la première et de moyenne 4 min à la seconde. représentés par 0. 1. Les automobilistes en attente de service s'impatientent et . Les temps entre les arrivées des automobilistes sont aussi de loi exponentielle. de moyenne 2 minutes.9 *Exercices supplémentaires 146 distribution stationnaire MAIS SANS LA CALCULER. 0. 1. A= 0 2 −3 1 0 0 3 −3 Déterminer : (a) la distribution stationnaire . 0. 35. (2. déterminer : (a) le générateur . Le générateur pour le nombre d'ouvertures occupés. (b) la proportion moyenne de passants à long terme qui s'arrêtent pour regarder. (b) la distribution stationnaire . respectivement. 2. 36. 0)). 1. Tous ces temps sont indépendants. Un automobiliste choisit la pompe en libre service lorsque les deux pompes sont libres. On suppose que les passants se présentent selon un processus de Poisson d'intensité 3. Pendant ce temps (état 2) et tant que le nouveau client est en attente par la suite (état 2a). auquel cas il libère la ligne avant que le préposé ne réponde à ses questions. D'autre part. (c) le temps en ligne moyen à long terme (avec le préposé ou en attente) d'un client qui appelle. Des clients arrivent à un centre commercial selon un processus de Poisson d'intensité 100 par heure. quelle est-elle ? (b) La chaîne pour ce nombre est-elle récurrente positive ? Si oui. tout nouvel appel est rejeté. On considère trois hypothèses sur la loi de probabilité d'un tel temps. (a) Existe-t-il une distribution stationnaire pour le nombre d'automobilistes dans la station-service ? Si oui. (b) la proportion moyenne de clients à long terme qui ne recevront pas d'information . Les temps passés par les clients dans le centre commercial sont des variables aléatoires indépendantes identiquement distribuées. S'il reçoit un appel alors qu'il répond à un client (état 1). Si le préposé reçoit un appel alors qu'il est inoccupé (état 0). 39. il prend aussitôt l'appel. Déterminer dans chaque cas la loi de probabilité pour le nombre de clients dans le centre commercial à l'état stationnaire. quelle est l'espérance du temps pour revenir à 0 à partir de 0 ? (c) Quelle est la fraction moyenne à long terme des automobiliste qui prennent de l'essence en libre service parmi tous ceux qui en prennent ? 38. Le temps requis pour répondre aux questions d'un client est de loi exponentielle d'espérance 1/2. de telle sorte que ∞ (1 − F (x))dx = 1.2 Chaînes de Markov à temps continu 147 ils quittent la station-service à un taux instantané de 1/4 par minute indépendamment les uns des autres et de tout le reste. (b) loi exponentielle d'espérance une heure . 0 où F (x) = P r(T ≤ x). représenté par X : (a) loi constante de valeur une heure . Suggestion pour (c) : Déterminer d'abord le temps en ligne moyen . il prend l'appel pour un temps de loi exponentielle d'espérance 1/4 mais seulement pour dire au nouveau client qu'il sera mis en attente jusqu'à ce qu'il ait terminé avec le client précédent. Un préposé à l'information reçoit des appels téléphoniques de clients selon un processus de Poisson d'intensité 1. (c) loi continue quelconque d'espérance une heure. indépendantes du processus d'arrivée. un client en attente s'impatiente au taux 2. Déterminer : (a) la distribution stationnaire . 9 *Exercices supplémentaires d'un client qui appelle alors que le préposé est disponible. représenté par m1 . représenté par m0 . .148 2. puis le temps en ligne moyen d'un client qui appelle alors que le préposé est ocupé mais personne n'est en attente. S1 . indépendantes et identiquement distribuées.1 Description générale On considère l'arrivée d'événements identiques qui sont espacés par des intervalles de temps aléatoires indépendants de même loi de probabilité. L'événement en question. Le i-ième renouvellement survient à un temps aléatoire représenté par Ti pour i ≥ 1. pour i ≥ 0. On fait les hypothèses suivantes : S0 . ait une distribution diérente du temps entre deux renouvellements . mais quelconque. On dé nit les intervalles de temps Si = Ti+1 − Ti . La gure 55 représente un tel processus. Ces intervalles correspondent aux temps de séjour aux diérents états. On considère aussi la possibilité que le temps avant le premier renouvellement. t] pour t > 0 avec N (0) = 0 dé nit alors un processus de renouvellement. 2 S2 N (t) S1 1 renouvellement S0 0 0 = T0 T1 T2 temps t Figure 55 Processus de renouvellement. . Le nombre de renouvellements N (t) qui surviennent dans l'intervalle de temps (0. S0 .3 Processus de renouvellement 3. avec la convention que T0 = 0. . est appelé un renouvellement. d'espérance µ < ∞ et de variance σ 2 < ∞. comme par exemple le remplacement d'un dispositif. . S2 . sont des variables aléatoires positives. . 2. Dans ce cas.2 Théorèmes de renouvellement 150 2 consécutifs. ou sur une période de temps de longueur quelconque mais après un long moment.1 Introduction Dans le cas où les intervalles de renouvellement S0 . on a E(N (t)) 1 =λ= . t µ pour tout t > 0. . alors lim t→∞ E(N (t)) 1 = . avec une espérance µ0 < ∞ et une variance σ0 < ∞. 3. t µ La démonstration de ce résultat est reportée à loa n du chapitre. . Si N (t) représente le nombre de renouvellements jusqu'à l'instant t > 0 inclusivement. h µ pour tout h > 0 et tout t ≥ 0. X2 . Dans ce cas. Si N une . . pour i ≥ 1. c'est-à-dire lorsque t → ∞.2. 3. S1 . sont de loi exponentielle de paramètre λ. Tous ces temps sont indépendants. Ce résultat signi e que 1/µ est le taux d'arrivée instantané des événements. . . .3 Lemme de Wald Soit X1 . S2 . .3. et Si > 0 d'espérance µ < ∞ pour le temps entre les i-ième et (i + 1)-ième renouvellements. Plus généralement.2 Théorèmes de renouvellement 3. Cela garantit que 1/µ est le taux moyen de renouvellement sur une longue période de temps. les résultats ci-dessus ne peuvent être exacts qu'asympotiquement. Dans le cas général. le processus de renouvellement est dit avec délai. 3.2 Théorème de renouvellement élémentaire On considère un processus de renouvellement avec S0 > 0 d'espérance µ0 < ∞ pour le temps avant le premier renouvellement.2. avec la convention N (0) = 0. E(N (t + h) − N (t)) 1 =λ= . . une suite de variables aléatoires indépendantes identiquement distribuées à valeurs non négatives d'espérance µ < ∞. le processus{N (t)}t≥0 est un processus de poisson d'intensité λ. pour tout n ≥ 1. qui est indépendante de Xn . Xn = max(−Xn . et 0 autrement. dé nies par + − Xn = max(Xn . 0). + − satisfont E(Xn ) = µ+ < ∞ et E(Xn ) = µ− < ∞ avec µ+ − µ− = µ. on a N E N Xn n=1 N − Xn + Xn −E =E n=1 = µ+ E(N )−µ− E(N ) = µE(N ). où les parties positives et négatives. on trouve que = E 1{N ≥n} Xn N E Xn n=1 n≥1 E 1{N ≥n} Xn E = 1{N ≥n} n≥1 = E (Xn ) n≥1 P r(N ≥ n) = µ n≥1 = µ nP r(N = n) n≥1 = µE(N ). 0). pour tout n ≥ 1. Xn n=1 Remarque 1 : La condition E(N ) < ∞ n'est pas requise sous l'hypothèse que Xn ≥ 0. + − Remarque 2 : Dans le cas où Xn = Xn − Xn . . n=1 sous la condition que E(N ) < ∞. pour tout n ≥ 1. alors N E = µE(N ). Démonstration : En dé nissant la variable aléatoire indicatrice 1{N ≥n} = 1 si N ≥ n.3 Processus de renouvellement 151 variable aléatoire à valeurs entières non négatives telle que la réalisation ou non de l'événement {N ≥ n} est indépendante de Xn . 3. est uniforme sur l'intervalle [0. Sinon.2. . le coût du remplacement augmente à c + C . Par le lemme de Wald. T ]. on a que E X1 + · · · + XN (t) t = E(N (t))E(X1 ) . On suppose que la durée de vie de l'appareil est une variable aléatoire W de loi uniforme sur l'intervalle [0.4 Exemple : Réclamations d'assurance On considère une compagnie d'assurances qui reçoit des réclamations selon un processus de renouvellement {N (t)}t≥0 . S'il est remplacé d'urgence à la n de sa durée de vie. t µ où µ est l'espérance du temps entre deux réclamations consécutives. On représente par S . X2 . c'est-à-dire W ∼ U [0. Tous les appareils ont des durées de vie indépendantes. étant donné que W < T . t Le théorème de renouvellement élémentaire permet alors d'obtenir le taux moyen du montant des réclamations à long terme. Un remplacement préventif se fait après un temps xe T si la durée de vie de l'appareil dépasse T . S= T si W ≥ T. 1]. La loi conditionnelle de W . le temps entre deux remplacements consécutifs.2 Théorèmes de renouvellement 152 3. l'appareil est remplacé d'urgence à la n de sa durée de vie. Ainsi. Ainsi. Les montants des réclamations sont des variables aléatoires X1 . soit lim t→∞ E(N (t))E(X1 ) E(X1 ) = . 2 .3. 1]. indépendantes de ce processus. W si W < T. L'espérance conditionnelle est alors E[W |W < T ] = T . .5 Exemple : Remplacement d'un appareil Un appareil peut être remplacé de façon préventive après un temps xe T à un certain coût c. On cherche à déterminer la valeur de T qui minimise le coût moyen de remplacement de l'appareil à long terme. . .2. X1 + · · · + XN (t) t représente le montant des réclamations par unité de temps jusqu'au temps t > 0 inclusivement. 2 = En supposant un coût c = 1 pour un remplacement préventif et un coût supplémentaire C = 4 pour un remplacement d'urgence. T ] et K+1 une loi géométrique de paramètre T . T Donc. et E(K) = E(K + 1) − 1 = 1 − 1.3 Processus de renouvellement 153 L'espérance du temps entre deux remplacements consécutifs est donc E(S) = E(W |W < T )P r(W < T ) + T P r(W ≥ T ) T = · T + T (1 − T ) 2 T . le temps S entre un remplacement d'urgence et le suivant peut s'écrire sous la forme ˜ S = KT + Z. pour k ≥ 0. le coût moyen à long terme par unité de temps prédit par le théorème de renouvellement élémentaire est 1 4 + ˜ E(S) E(S) 1 4 = + T (1 − T /2) (1 − T /2) 1 + 4T = . on a ˜ E[S] = E(K)T + E(Z) 1 T −1 T + T 2 T =1− . où Z suit une loi uniforme sur [0.6. T (1 − T /2) C(T ) = Le graphique de C(T ) est illustré dans la Figure 56.4 et 0. =T 1− 2 ˜ D'autre part. Ainsi. La dérivée de C(T ) est donnée par . P r(K = k) = (1 − T )k T. Le point de minimum apparaît être entre 0. dT 2 ((−2 + T )3 T 3 ) qui prend la valeur 8/3 pour T = 1/2. d 4T (1 − T /2) − (1 + 4T )(1 − T ) C(T ) = . . c'est-à-dire si et seulement si 2T 2 + T − 1 = (2T − 1)(T + 1) = 0. Il s'agit d'un point de minimum. car la dérivée seconde est positive. on trouve que d2 4(4 − 6T + 3T 2 + 4T 3 ) C(T ) = − .3. On conclut donc que C(T ) pour 0 < T < 1 est minimum lorsque T = 1/2. après quelques simpli cations. et qui est positive en général pour 0 < T < 1. En eet. dT (T (1 − T /2))2 qui est égale à 0 si et seulement si 4T − 2T 2 − 1 + T − 4T + 4T 2 = 0.2 Théorèmes de renouvellement 154 Figure 56 Graphique de C(T ). La seule solution positive est T = 1/2. k→∞ De plus.{k ≥ 1 : pk > 0} = 1. kpk = µ < ∞. on a E(N (t + h) − N (t)) 1 lim = . pour k ≥ 1.7 Théorème de renouvellement à temps continu Dans le cas d'un processus de renouvellement {N (t)}t≥0 avec intervalles de renouvellement S0 . n µ qu'on ait ou non la condition p. k≥1 Soit uk = P r(renouvellement à l'instant k).g. de même distribution de probabilité discrète donnée par la fonction de masse pk ≥ 0. pour toute valeur entière k ≥ 1.2. 3. on a toujours 1 n→∞ n n lim uk = lim k=1 n→∞ E(N (n)) 1 = . .6 Théorème de renouvellement à temps discret On considère un processus de renouvellement avec S0 pour le temps avant le premier renouvellement. mais à partir d'un moment qui tend vers l'in ni. S1 . Donc 1/µ représente le taux moyen de renouvellement par unité de temps sur une période de temps de longueur quelconque. Tous ces temps sont indépendants.d{k ≥ 1 : pk > 0} = 1. .3 Processus de renouvellement 155 3. . .c. t→∞ h µ pour tout h > 0 et tout t ≥ 0. Alors 1 µ lim uk = .c. pour i ≥ 1. La démonstration de ce résultat est reportée à la n du chapitre.2.g. On suppose que p. Ce théorème est énoncé sans démonstration. Remarque : Par le théorème de renouvellement élémentaire. de distribution de probabilité continue. et Si pour le temps entre les i-ième et (i+1)-ième renouvellements. S2 . on a le même résultat si S0 a une distribution de probabilité diérente sur les entiers k ≥ 1.d. . qui est le temps de vie total. V (n) = m + l = k ≥ 1 ) TN (n) = n − l n 0 ≤ A(n) = l ≤ n TN (n)+1 = n + m R(n) = m ≥ 1 Figure 57 Âge.3.2 Distributions asymptotiques à temps discret On considère d'abord l'âge et les temps de vie résiduel et total dans le cas où le temps entre deux renouvellements consécutifs est une variable aléatoire de loi discrète. appelé le temps de vie résiduel. pour i ≥ 1. représenté par A. sont indépendants et identiquement distribués.3. 3. (b) le temps qui reste à écouler jusqu'au prochain renouvellement. La distribution de probabilité de ces temps lorsque l'instant d'observation tend vers l'in ni. dépend de la distribution du temps entre deux renouvellements consécutifs. pour tout entier k ≥ 1. temps de vie résiduel et temps de vie total à temps discret. de fonction de masse donnée par pk ≥ 0. k≥1 . trois temps ont un intérêt particulier : (a) le temps qui s'est écoulé depuis le dernier renouvellement.3 Distributions asymptotiques 3. représenté par V . Les temps à valeurs entières Si > 0 entre les i-ième et (i + 1)-ième renouvellements.3 Distributions asymptotiques 156 3. avec kpk = µ < ∞.3. appelée distribution asymptotique.1 Âge et temps de vie résiduel et total Lorsqu'on observe un processus de renouvellement à un instant donné. et (c) le temps entre ces deux renouvellements. qui correspond à l'âge de ce renouvellement. représenté par R. + SN (n)−1 est l'instant du dernier renouvellement avant n (n inclus). m≥1 k≥m pk µ .g.d. Le temps S0 avant le premier renouvellement est aussi à valeurs entières. La variable N (n) représente le nombre de renouvellements jusqu'à l'instant n ≥ 0. V (n) = TN (n)+1 − TN (n) .. On considère les limites des fonctions de masse des diérents temps lorsque n → ∞. on obtient que lim P r(R(n) = m) = n→∞ l≥0 1 pm+l = µ pour tout m ≥ 1.3 Processus de renouvellement 157 On suppose de plus que p.. L'âge..{k ≥ 1 : pk > 0} = 1.. La gure 57 représente ces variables. inclusivement. le temps de vie résiduel et le temps de vie total du renouvellement courant à l'instant n ≥ 0 sont dé nis par A(n) = n − TN (n) . + SN (n) est l'instant du premier renouvellement après n (n exclu). et TN (n)+1 = S0 + . respectivement. on a n P r(R(n) = m) = un−l pm+l . alors que TN (n) = S0 + . Temps de vie résiduel : Pour tout m ≥ 1. on a P r(A(n) = l) = un−l pm+l . R(n) = TN (n)+1 − n. Âge : Pour tout l ≥ 0. . En faisant appel au théorème de renouvellement à temps discret et au lemme sur la limite d'une somme du chapitre 1. l=0 où un−l représente la probabilité d'un renouvellement à l'instant n − l. et il est indépendant des temps entre les renouvellements suivants.c. ) Remarque 1 : La distribution asymptotique conditionnelle du temps de vie résiduel étant donné un temps de vie total k ≥ 1 est uniforme sur les entiers 1. Cela donne une probabilité totale k≥m 1 k kpk µ = k≥m pk µ . k .5. pour que le temps de vie résiduel prenne asymptotiquement la valeur m ≥ 1. qui prend la valeur 0 lorsqu'un renouvellement .. l=0 Par le théorème de renouvellement à temps discret.3. µ µ pour tout k ≥ 1. on a k−1 P r(V (n) = k) = un−l pk .. le théorème de renouvellement à temps discret garantit que lim P r(A(n) = l) = n→∞ 1 µ pm+l = m≥1 k≥l+1 pk µ .. On arrive aux mêmes résultats pour les proportions moyennes limites de temps que ces variables prennent ces valeurs en utilisant la loi des grands nombres. on obtient la fonction de masse k≥l+1 1 k kpk µ = k≥l+1 pk µ . En conditionnant de façon analogue sur la vie totale. Temps de vie total : Pour tout k ≥ 1.1 pour une démonstration. et non pas le temps de vie résiduel.3 Distributions asymptotiques 158 Dans ce cas. . on conclut alors que k−1 lim P r(V (n) = k) = n→∞ l=0 1 kpk pk = . Remarque 2 : L'âge a la même distribution asymptotique que le temps de vie résiduel moins 1. pour tout l ≥ 0. pour la distribution asymptotique de l'âge. Cela découle de la convention que c'est l'âge. pour l ≥ 0. (Voir la section 3. 3 Processus de renouvellement 159 a lieu exactement à l'instant d'observation du processus. . de fonction de densité donnée par f (x) ≥ 0. indépendants identiquement distribués. Remarque 3 : La distribution asymptotique du temps de vie total est diérente de la distribution entre deux renouvellements consécutifs. V (t) = TN (t)+1 − TN (t) . ces temps sont indépendants du temps avant le premier renouvellement. 0 De plus. C'est le paradoxe de l'inspection. On considère maintenant un processus de renouvellement avec temps de loi continue Si > 0 entre les i-ième et (i + 1)-ième renouvellements. temps de vie résiduel et temps de vie total à temps continu. les premières seront utilisées deux tiers du temps à long terme. L'âge. avec ∞ xf (x)dx = µ < ∞. le temps de vie résiduel et le temps de vie total du renouvellement courant à l'instant t ≥ 0 sont dé nis par A(t) = t − TN (t) . qui est aussi supposé de loi continue.3. S0 .3 Distributions asymptotiques à temps continu V (t) ≥ 0 ) TN (t) t A(t) ≥ 0 TN (t)+1 R(t) ≥ 0 Figure 58 Âge. avec autant de piles d'une durée de vie de deux ans que de piles d'une durée de vie d'un an. 3. pour i ≥ 1. pour tout réel x > 0. R(t) = TN (t)+1 − t. Ainsi. L'explication est que l'observation du processus à un instant au hasard favorise les grandes valeurs qui occupent d'avantage de temps. par analogie avec le cas discret. alors que TN (t) = S0 + . inclusivement. En utilisant la loi des grands nombres. µ pour tout x > 0. les résultats pour les limites des fonctions de distribution des diérents temps lorsque t → ∞. on obtient les mêmes limites pour les proportions moyennes de temps que ces variables prennent des valeurs inférieures ou égales à x.. Temps de vie total : x lim P r(V (t) ≤ x) = t→∞ 0 yf (y) dy. 0 pour tout x > 0.3 Distributions asymptotiques 160 respectivement. µ x F (x) = f (y)dy. (Voir la section 3.2 pour une démonstration.5.. E(S1 ) µ . + SN (t)−1 est l'instant du dernier renouvellement avant t (t inclus).. + SN (t) est l'instant du premier renouvellement après t (t exclu).) Nous énonçons ici sans démonstration. N (t) représente le nombre de renouvellements jusqu'à l'instant t ≥ 0. Ici. et TN (t)+1 = S0 + . Âge et temps de vie résiduel : x lim P r(A(t) ≤ x) = lim P r(R(t) ≤ x) = t→∞ t→∞ 0 où 1 − F (y) dy..3.(Voir la gure 58.) L'espérance de la distribution asymptotique du temps de vie total est donnée par ∞ 0 x · xf (x) dx = µ ∞ 2 0 x f (x)dx ∞ 0 xf (x)dx = 2 E(S1 ) σ 2 + µ2 = . 4 Processus de renouvellement stationnaire Un processus de renouvellement est dit stationnaire lorsque la distribution du temps de vie résiduel à tout instant est donnée par la distribution asymptotique de ce temps. µ . la distribution asymptotique conditionnelle du temps de vie résiduel et de l'âge étant donné un temps de vie total x > 0 est uniforme sur l'intervalle (0. Remarque : La distribution asymptotique du temps de vie total a une densité donnée par xf (x)/µ. pour tout x > 0. Sous les conditions du théorème de renouvellement à temps discret ou à temps continu.3 Processus de renouvellement 161 où σ 2 = V ar(S1 ). x).3. l'espérance de la distribution asymptotique du temps de vie résiduel et de l'âge est la moitié de l'espérance de la distribution asymptotique du temps de vie total. on obtient que ∞ 0 x · (1 − F (x)) dx = µ = = = = ∞ ∞ 0 x x f (y)dy µ xf (y)dxdy µ ∞ 2 0 (y /2)f (y)dy µ 2) E(S1 2E(S1 ) σ 2 + µ2 . 2µ ∞ y 0 0 Sans surprise. on a alors E(N (t + h) − N (t)) = h . Cela donne une densité totale ∞ y 1 x xf (x) µ dx = 1 − F (y) . par symétrie. Pour ce qui est de l'espérance de la distribution asymptotique de l'âge et du temps de vie résiduel. On note ici que l'espérance de la distribution asymptotique du temps de vie total est plus grande que l'espérance du temps entre deux renouvellements consécutifs donné par µ = E(S1 ). 3. D'autre part. pour la distribution asymptotique du temps de vie résiduel et de l'âge. C'est le cas si la distribution de S0 est donnée par la distribution asymptotique du temps de vie résiduel. µ pour tout y > 0. 0 ailleurs. alors sa fonction de densité f (x) = 1 si 0 ≤ x ≤ 1. 0 ailleurs.3 Distributions asymptotiques 162 pour tout t.5 Exemple : Intervalles de loi uniforme Si le temps S1 entre deux renouvellements consécutifs suit une loi uniforme sur l'intervalle [0. 3. et 0 autrement.3. 1 si x > 1. Ainsi. C'est le théorème de renouvellement pour un processus stationnaire. La densité asymptotique de l'âge et du temps de vie résiduel est donnée par 2(1 − x) si 0 ≤ x ≤ 1. l'espérance est µ = 1/λ. F (x) = x si 0 ≤ x ≤ 1. 3 ce qui est plus grand que µ = 1/2 comme prévu. h > 0. À noter qu'on s'attend à ce qu'un processus de renouvellement soit approximativement stationnaire après un long moment quelle que soit la distribution de S0 en admettant la convergence de la distribution du temps de vie résiduel vers sa distribution asymptotique. 1 − F (x) = µ La densité asymptotique du temps de vie total est 2x si 0 ≤ x ≤ 1. 1]. La démonstration pour un processus en temps continu est présentée à la n du chapitre.6 Exemple : Intervalles de loi exponentielle On suppose maintenant que S1 suit une loi exponentielle de paramètre λ.3. 3.3. et la fonction de distribution satisfait 1 − F (x) = P r(S1 > x) = e−λx . xf (x) = µ L'espérance asymptotique de la vie totale est 1 0 2 2x2 dx = . . Son espérance est µ = 1/2 et sa fonction de répartition 0 si x < 0. 4 Processus semi-markoviens Un processus semi-markovien sur les entiers i ≥ 0 est décrit par des temps de séjour aux diérents états. qui sont de même distribution de probabilité. 3. mais quelconque. elle est donnée par xf (x) = xλ2 e−λx .4. λ qui excède 1/λ = E(S1 ). µ pour x > 0. il y a transition à l'état j ≥ 0 avec probabilité Pij . récurrente positive avec distribution stationnaire donnée par . tous indépendants. En ce qui concerne la densité asymptotique de la vie totale. À remarquer qu'on peut avoir Pii = 0. La loi exponentielle étant sans mémoire.1 Extension du théorème ergodique On considère un processus semi-markovien avec temps de séjour à chaque état i ≥ 0 d'espérance 0 < µi ≤ µ < ∞. On suppose que la matrice de transition P = (Pij ) correspond à une chaîne de Markov à temps discret irréductible. qui est la fonction de densité de S1 . µ pour x > 0. L'espérance correspondante est ∞ 2 x2 λ2 e−λx dx = λE(S1 ) 0 = λ(V ar(S1 ) + E(S1 )2 ) =λ = 1 1 + 2 2 λ λ 2 . La densité asymptotique pour le temps de vie résiduel et pour l'âge est donnée par 1 − F (x) = λe−λx . La matrice stochastique P = (Pij ) correspond à une matrice de transition pour une chaîne de Markov à temps discret. discrète ou continue. A la n d'un temps de séjour à l'état i ≥ 0.3 Processus de renouvellement 163 pour x > 0. indépendamment de toutes les autres transitions et de tous les temps de séjour. 3. le processus de renouvellement est stationnaire quel que soit l'instant initial choisi. pour chaque état i ≥ 0. alors on a 1 t→∞ t lim t Pji (s)ds = s=0 πi /λi . alors lim t→∞ E(Wi (t)) = t πi µi . 1 n→∞ n n−1 lim (k) Pji = πi . on obtient le théorème ergodique pour les moyennes des probabilités de transition de P .2 Exemple : Principe de Peter Le principe de Peter prédit que la majorité des postes sont occupés par des incompétents. il est incompétent avec la probabilité complémentaire 1 − p. Remarque : Dans le cas où les temps de séjour prennent la valeur 1 avec probabilité 1. On suppose que 0 ≤ p ≤ 1. Le résultat est cohérent avec le théorème ergodique pour les chaînes de Markov à temps continu. Dans le cas où les temps de séjour sont de loi exponentielle. j ≥ 0. Le temps moyen µ1 que passe un nouvel employé incompétent à ce poste est supérieur . La situation est modélisée par un processus semi-markovien. Si Wi (t) représente le temps passé à l'état i de l'instant 0 à l'instant t > 0 inclusivement. et que Pii = 0 pour tout état i. En revanche. disons de paramètre λi lorsqu'on est à l'état i. ce qui correspond à l'état 1. k=0 pour tout i. j≥1 πj /λj où Pji (s) représente la probabilité d'être à l'état i à l'instant s étant donné qu'on est à l'état j à l'instant 0. Ce théorème pour les processus semi-markoviens est une extension du théorème ergodique pour les chaînes de Markov. 3. On considère un nouvel employé qui arrive à un poste donné.4. ce qui représente l'état 0.4 Processus semi-markoviens 164 (πi ).3. car un employé compétent est rapidement promu à un poste supérieur jusqu'à ce qu'il occupe nalement un poste pour lequel il est incompétent. j≥1 πj µj Cette limite représente la proportion moyenne de temps à long terme que le processus est à l'état i. L'employé est compétent pour le poste en question avec probabilité p. La démonstration du résultat est reportée à la n du chapitre. c'est-à-dire. π1 µ1 + π0 µ0 Cette proportion est très près de 1. 91. Ainsi. La distribution stationnaire est donnée par π0 = p et π1 = 1 − p. 0 ou 1. µ0 + µ1 . la proportion moyenne de temps à long terme avec le poste occupé par un employé incompétent. représenté par 1. Le système tombe en panne après un temps de fonctionnement d'espérance µ1 < ∞ et il est remis en fonctionnement après un temps de réparation d'espérance µ0 < ∞. car ce dernier est promu plus rapidement. est un processus semi-markovien dont la matrice de transition est donnée par P = 0 1 1 0 .4. 3. disons un état de fonctionnement. La matrice de transition sur les états 0 et 1 dans cet ordre pour le poste en question est P = p 1−p p 1−p . tel qu'illustré dans la gure 59. La distribution stationnaire correspondante est π0 = π1 = 1/2. représenté par 0. avec µ0 = 1. µ1 = 10 et p = 1/2. et un état de réparation. L'état du système au cours du temps. est π 1 µ1 = 0. La proportion de temps à long terme que le système est à l'état de fonctionnement est alors donnée par 1 2 µ1 1 1 2 µ0 + 2 µ1 = µ1 . temps de fonctionnement d'espérance µ1 < ∞ temps de réparation d'espérance µ0 < ∞ Figure 59 Alternance entre deux états.3 Processus de renouvellement avec alternance On considère la situation de l'alternance d'un système entre deux états.3 Processus de renouvellement 165 au temps moyen µ0 qu'y passe un employé compétent. temps pendant lequel il ne peut recevoir aucune particule. 1 − γµ1 3. En revanche.3.4 Exemple : Compteur de particules Des particules arrivent à un compteur selon un processus de Poisson d'intensité λ qui est inconnue. temps de récupération d'espérance µ1 temps de réception d'espérance µ0 = 1/λ Figure 60 Compteur de particules. le compteur prend un temps d'espérance µ1 connue pour récupérer. on suppose un temps de service strictement positif. . Après chaque réception d'une particule. quelconque. Ici. La gure 60 illustre la situation. donc sans mémoire. il y a un seul serveur et l'arrivée des clients se fait selon un processus de Poisson d'intensité 0 < λ < ∞. l'hypothèse que le temps de service est de loi exponentielle. La gure 61 illustre ce système. et ce à partir de n'importe quel instant.4. l'hypothèse que le processus d'arrivée est un processus de Poisson est raisonnable. D'autre part. µ0 + µ 1 (1/λ) + µ1 On en déduit que le taux d'arrivée des particules est λ= γ . On considère un système d'attente de type M/G/1. est très forte. car les clients se présentent souvent au gré d'aléas divers.4. Le G signi e que le temps de service suit une loi générale. de fonction de densité f et d'espérance ∞ 0 < ν = 0 xf (x)dx < ∞.4 Processus semi-markoviens 166 3. Le temps avant l'arrivée d'une particule.5 Système d'attente M/G/1 Pour un système d'attente. Le taux moyen de réception des particules à long terme est γ= 1 1 = . est donc d'espérance µ0 = 1/λ. On obtient donc un processus de branchement qui commence avec un individu à la génération initiale et dans lequel chaque individu produit k descendants de première génération avec probabilité pk . . sur les états 0. le processus {Xn }n≥0 . Les clients qui arrivent pendant les services de ces descendants de première génération forment la génération suivante. 1. La chaîne est-elle récurrente. ∞ pk = 0 . . le temps étant compté en nombre se services. n'est généralement pas une chaîne de Markov à temps continu. . . . où Xn représente le nombre de clients restants dans le système au départ du n-ième client. k! représente la probabilité de k arrivées pendant un service. Il faut pour cela que le temps de service soit de loi exponentielle. En revanche. 2. . . . . . . . on considère que les clients qui arrivent pendant le service d'un premier client correspondent aux descendants de première génération de ce client. Le processus {Xt }t≥0 . . . où Xt représente le nombre de clients présents dans le système à l'instant t ≥ 0. . . est une chaîne de Markov à temps discret. Pour cela. pour tout k ≥ 0. La gure 62 illustre cela.3 Processus de renouvellement × Exp(λ) 167 × × × × temps de service de densité f (x) Figure 61 Système d'attente de type M/G/1. apériodique. . . . pour k ≥ 0. et ainsi de suite. (λy)k −λy e f (y)dy > 0. . En fait. la chaîne est irréductible. . . et si oui est-elle récurrente positive ou nulle ? On construit un processus de branchement a n de répondre à ces questions. avec matrice de transition de forme P = Ici p0 p1 p2 p0 p1 p2 0 p0 p1 . Dans ce cas. si on dé nit τ = E(nombre de services avant un retour à 0 | départ de 0). k≥0 où Zk représente le nombre d'individus à la génération k ≥ 0. λ Cela signi e que l'état 0 est récurrent si et seulement si l'espérance du temps de service est plus petit que l'espérance du temps entre l'arrivée d'un client et l'arrivée du suivant.4 Processus semi-markoviens 168 premier client k clients arrivés durant le service du premier client avec probabilité pk pour k ≥ 0. c'est-à-dire ν≤ 1 . D'autre part. On a donc mk = τ= k≥0 1 1 = < ∞. alors on a τ = E( Zk ) = k≥0 E(Zk ).3. 1−m 1 − λν . et de même pour les autres Figure 62 Processus de branchement pour système d'attente M/G/1. on a un extinction certaine si et seulement si m= kpk k≥0 ∞ = k(λy)k 0 k≥0 k! e−λy f (y)dy ∞ = λyf (y)dy 0 = λν ≤ 1. k≥0 Par le lemme de Wald. soit µ = E(période d'occupation du serveur en temps réel). Cette espérance est représentée par T µ=E Si i=1 où S1 . indépendants entre eux et indépendants de la variable T = Zk . Sinon. . la fraction moyenne de temps à long terme que le serveur est occupé est λν = ν . . on obtient que µ = E(S1 )E(T ) = ντ = ν . Dans le cas récurrent positif. C'est la condition pour que l'état 0 soit récurrent positif. π0 = Par conséquent. la fraction moyenne de temps à long terme que le serveur est en repos est (voir la gure 63) 1/λ (1/λ) + (ν/(1 − λν)) 1 − λν = 1 − λν + λν = 1 − λν. 1 − λν En n. sont des temps de service identiquement distribués. . . par la théorie du renouvellement avec alternance. 1/λ c'est-à-dire l'espérance d'un temps de service sur l'espérance du temps entre deux arrivées consécutives de clients. Une telle période commence par l'arrivée d'un premier client dans le système et se termine par le départ d'un dernier client.3 Processus de renouvellement 169 si et seulement si λν < 1. S2 . Un retour à 0 à partir de 0 correspond à une période d'occupation du serveur. il est récurrent nul. on s'intéresse à l'espérance d'une période d'occupation en temps réel. . R(n) = TN (n)+1 − n.3.5 *Moyennes temporelles asymptotiques 3. De plus. Théorème : . respectivement. + SN (n)−1 est l'instant du dernier renouvellement avant n (n inclus). ces temps sont indépendants du temps avant le premier renouvellement. pour tout entier k ≥ 1. V (n) = TN (n)+1 − TN (n) . avec k≥1 kpk = µ < ∞.1 Moyennes temporelles à temps discret On considère un processus de renouvellement avec temps Si > 0 entre les i-ième et (i + 1)-ième renouvellements.. indépendants et identiquement distribués. inclusivement. de fonction de masse donnée par pk ≥ 0..5. + SN (n) est l'instant du premier renouvellement après n (n exclu). et TN (n)+1 = S0 + . le temps de vie résiduel et le temps de vie total du renouvellement courant à l'instant n ≥ 0 sont dé nis par A(n) = n − TN (n) .5 *Moyennes temporelles asymptotiques 170 Période d'occupation ν d'espérance 1−λν Début d'un 1er service Figure Début d'un 1er service Période de repos d'espérance 1/λ 63 Périodes d'occupation et de repos d'un système d'attente M/G/1 3... alors que TN (n) = S0 + . qui est aussi supposé à valeurs entières. S0 . pour i ≥ 1. où N (n) représente le nombre de renouvellements jusqu'à l'instant n ≥ 0. L'âge. g.d. lorsque ces distributions existent. Démonstration : Pour la proportion de temps avec un temps de vie total k ≥ 1 jusqu'à l'instant n ≥ 0. et la proportion de temps avec un renouvellement courant d'âge l ≥ 0 vers k≥l+1 pk µ . alors que 1{Si =k} = 1 si le i-ième renouvellement a un temps de vie total k. . on obtient les inégalités 1 TN (n)+1 N (n)−1 k 1{Si =k} i=0 1 ≤ n+1 n 1{V (l)=k} ≤ l=0 1 TN (n) N (n) k 1{Si =k} . respectivement. et 0 autrement.c. c'est-àdire. respectivement. i=0 où 1{V (l)=k} = 1 si le temps de vie total à l'instant l est k. du temps de vie résiduel et de l'âge. la proportion de temps avec un renouvellement courant de temps de vie total k ≥ 1 jusqu'à l'instant n ≥ 0 converge lorsque n → ∞ vers kpk . n et TN (n)+1 .{k ≥ 1 : pk > 0} = 1. Cela découle des inégalités pour les sommes qui représentent des temps passés avec un temps de vie total k jusqu'aux instants TN (n) . µ alors que la proportion de temps avec un renouvellement courant de temps de vie résiduel m ≥ 1 converge vers k≥m pk µ . Remarque : Les distributions empiriques limites ainsi obtenues correspondent aux distributions asymptotiques du temps de vie total. inclusivement. lorsque p. et du fait que TN (n) < n + 1 ≤ TN (n)+1 . et 0 autrement. Le terme de gauche peut s'écrire N (n) N (n) i=0 Si 1 N (n) N (n)−1 i=0 k 1{Si =k} .3 Processus de renouvellement 171 Avec probabilité 1. k≥l+1 3. Les mêmes arguments peuvent être appliqués au terme de droite.5. S0 . De plus. pour tout réel x > 0. alors que TN (t) = S0 + . indépendants et identiquement distribués. et TN (t)+1 = S0 + . inclusivement. de fonction de densité donnée par f (x) ≥ 0. + SN (t)−1 est l'instant du dernier renouvellement avant t (t inclus). pour i ≥ 1.. on a alors N (n) → ∞ avec probabilité 1 (puisque Si < ∞ avec probabilité 1 pour tout i ≥ 0). avec 0∞ xf (x) = µ < ∞. elle est remplacée par 1{Si ≥l+1} d'espérance P r(Si ≥ l + 1) = pk . où N (t) représente le nombre de renouvellements jusqu'à l'instant t ≥ 0. R(t) = TN (t)+1 − t. le temps de vie résiduel et le temps de vie total du renouvellement courant à l'instant t ≥ 0 sont dé nis par A(t) = t − TN (t) . qui est aussi supposé de loi continue.3.. En eet.2 Moyennes temporelles à temps continu On considère un processus de renouvellement avec temps Si > 0 entre les i-ième et (i + 1)-ième renouvellements. k≥m alors que pour l'âge de valeur l ≥ 0. V (t) = TN (t)+1 − TN (t) . respectivement. µ avec probabilité 1 lorsque n → ∞. L'âge. dont l'espérance est P r(Si ≥ m) = pk .. Pour le temps de vie résiduel de valeur m ≥ 1. il converge vers 1 E(S1 ) E k 1{S1 =k} = kpk . la variable aléatoire k 1{Si =k} ci-dessus est remplacée par la variable aléatoire 1{Si ≥m} .5 *Moyennes temporelles asymptotiques 172 Par la loi des grands nombres. + SN (t) . ces temps sont indépendants du temps avant le premier renouvellement.. converge lorsque t → ∞ vers la limite x 1 µ yf (y)dy. on a utilisé le fait que TN (t) ≤ t < TN (t)+1 . respectivement. Démonstration : Pour la proportion de temps avec un renouvellement courant de temps de vie total ≤ x. la proportion de temps avec un renouvellement courant de temps de vie total ≤ x. 0 pour x > 0. pour x > 0 xé et jusqu'à l'instant t > 0.3 Processus de renouvellement 173 est l'instant du premier renouvellement après t (t exclu). et 0 autrement. et 0 autrement. lorsque celles-ci existent. 0 où x F (x) = f (y)dy. est la fonction de répartition pour le temps entre deux renouvellements consécutifs. alors que 1{Si ≤x} = 1 si le i-ième renouvellement a un temps de vie total ≤ x. i=0 où 1{V (s)≤x} = 1 si le temps de vie total du renouvellement courant à l'instant s est ≤ x. Remarque : Les distributions empiriques limites ainsi obtenues correspondent aux distributions asymptotiques du temps de vie total. on obtient les inégalités 1 TN (t)+1 N (t)−1 i=0 Si 1{Si ≤x} 1 ≤ t t 0 1{V (s)≤x} ds ≤ 1 TN (t) N (t) Si 1{Si ≤x} . . pour x > 0 xé et jusqu'à l'instant t > 0. du temps de vie résiduel et de l'âge. Ici. Théorème : Avec probabilité 1. 0 alors que la proportion de temps avec un renouvellement courant de temps de vie résiduel ≤ x et la proportion de temps avec un renouvellement courant d'âge ≤ x convergent toutes les deux vers la limite 1 µ x (1 − F (y))dy. 0 avec probabilité 1 lorsque t → ∞. pour i ≥ 1.6 *Démonstrations 174 Le terme de gauche peut s'écrire N (t) N (t) i=0 Si 1 N (t) N (t)−1 Si 1{Si ≤x} . pour tout i ≥ 0. dont l'espérance est ∞ x E(min(S1 . x). D'autre part.3.6. Les mêmes arguments peuvent être appliqués au terme de droite. car alors N (t) → ∞ avec probabilité 1 (puisque Si < ∞ avec probabilité 1 pour tout i ≥ 0). alors lim t→∞ E(N (t)) 1 = . et Si > 0 d'espérance µ < ∞ pour le temps entre les i-ième et (i + 1)-ième renouvellements. l'événement {N (t) ≥ n} = {S0 + · · · + Sn−1 = Tn ≤ t} . x)) = yf (y)dy + x 0 x (1 − F (y))dy. i=0 Par la loi des grands nombres. Tous ces temps sont indépendants. Pour le temps de vie résiduel et l'âge de valeur ≤ x. la variable aléatoire S1 1{S1 ≤x} ci-dessus est remplacée par la variable aléatoire min(S1 .6 *Démonstrations 3. La gure 64 illustre cette situation. t µ Démonstration : On considère d'abord le cas où Si ≤ M pour une certaine constante M < ∞. Le temps d'arrivée du premier renouvellement après t (t exclu) satisfait alors les inégalités t < S0 + S1 + · · · + SN (t) = TN (t)+1 ≤ t + M. Si N (t) représente le nombre de renouvellements jusqu'à l'instant t > 0 inclusivement. f (y)dy = x 0 3. il converge vers 1 E(S1 ) E S1 1{S1 ≤x} = 1 µ x yf (y)dy.1 Théorème de renouvellement élémentaire On considère un processus de renouvellement avec S0 > 0 d'espérance µ0 < ∞ pour le temps avant le premier renouvellement. t→∞ µ t t µ ˜ µ t→∞ ce qui complète la démonstration. aient des espérances µi satisfaisant µ0 ≤ µ0 < ∞ pour i = 0. et en répétant les arguments ci-dessus. est indépendant de Sn . .3 Processus de renouvellement 175 SN (t) n ≤ N (t) Tn ≤ TN (t) ≤ t < TN (t)+1 ≤ t + M Figure 64 Temps de séjour à l'état N (t) dans le cas où tous les temps de séjour aux diérents états sont bornés par une constante M . tµ t t t˜ µ On conclut que 1 E(N (t)) E(N (t)) 1 1 ≤ lim inf ≤ lim sup ≤ ≤ + ε. Dans le cas général. on obtient les inégalités ˜ E(N (t)) E(N (t)) t + M − µ0 ˜ t − µ0 ≤ ≤ ≤ . Le lemme de Wald garantit alors que t ≤ µ0 + µE(N (t)) ≤ t + M. M si Si > M. ˜ 1 + εµ ˜ pour i ≥ 1. on peut trouver une constante 0 < M < ∞ su samment grande pour que les temps tronqués dé nis par ˜ Si = Si si Si ≤ M. pour ε > 0 arbitrairement petit. En représentant par N (t) ≥ N (t) le nombre de renouvellements jusqu'à l'instant t > 0 inclusivement obtenus avec ces temps tronqués. et ˜ ˜ µ ≤ µ ≤ µ < ∞. On obtient le résultat en divisant partout par t et en passant à la limite lorsque t → ∞. 3.6 *Démonstrations 176 3.6.2 Théorème de renouvellement à temps discret On considère un processus de renouvellement avec S0 pour le temps avant le premier renouvellement, et Si pour le temps entre les i-ième et (i+1)-ième renouvellements, pour i ≥ 1. Tous ces temps sont indépendants, de même distribution de probabilité discrète donnée par la fonction de masse pk ≥ 0, pour toute valeur entière k ≥ 1. On suppose que p.g.c.d.{k ≥ 1 : pk > 0} = 1, kpk = µ < ∞. k≥1 Soit uk = P r(renouvellement à l'instant k), pour k ≥ 1. Alors 1 µ lim uk = . k→∞ De plus, on a le même résultat si S0 a une distribution de probabilité diérente sur les entiers k ≥ 1. Démonstration : En conditionnant sur le temps du premier renouvellement (voir la gure 65), on obtient l'équation de renouvellement k uk = pj uk−j , j=1 pour tout k ≥ 1, avec u0 = 1. La solution de ce système d'équations, qui peut être obtenue par récurrence, est unique. aucun renouvellement × 0 × j × × k k−j Figure 65 Représentation de l'équation de renouvellement. Un × indique un renouvellement. D'autre part, on obtient le même système d'équations pour la probabilité (k) de retourner à 1 en k pas à partir de 1, P11 , dans la chaîne de Markov à 3 Processus de renouvellement 177 temps discret sur les entiers k ≥ 1 dont les probabilités de transition en un pas sont données par P1k = pk , Pk+1,k = 1, pour tout k ≥ 1. Ces transitions sont illustrées dans la gure 66. Ce sont les transitons pour le temps qu'il reste avant le prochain renouvellement, d'un pas au suivant. p4 p3 p1 p2 1 1 1 2 1 3 4 Figure 66 Chaîne de Markov correspondant à l'équation de renouvellement. De plus, par les hypothèses faites sur pk pour k ≥ 1, l'état 1 de cette chaîne est récurrent positif apériodique, avec kpk < ∞ µ= k=≥1 comme espérance du nombre de pas pour retourner à 1 à partir de 1. En appliquant le théorème ergodique à temps discret, on a donc 1 µ (k) lim uk = lim P11 = . k→∞ k→∞ Si S0 = j avec probabilité qj pour j ≥ 1, alors la probabilité d'un renouvellement à l'instant k est k qj uk−j = j=1 qj δ{j≤k} uk . j≥1 Par le lemme sur la limite d'une somme du chapitre 1, on a convergence vers j≥1 qj µ = 1 . µ 3.6 *Démonstrations 178 3.6.3 Théorème de renouvellement dans le cas stationnaire On considère un processus de renouvellement stationnaire en temps continu {N (t)}t≥0 avec intervalles de renouvellement S1 , S2 , . . . , de fonction de dis- tribution continue x f (y)dy, F (x) = 0 pour tout x > 0, avec fonction de densité ∞ 0 (1 − F (x))dx = µ < ∞, et intervalle initial S0 de f0 (x) = 1 − F (x) , µ pour tout x > 0. On a alors E(N (t + h) − N (t)) = h , µ pour tout h > 0 et tout t ≥ 0. Démonstration : Tout d'abord, on dé nit m(t) = E(N (t)), pour tout t ≥ 0. Par stationnarité, on a que m(t+s) = E(N (t+s)−N (s)+N (s)) = E(N (t+s)−N (s))+E(N (s)) = m(t)+m(s), pour tout s, t ≥ 0. Cela implique que m(t) = ct, pour une constante c = m(1) à déterminer. D'autre part, en conditionnant sur la valeur prise par S1 dans le cas où les deux premiers renouvellements surviennent dans l'intervalle de temps [0, t], on obtient que t kP r(N (t − x) = k − 1)f (x)dx m(t) = P r(N (t) = 1) + k≥2 t = P r(N (t) ≥ 1) + 0 m(t − x)f (x)dx 0 t = P r(S0 ≤ t) + m(t − x)f (x)dx. 0 3 Processus de renouvellement 179 Or, t 1 − F (x) dx µ 0 t x f (y) t dydx = − µ µ 0 0 t t t−y = − f (y)dy. µ µ 0 P r(S0 ≤ t) = En faisant m(t) = ct, on conclut alors que c = µ−1 . 3.6.4 Théorème ergodique pour processus semi-markoviens On considère un processus semi-markovien avec temps de séjour à chaque état i ≥ 0 d'espérance 0 < µi ≤ µ < ∞. On suppose que la matrice de transition P = (Pij ) correspond à une chaîne de Markov à temps discret irréductible, récurrente positive avec distribution stationnaire donnée par (πi ). Si Wi (t) représente le temps passé à l'état i de l'instant 0 à l'instant t > 0 inclusivement, alors lim t→∞ E(Wi (t)) = t π i µi . j≥1 πj µj Démonstration : Le temps entre le début d'une visite à i et le début de la prochaine peut être représenté par Si = Si,1 + Sj,1 + ... + Sj,Nij , j=i où Si,1 est un temps de séjour à i d'espérance µi < ∞ et Sj,1 , Sj,2 , . . . , des temps de séjour à j d'espérance µj < ∞, pour j = i, tous indépendants entre eux et indépendants du nombre de visites à j entre deux visites consécutives à i, représenté par Nij , pour j = i. Le lemme de Wald garantit alors que E(Si ) = µi + µj E(Nij ). j=i Or, E(Nij ) = πj , πi Des voitures arrivent à une barrière.3. . Soit Nx le nombre de voitures alignées à une distance inférieure ou égale à x de la barrière. sont des temps de séjour à i d'espérance µi < ∞. On conclut que lim t→∞ E(Wi (t)) µi = .. Si.. Déterminer la limite de l'espérance de Nx sur x lorsque x tend vers l'in ni dans les cas : (a) F (l) = 0 pour l < c et 1 pour l ≥ c . + Si.Ni (t)−1 ≤ Wi (t) ≤ Si. 0 < E(Si ) ≤ µ + µ < ∞. 3. 2]. pour tout i ≥ 0. ..2 .Ni (t) . t→∞ t E(Si ) lim où Ni (t) représente le nombre de visites à i jusqu'à l'instant t > 0 inclusivement..7 Exercices 1.. Le théorème de renouvellement élémentaire donne alors que E(Ni (t)) 1 = . Chaque voiture a une longueur aléatoire L ayant une fonction de répartition F . + Si.1 + .1 . le temps passé à l'état i ≥ 0 jusqu'à l'instant t > 0 inclusivement satisfait Si. où Si. Le lemme de Wald mène alors aux inégalités µi E(Ni (t) − 1) ≤ E(Wi (t)) ≤ µi E(Ni (t)). indépendants entre eux et indépendants de Ni (t). La première voiture arrive et se stationne contre la barrière.7 Exercices 180 d'après la remarque qui suit la démonstration du théorème sur la distribution stationnaire pour les chaînes de Markov à temps discret. t E(Si ) ce qui donne le résultat annoncé en multipliant le numérateur et le dénominateur par πi . Les voitures suivantes se stationnent les unes derrière les autres à une distance qui est une variable aléatoire de loi uniforme sur [0. (b) F (l) = 1 − e−l/2 pour l > 0 et 0 ailleurs.1 + . D'autre part. πi car 0 < µi ≤ µ < ∞ et πi > 0. De plus.. Supposons que le temps entre deux renouvellements consécutifs dans un processus de renouvellement à temps discret est 1 avec probabilité 1/4. Lorsqu'un acheteur tombe sur le vendeur. Le temps de fonctionnement d'un appareil neuf a comme fonction de densité f (x) = x2 +4x/3 pour 0 < x < 1 et 0 ailleurs.3 Processus de renouvellement 181 2. Pendant cette période de récupération. Supposons que chaque fois qu'un appareil cesse de fonctionner. (a) Quel est le montant moyen des transactions par heure à long terme ? (b) Quelle est la probabilité qu'un policier qui se présente au coin de la rue tombe sur le vendeur ? (c) Combien de temps en moyenne un policier qui commence à surveiller le coin de la rue devra-t-il attendre avant d'être témoin d'une rencontre entre un acheteur et le vendeur ? 6. ils disparaissent tous les deux 5 minutes pour conclure la transaction. (a) Quelle est la probabilité d'avoir un renouvellement à l'instant n lorsque n tend vers l'in ni ? (b) Quelle est la fonction de masse du temps entre l'instant n et l'instant du premier renouvellement après n (n exclu) lorsque n tend vers l'in ni ? (c) Quelle est la fonction de masse du temps entre l'instant du dernier renouvellement avant n (n inclus) et l'instant du premier renouvellement après n (n exclu) lorsque n tend vers l'in ni ? 3. Le montant moyen d'une transaction est de 50 dollars et elles sont toutes indépendantes. Un vendeur de drogue se tient au coin d'une rue. Les acheteurs se présentent selon un processus de Poisson d'intensité 12 par heure. puis le vendeur retourne au coin de la rue. Le compteur a besoin d'un intervalle de temps de longueur xe 1/5 pour récupérer après la détection d'une particule. il est remplacé par un appareil neuf. Les acheteurs qui se présentent durant l'absence du vendeur passent leur chemin. Quelle est la proportion moyenne des particules qui sont détectées à long terme ? 5. (a) Quel est le taux moyen de remplacement des appareils à long terme ? (b) Combien de temps en moyenne un appareil en opération à un instant donné très tard dans le futur va-t-il encore fonctionner ? (c) Quelle est la probabilité que l'appareil en (b) fonctionne encore plus d'une demie unité de temps ? 4. les particules arrivant au compteur ne sont pas détectées. 2 avec probabilité 1/4 et 3 avec probabilité 1/2. Des particules arrivent à un compteur selon un processus de Poisson d'intensité 2. un message enregistré . Lorsqu'un appel est reçu à une boîte vocale. 7 Exercices d'une durée xe de 2 minutes est transmis. le stationnement est autorisé pour une période de deux heures. (b) la proportion de temps à long terme que l'assuré paie au taux de 500 dollars. Quelle est la probabilité que cette personne obtienne une contravention ? 8. Si le véhicule est déjà marqué. respectivement. (c) le temps moyen d'une période d'occupation du glacier. Le taux moyen de messages transmis à long terme est de 12 par heure. (c) le taux d'arrivée des appels (acceptés ou rejetés) . se présentent au comptoir d'un glacier selon un processus de Poisson d'intensité 20 par heure. Si un événement survient moins de 1 unité de temps après l'événe- . il revient à nouveau à 500 dollars suite à une réclamation. mais passent leur chemin si le glacier est occupé. deux ou trois personnes avec les pro- babilités 1/4. (b) la proportion moyenne des appels rejetés à long terme . Cependant. Des événements surviennent selon un processus Poisson d'intensité λ. et le temps de service est de loi exponentielle d'espérance 1 minute. Les personnes sont servies une à la fois. Déterminer : (a) le temps moyen entre le début d'un message et le début du suivant . (d) le nombre moyen d'appels rejetés durant la transmission d'un message. (b) le temps moyen d'une période de repos du glacier . 1/2 et 1/4. 7. Calculer : (a) la proportion de temps à long terme que le glacier sera occupé . indépendamment les unes des autres. l'employé donne une contravention. Tout autre appel est rejeté durant cette période. Des groupes constitués d'une. On suppose que les appels arrivent selon un processus de Poisson. Si on suppose que l'assuré vit pour toujours et fait des réclamations selon un processus Poisson d'intensité 1 par année. 9. le taux annuel de la prime diminue à 300 dollars. Considérons une assurance pour laquelle un nouvel assuré doit payer une prime à un taux annuel de 500 dollars. calculer : (a) le montant moyen annuel de la prime à long terme . Un employé de la ville passe sur cette artère toutes les deux heures et il marque les véhicules qui y sont stationnés à l'aide d'une craie. 10.182 3. Lorsqu'un assuré n'a pas fait de réclamation durant une période de 2 années consécutives. Sur une grande artère d'une ville. Supposons qu'une personne stationne son véhicule sur cette artère à un instant au hasard pour une période de temps de loi uniforme entre 0 et 4 heures. Un appareil fonctionne jusqu'à ce qu'il reçoive un deuxième choc. Déterminer : (a) le taux moyen de remplacement de l'appareil à long terme . Si on suppose maintenant qu'il oublie de renouveler avant l'épuisement de la carte avec probabilité 1/3 et qu'il prend dans ce cas un temps de loi uniforme sur [0. 1] après son épuisement pour la renouveler. Quelle est la proportion moyenne du temps à long terme avec un appareil en réparation ? 3. 2. (d) la proportion moyenne du temps à long terme avec une carte épuisée ? 14. Un appareil qui cesse de fonctionner est ou bien remplacé immédiatement par un appareil neuf avec probabilité 2/3 ou bien remis en service après avoir été réparé avec probabilité 1/3.8 *Exercices supplémentaires 12. (a) À quel taux les succès surviennent-ils à long terme ? (b) Quelle est la proportion des événements qui sont des succès à long terme ? 11. si les événements surviennent aux temps 2 . pour 0 < x < 1. 6 sont des succès. alors les événements aux temps 2. alors on dit que c'est un succès. (b) la proportion . L'ampoule d'un lampadaire a un temps de vie en nombre d'années de loi exponentielle de paramètre 1. (b) si l'équipe d'entretien passe à date xe une fois l'an et remplace l'ampoule seulement si elle est brûlée. Quel est le taux moyen de remplacement à long terme de l'ampoule : (a) si elle est remplacée aussitôt qu'elle brûle . Les chocs surviennent selon un processus de Poisson d'intensité 1. 8 et 6. déterminer : (c) le taux moyen d'oubli de remplacer la carte à long terme . 4 .3 Processus de renouvellement 183 ment précédent. etc. Déterminer : (a) le taux de remplacement moyen à long terme de la carte. et qu'il renouvelle juste avant qu'elle ne s'épuise.8 .6 .. (c) quelle est la proportion moyenne de temps à long terme avec une ampoule brûlée ? 13. et (b) la proportion moyenne de temps à long terme avec une carte qui sera épuisée dans moins d'un demi mois. 6 . Le temps de réparation moyen est 1 et le temps de fonctionnement moyen est 2 ou 4 selon qu'il s'agisse d'un appareil réparé ou d'un appareil neuf. Un étudiant utilise des cartes prépayées pour son cellulaire qui lui dure chacune un temps Si (en mois) de fonction de densité f (x) = 2x. Dans ce dernier cas. 6. Par exemple. à la suite duquel il est remplacé par un nouveau. Ils utilisent un court s'il y en a un qui est disponible au moment de leur arrivée ou sinon ils attendent qu'un se libère mais seulement s'il n'y pas déjà de joueurs en attente. Des clients se présentent à un comptoir de service selon un processus de Poisson d'intensité 2. ils renoncent à jouer. (b) l'espérance du temps pour revenir à 0 lorsqu'on quitte l'état 0. A= 0 1 −2 1 0 1 2 −3 Déterminer : (a) la distribution stationnaire si elle existe . mais ils rebroussent chemin avec probabilité . Remarque : L'espérance asymptotique peut être calculée sans calculer la densité asymptotique. Il est appelé en moyenne une fois toutes les deux heures selon un processus de Poisson.8 *Exercices supplémentaires 184 moyenne de temps à long terme avec un appareil en fonctionnement ayant subi un choc . il s'endort et il ne se réveille qu'au prochain appel. Un médecin travaille dans une salle d'urgence. Le temps d'utilisation d'un court par chaque paire de joueurs est de loi exponentielle de moyenne une heure indépendamment de tout le reste. (c) le temps moyen d'une période d'utilisation continue d'au moins un court. une longue et une courte. 15. Des paires de joueurs de tennis se présentent à un centre sportif où il y a deux courts selon un processus de Poisson d'intensité 2 par heure. Remarque : Il y a deux façons de répondre à la question (b). S'il s'écoule plus de 36 minutes depuis le dernier appel. Une chaîne de Markov à temps continu sur les états 0. (c) la densité asymptotique du temps de vie résiduel de l'appareil en fonctionnement . 1. Dans l'autre cas. (b) le nombre moyen de courts utilisés à long terme . 2.3. 3 a comme générateur −3 1 2 0 1 −3 2 0 . Déterminer : (a) le générateur pour le nombre de paires de joueurs en action ou en attente . 18. (a) Quelle est la fraction de temps moyenne à long terme que le médecin dormira ? (b) Quelle est l'espérance d'une période d'éveil continu du médecin ? 17. (d) l'espérance asymptotique du temps de vie résiduel de l'appareil en fonctionnement. 16. Il y a un seul serveur et le temps de service est de loi exponentielle de paramètre µ. et ne se referme que lorsqu'il s'est écoulé 1 minute depuis l'arrivée de la dernière voiture. la navette part pour l'hotel et elle est de retour à l'aéroport après 30 minutes. On imagine trois catégories pour un assuré : 0. Le nombre de clients dans le système (en attente ou en train de se faire servir) est un processus de naissance et de mort. alors qu'on diminue d'une catégorie après un an sans accident jusqu'au minimum de 0. déterminer : (a) le taux moyen de départ de la navette . (b) l'espérance du temps . Des voitures se présentent à l'entrée d'un stationnement intérieur se- lon un processus de Poisson d'intensité 12 par heure. et 2. PREMIER SERVI. Sinon. Déterminer : (a) les taux de naissance et les taux de mort . Les accidents surviennent selon un processus de Poisson d'intensité annuelle 1. Les clients qui arrivent durant cette période choisissent un autre hotel. Remarque : Vous ne pouvez pas utiliser la formule de Little qui a été déduite sous d'autres conditions. Un hotel dispose d'une navette pour cueillir des clients à l'aéroport qui arrivent selon un processus de Poisson d'intensité 6 par heure. 19. Déterminer : (a) la distribution stationnaire pour le nombre de voitures dans le stationnement . (c) la probabilité qu'elle soit à l'aéroport à minuit avec 3 clients prêts à partir . (c) la distribution stationnaire lorsqu'elle existe . (b) la condition nécessaire et su sante sur µ pour l'existence d'une distribution stationnaire . (d) l'espérance du temps du premier départ de la navette après minuit. Lorsque 4 clients sont arrivés. indépendamment de tous les autres et indépendamment du processus d'arrivée. 21. (b) la probabilité que la navette ne soit pas à l'aéroport à minuit . Déterminer la proportion moyenne de temps à long terme dans chaque catégorie.3 Processus de renouvellement 185 1/2 si le serveur est occupé. En n. Un détecteur photoélectrique déclenche l'ouverture de la porte à l'arrivée d'une voiture et celle-ci se referme après 1 minute s'il n'arrive pas d'autres voitures entre-temps. elle reste ouverte. le temps de stationnement de chaque voiture est de loi exponentielle d'espérance 1/4 d'heure. Sur une longue période de temps. (d) l'espérance du temps dans le système d'un client qui se présente au comptoir de service à l'état stationnaire en supposant la règle du DERNIER ARRIVÉ. 20. 1. et la porte de sortie est diérente de la porte d'arrivée. On augmente d'une catégorie à chaque accident jusqu'au maximum de 2. 22. Déterminer : (a) la distribution stationnaire (πi ) pour le nombre de vélos à la station . ils vont à une autre station. (c) le taux moyen à long terme d'ouverture de la porte d'entrée du stationnement. Une station BIXI comporte N points d'ancrage de vélo. .8 *Exercices supplémentaires d'une période d'occupation continue du stationnement par au moins une voiture .186 3. Lorsqu'il n'y a aucun vélo disponible pour les premiers ou aucun point d'ancrage disponible pour les seconds. On suppose que les usagers qui veulent utiliser un vélo et les usagers qui veulent rapporter un vélo se présentent selon des processus de Poisson d'intensité λ indépendants. (b) l'espérance m d'une période de temps continu avec au moins un vélo à la station. La condition ci-dessus est écrite sous la forme E(Xn+1 | Xn . C'est le cas notamment pour l'avoir d'un joueur qui joue une série de parties lorsque le jeu est équitable. .. . . ... . De façon analogue. . . .. . pour toutes valeurs possibles x0 .. X0 = x0 ) E(Xn+1 ) = xn .4 Introduction aux martingales 4. .x0 xn P r(Xn = xn ) xn = E(Xn ). xn . .x0 = xn xn = P r(Xn = xn . X0 = x0 ) = xn . X0 = x0 )P r(Xn = xn . . . . X0 = x0 ) xn . . . .1. . .. Cette espérance conditionnelle est calculée à partir de la fonction de masse ou de densité conditionnelle selon que les variables sont discrètes ou continues. X0 = x0 ) xn−1 ..1 Dé nitions et exemples 4. pour tout n ≥ 0.1 Dé nition d'une martingale Un processus à temps discret est une martingale lorsque l'espérance du changement d'un instant au suivant est nulle. pour tout n ≥ 0. Une suite de variables aléatoires {Xn }n≥0 est une martingale si E(Xn+1 |Xn = xn .x0 = xn P r(Xn = xn . . respectivement. . le prix d'un actif nancier est décrit par une martingale sous l'hypothèse que le jeu de l'ore et de la demande permet d'établir un prix juste à tout moment sans certitude de gain ou de perte dans le futur. on véri e alors que E(Xn+1 |Xn = xn . on conclut que E(Xn ) = E(X0 ). . . . . En supposant des variables aléatoire discrètes. ..... . . . . X0 ) = Xn .. Par induction. X0 par la fonction de densité conjointe. .1. L'existence de l'espérance est sous-entendue dans la dé nition de martingale. Plus précisément. 4. S0 = s0 ) = E(Sn + ξn+1 |Sn = sn . {Sn }n≥0 est une martingale si µ = 0. .1 Dé nitions et exemples 188 pour tout n ≥ 0. La variable aléatoire Sn représente par exemple le gain net d'un joueur qui mise 1 sur le coté face d'une pièce de monnaie équilibrée. 4. . .1.4. . et la somme par une intégrale. pour n ≥ 1. {Sn }n≥0 est une martingale. . . Donc. . Cela garantit que E(Sn+1 |Sn = sn . où ξk = 1 avec probabilité 1/2. Ce qui est important dans l'expression de Sn est que les variables aléatoires ξk pour k ≥ 1 sont indépendantes d'espérance 0. en doublant ou en perdant la mise chaque fois selon qu'il gagne ou qu'il perd.3 Exemple : Prix juste d'une option d'achat par Le prix d'un actif nancier suite à n ≥ 1 séances boursières est représenté Sn = S0 + ξ1 + · · · + ξn . pour n ≥ 1. . .2 Exemple : Marche aléatoire symétrique On considère une marche aléatoire sur les entiers avec 0 comme point de départ. et par conséquent E(Sn ) = E(S0 ) = 0. on dé nit S0 = 0 et Sn = ξ1 + · · · + ξn . indépendamment pour tout k ≥ 1. . . et ce n fois de façon indépendante. −1 avec probabilité 1/2. Comme dans l'exemple précédent. où ξk pour k ≥ 1 sont des variables aléatoires indépendantes et identiquement distribuées d'espérance µ et de variance σ 2 . On arrive aux mêmes conclusions dans le cas de variables aléatoires continues en remplaçant la fonction de masse conjointe de Xn . ce qu'on suppose ici. Ce modèle additif est raisonnable si la période considérée est courte de telle sorte que la variation sur toute la période est petite par rapport à la . S0 = s0 ) = sn + E(ξn+1 ) = sn . 1. 2π 4. la taille de la population reste la même. On considère une population de taille constante N et on suppose que les générations sont séparées. On se demande quel est le prix juste à payer pour une option d'achat de l'actif au prix actuel. On suppose deux types possibles d'individus dans la population. aucun des membres de la génération n ≥ 0 ne survit à la génération n + 1. et on représente le nombre d'individus de type A à la génération n par Xn . pour n ≥ 0. Ce gain est la diérence entre le prix de l'actif après n séances et le prix actuel si cette diérence est positive. mais après n séances. représentée par (Sn − S0 )+ . . E(Xn ) = E(X0 ). {Xn }n≥0 est une martingale. Cependant. . . la variable aléatoire Xn+1 suit une loi binomiale de paramètres N et xn /N . sinon il est nul. A et B . Ainsi. En conséquence. Pour n assez grand. On obtient donc que E(Xn+1 |Xn = xn . Sous cette condition. 4. le théorème limite central permet d'obtenir l'approximation ∞ √ E((Sn − S0 )+ ) ≈ σ n 0 2 ze−z /2 √ dz = σ 2π n . Le prix juste correspond à l'espérance du gain. que les générations sont séparées et qu'il y a un seul individu à la génération initiale (voir la gure 67). la probabilité qu'un individu tiré au hasard à la génération n soit de type A est xn /N .4 Exemple : Modèle de Wright-Fisher Le modèle de Wright-Fisher est le modèle le plus important en génétique des populations. c'est la partie positive de la diérence. qui est la valeur prise par Xn .4 Introduction aux martingales 189 valeur de l'actif et que le taux d'intérêt sans risque (accordé sur les bons du trésor) qui tend à augmenter la valeur de l'actif est négligeable. De génération en génération. . .5 Exemple : Processus de branchement On suppose que chaque individu d'une population a un nombre d'enfants indépendamment des autres. X0 = x0 ) = N · xn /N = xn .1. Les N individus de la génération n + 1 sont obtenus en faisant des copies de N individus de la génération n tirés au hasard avec remise. qui est le nombre initial moyen d'individus de type A dans la population. Étant donné que Xn = xn . Autrement dit. que ce nombre est de même loi de probabilité d'espérance m. 4. Cette représentation garantit alors que E(Zn+1 |Zn = zn . Le même résultat a été obtenu directement à la section 1. Z0 = 1) = mzn . Sn pour tout n ≥ 0. {Zn /mn }n≥0 est une martingale. . .6 Martingale par rapport à une suite de variables Plus généralement.. .4 du chapitre 1. . Le nombre d'individus à la génération n + 1 est représenté par Zn+1 = X1 + · · · + XZn . et E(Mn+1 |Sn .. . . n+1 m m pour n ≥ 0. . un processus {Mn }n≥0 est une martingale par rapport à une suite de variables aléatoires {Sn }n≥0 si Mn dépend seulement de S0 . Par conséquent. . et indépendantes de Zn . . E Zn mn =E Z0 m0 = 1. . . .1. S0 ) = Mn . c'est-à-dire E(Zn ) = mn . . où Xi pour i ≥ 1 sont indépendantes d'espérance m.. Le nombre d'individus à la génération n est dénoté par Zn . Donc. On a donc E zn Z0 Zn+1 Zn = n.. 4. pour n ≥ 0. 0 = 1 n+1 mn m m m = mzn zn = n.1 Dé nitions et exemples 190 Z0 Z1 Z2 Figure 67 Illustration d'un processus de branchement. En eet. .1. .7 Exemple : Marche aléatoire asymétrique On reprend la marche aléatoire sur les entiers dé nie par S0 = 0 et Sn = ξ1 + · · · + ξn . et on véri e qu'on obtient ainsi une martingale par rapport à {Sn }n≥0 . . mais avec ξk = 1 avec probabilité p.4 Introduction aux martingales 191 La variable Mn est en quelque sorte une fonction de S0 . Mn est une fonction de Sn . et E(Mn+1 | S0 . pour n ≥ 0. S0 = s0 ) = sn + E(ξn+1 ) = sn + 2p − 1 = sn . On introduit maintenant Mn = 1−p p Sn . . −1 avec probabilité 1 − p. Sn et sa valeur est déterminée lorsque les valeurs prises par ces variables sont données. pour n ≥ 0. pour p = 1/2. . . Sn pour n ≥ 0 n'est pas une martingale. En conditionnant sur ces valeurs. car E(Sn+1 |Sn = sn . Sn Sn = Sn +ξn+1 E 1−p p 1−p p ξn+1 p+ 1−p p −1 (1 − p) . . . on véri e facilement comme pour une martingale par rapport à elle-même que E(Mn+1 ) = E(Mn ) = E(M0 ). . . indépendamment pour k ≥ 1. . pour tout n ≥ 0. Ici. Il est sous-entendu que E(Mn ) existe pour tout n ≥ 0. . Sn = pour n ≥ 0. pour n ≥ 1. Sn ) = E 1−p p 1−p p Sn = 1−p p 1−p p = Mn . . . 4. . S0 . . Alors. 4.2 Martingale arrêtée 4. .4.2 Théorème d'arrêt Soient {Mn }n≥0 une martingale et T un temps d'arrêt. −1 avec probabilité 1 − p = 1/2. . Cela signi e qu'on sait que l'événement se réalise ou qu'il ne se réalise pas si on connait les valeurs prises par ces variables. par rapport à une même suite de variables aléatoires {Sn }n≥0 .3 Exemple : Marche aléatoire symétrique arrêtée On s'intéresse à la probabilité qu'une marche aléatoire symétrique sur les entiers qui commence à 0 atteigne une valeur donnée a > 0 avant d'atteindre une valeur donnée −b < 0. et on suppose ou bien que P r(T < ∞) = 1 et |Mn∧T | ≤ K. Comme on l'a vu précédemment. où ξi = 1 avec probabilité p = 1/2. E(MT ) = E(M0 ). . Sn−1 pour tout n ≥ 1.2. pour une constante K < ∞. T ).2.2 Martingale arrêtée 192 4.2. pour tout n ≥ 0. . pour n ≥ 1. . la marche aléatoire représentée par S0 = 0 et Sn = ξ1 + · · · + ξn . où n ∧ T = min(n. on sait si on continue ou non après l'instant n−1 en connaissant l'histoire du processus jusqu'à cet instant. ou bien que E(T ) < ∞ et |M(n+1)∧T − Mn∧T | ≤ K.1 Temps d'arrêt Une variable aléatoire à valeurs entières non négatives T est un temps d'arrêt par rapport à une suite de variables aléatoires {Sn }n≥0 si l'événement {T ≥ n} dépend seulement des variables aléatoires S0 . Autrement dit. On considère {Mn∧T }n≥0 . La gure 68 représente la situation. 4. . . . On obtient alors que pa = b . De plus on a 0 = E(S0 ) = E(ST ) = apa + (−b)(1 − pa ). respectivement. . Le même résultat a été obtenu au chapitre 1 par la méthode de conditionnement sur la première transition. C'est un temps d'arrêt par rapport à {Sn }n≥0 . . . . Sn−1 . où pa représente la probabilité qu'elle s'arrête à a et 1 − pa la probabilité qu'elle s'arrête à −b. et des probabilités égales de gagner chaque partie indépendamment des autres avec une mise de 1 de chaque joueur sur chaque partie. En supposant les conditions du théorème d'arrêt véri ées. Sn−1 < a} dépend seulement de S0 . est une martingale par rapport à elle-même.4 Introduction aux martingales 193 a 0 −b T n Sn∧T Sn Figure 68 Marche aléatoire sur les entiers avec arrêt à a ou −b. {T ≥ n} = {−b < S0 . Cela correspond à la probabilité de ruine d'un joueur B contre un joueur A qui ont des avoirs initiaux b et a. pour n ≥ 1. On pose T = min{n ≥ 0 : Sn = a ou Sn = −b}. En eet. La suite {Sn∧T }n≥0 est donc une martingale arrêtée par rapport à {Sn }n≥0 . a+b qui est la probabilité que la marche aléatoire atteigne a avant −b. cette martingale s'arrête à a ou −b avec probabilité 1. indépendamment pour i ≥ 1. . . il s'agit toujours d'une marche aléatoire sur les entiers dé nie par S0 = 0 et Sn = ξ1 + · · · + ξn . n→∞ Par conséquent.4 Exemple : Marche aléatoire asymétrique arrêtée Dans cet exemple. b) < ∞. pour n ≥ 1. la suite dé nie par Mn = 1−p p Sn . indépendamment pour i ≥ 1. Dans ce cas. . D'autre part. En fait. Ainsi. T < ∞ avec probabilité 1. où p = 1/2. (n+1)(a+b)−1 P r(T ≥ k) ≤ E(T ) = P r(T ≥ k) n≥0 k≥1 ≤ k=n(a+b) (a + b)P r(T ≥ n(a + b)) n≥0 1 − pa+b ≤ (a + b) n n≥0 a+b = a+b < ∞.2 Martingale arrêtée 194 Il reste à véri er les conditions du théorème d'arrêt. on a les inégalités |Sn∧T | ≤ max(a. On en déduit que P r(T = ∞) = lim P r(T ≥ n(a + b)) = 0. p 4. −1 avec probabilité 1 − p. pour n ≥ 1.2. E(T ) < ∞. où pa+b est la probabilité qu'il y ait a + b hausses consécutives de 1. P r(T ≥ a + b) = 1 − P r(T < a + b) ≤ 1 − pa+b .4. Pour tout n ≥ 0. P r(T ≥ n(a + b)) ≤ 1 − pa+b n . En eet. mais avec ξi = 1 avec probabilité p = 1/2. 1−p p −b < ∞. 2p − 1 2p − 1 . Le théorème d'arrêt garantit alors que 1 = E(M0 ) = E(MT ) = pa 1−p p a + (1 − pa ) 1−p p −b . est une martingale par rapport à {Sn }n≥0 . D(n+1)∧T − Dn∧T ≤ |Dn+1 − Dn | = |ξn+1 − (2p − 1)| ≤ 2 < ∞. . où pa est la probabilité pour la marche aléatoire d'atteindre a avant −b. pour n ≥ 0. .4 Introduction aux martingales 195 pour n ≥ 0. En eet. On en déduit que E(T ) = E(ST ) apa − b(1 − pa ) = . La variable aléatoire dé nie par T = min{n ≥ 0 : Sn = a ou Sn = −b}. |Mn∧T | ≤ max 1−p p a . Dn = Sn − n(2p − 1) est aussi une martingale par rapport à {Sn }n≥0 . est un temps d'arrêt par rapport à {Sn }n≥0 qui véri e P r(T < ∞) = 1 pour les mêmes raisons que précédemment. De plus. Cela correspond à ce qui a été trouvé au chapitre 1 pour la probabilité de ruine d'un joueur contre un autre de force inégale. . on trouve que 1− pa = 1− 1−p p 1−p p b a+b . E(Dn+1 |Sn . Puisque T est un temps d'arrêt qui satisfait E(T ) < ∞ pour les mêmes raisons que précédemment. D'autre part. De plus. la remarque qui suit le théorème d'arrêt garantit que E(DT ) = E(ST ) − (2p − 1)E(T ) = E(D0 ) = 0. Dans ce cas. . pour tout n ≥ 0. S0 ) = Dn + E(ξn+1 ) − (2p − 1) = Dn . respectivement.4. 1 − 2p Cette dernière limite correspond à l'espérance du nombre de parties avant la ruine d'un joueur qui emprunte b dollars pour jouer contre un adversaire in niment riche en doublant ou en perdant une mise de 1 dollars sur chaque partie avec probabilité p ou 1 − p. . passe ou manque. en appliquant la règle de l'Hôpital. noir ou rouge. et cela jusqu'à ce qu'on gagne. M4 = 8. L'explication pour cette limite est que le joueur perd en moyenne 1 − 2p dollars sur chaque partie. à la suite de quoi on recommence. D'autre part. 4. Ce résultat et les autres correspondent à ce qui a été obtenu au chapitre 1 au sujet de la ruine du joueur dans le cas où p < 1/2. M2 = 2. p→1/2 Ces limites correspondent aux résultats obtenus au chapitre 1 pour la ruine du joueur dans le cas p = 1/2. alors les mises successives sur les quatre premiers jeux sont M1 = 1. M3 = 4. a→∞ E(temps pour Sn d'atteindre − b) = lim E(T ) = a→∞ b . indépendamment des autres parties. on déduit les résultats suivants : a p . si le joueur mise sur le rouge et que le noir sort trois fois de suite puis le rouge.2 Martingale arrêtée 196 Remarque : Dans le cas où p < 1/2. pair ou impair. P r(Sn atteigne a) = lim pa = b→∞ 1−p P r(Sn atteigne − b) = lim (1 − pa ) = 1. à la roulette) consiste à miser une unité sur le premier jeu puis à doubler la mise si on perd.2.5 Exemple : Martingale classique de doubler la mise La martingale classique dans une série de jeux avec une chance sur deux de gagner chaque partie (par exemple. Par exemple. on trouve que lim pa = p→1/2 et b a+b lim E(T ) = ab. De plus. . pour i ≥ 1. ξn−1 . on a E(Wn+1 |ξ1 . En particulier. . la variable aléatoire Wn dépend seulement de ξ1 . alors on a T = min{n ≥ 1 : Wn = 1 ou Wn = −2N + 1} . sont supposées indépendantes. où Mi représente la mise sur le jeu i ≥ 1 et ξi = 1 −1 si le rouge sort au jeu i. W4 = 1. . . . Les variables aléatoires ξi pour i ≥ 1. le théorème d'arrêt ne s'applique pas. . Le temps aléatoire dé ni par T = min{n ≥ 1 : Wn = 1} est un temps d'arrêt par rapport à {ξn }n≥1 . on a évidemment WT = 1 avec probabilité 1. Le gain net après le jeu n ≥ 1 est donné par W n = M1 ξ 1 + · · · + M n ξ n . . D'autre part. . pour tout k ≥ 1. . . pour tout n ≥ 0. ce qui a probabilité 1 − p = 1/2. W3 = −7.4 Introduction aux martingales 197 et les gains nets suite à ces jeux sont W1 = −1. . ξn ) = Wn + E(Mn+1 ξn+1 ) = Wn + Mn+1 E(ξn+1 ) = Wn . . De plus. Wn−1 < 1} dépend seulement de ξ1 . . . puisque {T ≥ n} = {W1 . pour tout n ≥ 1. T = k avec probabilité (1/2)k . W2 = −3. Par conséquent. d'où E(WT ) = 1 = 0 = E(W0 ). La suite {Wn }n≥0 est alors une martingale par rapport à {ξn }n≥1 . . Si au contraire elle ne peut pas dépasser 2N par limite de ressources ou de crédit. . Cette stratégie semble être toujours gagnante si on arrête de jouer après le premier gain. la mise Mn sur le jeu n ≥ 1 dépend seulement des variables ξ1 . Ici. ξn−1 . d'où E(T ) = 2 < ∞. ce qui signi e que le gain net moyen est nul si on arrête de jouer à n'importe quel instant xé. on a E(Wn ) = E(W0 ) = 0 pour tout n ≥ 1. si le noir sort au jeu i. de telle sorte qu'on doive se retirer si on atteint ce seuil. . D'autre part. ξn pour tout n ≥ 1. . en dé nissant W0 = 0. La suite {Mn }n≥1 est alors une stratégie de mise prévisible. ce qui a probabilité p = 1/2. . car la mise est non majorée. . . . S0 = s0 ) = mn . .2. . . . . . . . . .4. . . où n ∧ T =min(n. E(M(n+1)∧T |Sn = sn . . . . . . . S0 = s0 ) = E(Mn+1 |Sn = sn . pour n ≥ 0. Sn . dépend seulement de S0 . . si T ≥ n + 1 et Mn = mn lorsque Sn = sn . . Sous les conditions que |Mn∧T | ≤ K et P r(T < ∞) = 1. on a E(M(n+1)∧T |Sn = sn . .2 Martingale arrêtée 198 comme temps d'arrêt. N avec probabilité 21 . S0 = s0 ) = mt . . . Puisque {Mn∧T }n≥0 est une martingale par rapport à {Sn }n≥0 . en accord avec le théorème d'arrêt. n→∞ De plus. . E(M(n+1)∧T |Sn = sn .6 *Preuve du théorème d'arrêt Si {Mn }n≥0 est une martingale par rapport à une suite de variables aléatoires {Sn }n≥0 et T est un temps d'arrêt par rapport à la même suite. T ). est aussi une martingale par rapport à {Sn }n≥0 . |E(MT )−E(Mn∧T )| = |E(MT −Mn∧T )| ≤ E(|MT −Mn∧T |) ≤ 2KP r(T > n). De plus. D'autre part. Mn et de l'événement {T ≥ n}. N d'où E(WT ) = 0. 4. Dans tous les cas. . . alors le processus arrêté {Mn∧T }n≥0 . on a que |MT | = lim |Mn∧T | ≤ K. pour une constante K < ∞. pour tout n ≥ 0. S0 = s0 . . . puisque c'est le cas des variables M0 . le processus a atteint un état de xation avant l'instant n + 1. . Dans ce dernier cas. on a que E(Mn∧T ) = E(M0∧T ) = E(M0 ). En eet. pour tout n ≥ 0. S0 = s0 ) = Mn∧T . auquel cas WT = 1 −2N + 1 avec probabilité 1 − 21 . S0 = s0 . . si T = t < n + 1 et MT = mt lorsque Sn = sn . Mn∧T . . n→∞ On conclut que E(MT ) = lim E(Mn∧T ) = E(M0 ). lorsque T < k. on a que |E(MT − Mn∧T )| = E (M(k+1)∧T − Mk∧T ) k≥n ≤ M(k+1)∧T − Mk∧T E k≥n ≤K P r(T ≥ k). car P r(T ≥ k) < ∞.4 Introduction aux martingales 199 car |MT − Mn∧T | ≤ |MT | + |Mn∧T | ≤ 2K si T > n. k≥n car M(k+1)∧T − Mk∧T = 0. pour tout n ≥ 0. . pour une constante K < ∞. n→∞ Sous les conditions alternatives que E(T ) < ∞ et |M(n+1)∧T − Mn∧T | ≤ K. lim P r(T > n) = P r(T = ∞) = 1 − P r(T < ∞) = 0. E(T ) = k≥1 On conclut donc comme précédemment. la somme à droite de l'inégalité ci-dessus tend vers 0 lorsque n → ∞. Or. Or. et 0 sinon. On dé nit N = min{n ≥ 1 : Sn = 0 ou 4}. (b) Véri er que N est un temps d'arrêt par rapport à ξn . (a) Montrer que 2Sn est une martingale par rapport à ξn . (c) En utilisant le théorème d'arrêt des martingales. (d) En utilisant le lemme de Wald... déterminer E(N ). On considère une population de N organismes dans laquelle. Le nombre d'organismes d'un type donné . Une urne contient des boules rouges et des boules vertes. on tire une boule au hasard de l'urne et on la remet dans l'urne en ajoutant une autre boule de la même couleur que celle tirée. 2 2. Montrer que Sn − n est une martingale par rapport à Sn = ξ1 + . Utiliser alors le théorème d'arrêt des martingales pour déterminer l'espérance du temps d'arrêt N = min{n : Sn = a ou − b}.3 *Exercices supplémentaires 4. où ξk = 1 avec probabilité 1/3 et ξk = −1 avec probabilité 2/3. + ξn .200 4. Montrer que Xn est une martingale. + ξn où les ξk sont des variables aléatoires indépendantes qui prennent les valeurs +1 ou −1 avec la même probabilité 1/2. À chaque instant n. indépendamment pour k ≥ 1. 3. 4.3 Exercices 1.4 *Exercices supplémentaires 4.. un organisme choisi au hasard parmi les N existants produit une copie identique à lui-même et cette copie remplace l'un des N organismes existants choisi au hasard (c'est le modèle de Moran en génétique des populations). à chaque unité de temps. On désigne par Xn la proportion de boules rouges dans l'urne à cet instant et on suppose qu'il y a une boule de chaque couleur dans l'urne initialement. On considère le problème de la ruine du joueur avec un avoir initial S0 = 1 et un avoir après n parties pour n ≥ 1 donné par Sn = S0 + ξ1 + .. déterminer la distribution de probabilité de SN . N − 1 et P0. Vous pouvez supposer que l'espérance et la variance de T sont nies et que les conditions du théorème d'arrêt sont satisfaites. On dé nit S0 = 0. déterminer en utilisant le théorème d'arrêt : (c) l'espérance de T . (a) Montrer que Xn est une martingale. . Un joueur mise une unité d'avoir sur chaque jeu d'une série de jeux identiques idépendants. ξn . représentée par E(T ) . Après avoir montré que : (a) Mn et Wn . représentée par V ar(T ).i−1 = Pi. et Wn = (Sn − nµ)2 − nσ 2 . sont des martingales par rapport à Sn . N2 N2 pour i = 1. . pour n ≥ 0 . . et T = min{n ≥ 1 : Sn = −N }. Pi.. (b) Déterminer la probabilité que le type A disparaisse éventuellement de la population étant donné qu'il a k représentants initialement en utilisant le théorème d'arrêt des martingales.. . et (b) T est un temps d'arrêt par rapport à Sn .4 Introduction aux martingales 201 A à l'instant n. forme alors une chaîne de Markov dont la matrice de transition est donnée par Pi. Son gain net (gain brut en nombre entier d'unités moins une unité de mise) sur chaque jeu est d'espérance µ = −1/2 < 0 et de variance σ 2 = 1 > 0. Soient Mn = Sn − nµ. en plus d'être majoré en valeur absolue par une constante K > 0. Xn .. pour n ≥ 0 .0 = PN. pour n ≥ 0. pour un entier N ≥ 1. 5. Le gain net après n ≥ 1 jeux est donné par Sn = ξ1 + .i = 1 − . pour tout n ≥ 0.N = 1. et (d) la variance de T . où ξi représente la gain net sur le i-ième jeu.i+1 = i(N − i) 2i(N − i) . Il est le plus important dans cette catégorie et il est aujourd'hui appliqué dans une multitude de domaines. basée sur les probabilités. Bien que plusieurs aient imaginé ou observé le mouvement brownien bien avant Robert Brown. en 1827. .1.1. notamment en nance. mais nulle part diérentiables. Finalement. Le mouvement dans n'importe quelle direction donnée en fonction du temps est aussi alors décrit comme n'ayant pas de tangente en tout point. Le mouvement brownien est un processus stochastique à temps continu et à espace d'états continu.2 Dé nition du mouvement brownien standard Le mouvement brownien standard {B(t)}t≥0 est une suite de variables aléatoires continues dé nies pour tout temps continu t ≥ 0 qui possède les caractéristiques suivantes : (a) Initialement à 0 : Le processus est à l'état 0 au temps t = 0. 5. En 1905. c'est-à-dire que B(0) = 0. celui-ci est le premier.1 Dé nitions et exemples 5. et plus tard de dé nir le nombre d'Avogadro. Albert Einstein ore une description quantitative de ce mouvement. par exemple d'un grain de pollen dans l'eau. et con rme que les trajectoires de ce mouvement sont généralement continues. qui permet notamment d'estimer la dimension des molécules. les collisions moléculaires font en sorte que la trajectoire de la particule change constamment de direction.1 Introduction Le mouvement brownien décrit le déplacement dans une direction d'une particule en suspension dans un liquide. Ce mouvement a une apparence très saccadée (voir la gure 70). En eet.5 Introduction au mouvement brownien 5. c'est Norbert Wiener qui développe la théorie mathématique de ce mouvement en 1923. à publier la découverte qu'il avait faite par des observations au microscope. cela implique que E(B(t + h) | B(s). 0 ≤ s ≤ t) = B(t) + E(B(t + h) − B(t)) = B(t). t + h] pour t. Le processus est donc markovien. h > 0 est donné par B(t + h) − B(t) ∼ N (0. t + h] pour t. Le processus est donc une martingale à temps continu. En particulier. l'accroissement sur l'intervalle de temps (t. est indépendant de B(s) = B(s) − B(0). 2πt . (b) Accroissements indépendants : Les accroissements sur des périodes de temps disjointes sont indépendants. h). En particulier. 0 ≤ s ≤ t) = P r(B(t + h) − B(t) ≤ a − bt ) = P r(B(t + h) ≤ a | B(t) = bt ). (c) Accroissements de loi normale d'espérance nulle et de variance égale au temps écoulé : L'accroissement sur l'intervalle de temps (t.5 Introduction au mouvement brownien 203 Figure 69 Représentation du mouvement brownien. Cela implique que P r(B(t + h) ≤ a | B(s) = bs . soit B(t + h) − B(t). De plus. h > 0. pour 0 ≤ s ≤ t. la fonction de densité de la variable aléatoire B(t) = B(t) − B(0) est donnée par pt (x) = √ 1 − x2 e 2t . les changements d'état ont lieu aux instants de forme k/N pour k ≥ 1. et Sn = ξ1 + · · · + ξn avec ξk = +1 avec probabilité 1/2. qui est l'équation de diusion d'Einstein. on a que lim N →∞ √ n = t. Initialement. N n où n = N t représente la partie entière de N t. indépendamment pour k ≥ 1. on dé nit BN (0) = 0. Il est facile de véri er que cette fonction est la solution de l'équation aux dérivées partielles ∂ 1 ∂2 pt (x) = pt (x) = ∂t 2 ∂x2 √ x2 8πt5 −√ 1 x2 8πt3 e− 2t .1 Dé nitions et exemples 204 pour −∞ < x < +∞.1.5. −1 avec probabilité 1/2. indépendamment des autres changements (voir la gure 70). Puisque |t − n/N | < 1/N . 5. Par la suite.3 Construction du mouvement brownien standard i+1 √ N probabilité 1 2 i−1 √ N probabilité 1 2 √i N k−1 N k N BN (t) n N ≤ t < n+1 N Figure 70 Construction du mouvement brownien standard. on pose d'abord une constante entière N ≥ 1. N . A n de construire un mouvement brownien standard. On dé nit ainsi 1 BN (t) = √ (ξ1 + · · · + ξn ) = N n Sn √ . √ √ L'état est alors ou bien augmenté de 1/ N ou bien diminué de 1/ N avec probabilité 1/2 pour chaque cas. pour t > 0. où {B(t)}t≥0 est un mouvement brownien standard. presque toutes les trajectoires du mouvement brownien standard sont conti√ nues. car la hauteur des marches 1/ N est de plus en plus petite. 2π pour −∞ < x < +∞. On remarque que E(X(t)) = µt + E(B(t) = µt et V ar(X(t)) = σ 2 V ar(B(t)) = σ 2 t. et une telle marche étant récurrente. Remarque 1 : Dans la construction ci-dessus du mouvement brownien standard. Remarque 2 : Comme le suggère la construction en escalier ci-dessus. car le rapport de la hauteur des marches sur √ leur largeur donné par N est de plus en plus grand. t) lorsque N → ∞. le nombre de visites à 0 de ce mouvement de l'instant 0 à tout instant t > 0 est in ni avec probabilité 1 ! 5. t] pour t > 0 étant la limite d'une contraction d'une marche aléatoire symétrique sur les entiers sur un intervalle de temps de plus en plus grand.4 Mouvement brownien avec dérive et écart-type Un mouvement brownien plus général est obtenu en dé nissant X(t) = µt + σB(t). .1. le théorème limite central garantit que lim P r n→∞ S √n ≤ x n x = −∞ y2 e− 2 √ dy.5 Introduction au mouvement brownien 205 2 D'autre part. 2πt pour −∞ < x < +∞. il su t en fait que les variables aléatoires ξk pour k ≥ 1 soient indépendantes d'espérance 0 et de variance 1. pour t ≥ 0. Remarque 3 : Le mouvement brownien standard sur tout intervalle [0. Cela qui signi e que BN (t) tend en distribution vers une variable aléatoire de loi N(0. alors que µ et σ > 0 sont des constantes. mais elles sont nulle part diérentiables. comme E(ξk ) = 0 et V ar(ξk ) = E(ξk ) = 1. On en déduit que lim P r(BN (t) ≤ x) = N →∞ x −∞ y2 e− 2t √ dy. N P r(X(t) ≤ x) = lim P r N →∞ pour −∞ < x < +∞. pour k ≥ 1. Comme dans la section précédente.1 Dé nitions et exemples 206 Les paramètres µ et σ > 0 sont appelés respectivement la dérive et l'écarttype du processus. k=1 et n = N t . si µ < 0 et donc p < 1/2. Leur espérance est donnée par µ E(ξk ) = √ σ N et leur variance par V ar(ξk ) = 1 − µ2 . µ √ σ N µ √ σ N a √ N σ . on peut montrer que σ √ Sn ≤ x . sont des variables aléatoires indépendantes. b > 0 √ P r(X(t) atteigne a) = lim P r(Sn atteigne a N /σ) N →∞ 1+ = lim 1− N →∞ 2 = e2aµ/σ .5. σ2N 2 de telle sorte que E(ξk ) = 1. Ici ξk = +1 avec probabilité p = 1 2 1+ −1 avec probabilité 1 − p = 1 2 µ √ σ N 1− . Ainsi. Remarque : La plupart des propriétés du mouvement brownien peuvent être obtenues à partir de cette représentation et des résultats sur la marche aléatoire sur les entiers présentés dans le chapitre 4. où n Sn = ξk . alors on a pour a. µ √ σ N . la valeur de l'actif est exprimée en dollars du temps 0 pour éliminer l'eet du taux d'intérêt sans risque (généralement le taux d'intérêt accordé sur les bons du trésor).2. Pour N assez grand. = 2N k N Pour l'espérance. La variable e N ξk −1 représente la variation en pourcentage de la valeur de l'actif de l'instant (k − 1)/N à l'instant k/N . L'hypothèse de variations en pourcentage. on a alors E e σ √ ξk N σ σ2 1 2 − 1 ∼ √ E(ξk ) + E(ξk ) = = 2N N N µ+ σ2 2 .5 Introduction au mouvement brownien 207 E(temps pour X(t) d'atteindre − b) √ = lim N −1 E(temps pour Sn d'atteindre − b N /σ) N →∞ √ b N /(σN ) √ = lim N →∞ −µ/(σ N ) b =− .1 Description générale Dans le domaine nancier. pour k ≥ 1.2 *Mouvement brownien géométrique 5. qui mène à un modèle multiplicatif est plus réaliste pour un actif nancier que l'hypothèse de variations additives qui ne dépendent pas de la valeur. La variable Y (t) est approchée par la variable YN (t) = Y (0)e σ √ N n Sn = Y (0) e σ √ ξk N . où X(t) est un mouvement brownien avec dérive µ et écart-type σ . la valeur d'un actif au temps t ≥ 0 est représentée par une variable Y (t) = Y (0)eX(t) . µ 5. . Le processus Y (t) est alors un mouvement brownien géométrique et le paramètre σ est appelé la volatilité. De plus. un développement de Taylor autour de 0 donne l'approximation e σ √ ξk N σ σ2 2 − 1 ∼ √ ξk + ξ . k=1 où n = N t et ξk pour k ≥ 1 sont des variables aléatoires indépendantes σ √ telles que dé nies dans la section précédente. indépendantes et identiquement distribuées. Cela suggère que c'est la condition pour avoir la neutralité. En eet. Ici on suppose qu'il n'y a pas d'échéance. h > 0 est donnée par Y (t + h) = Y (0)eX(t+h) = Y (t)eX(t+h)−X(t) . C'est le cas. > Y (t) si µ + σ 2 /2 > 0. est décrite par un mouvement brownien géométrique Y (t) = Y (0)eX(t) avec dérive µ et volatilité σ satisfaisant σ 2 /2 + µ < 0. h). 5. en dollars du temps 0. On remarque que < Y (t) si µ + σ 2 /2 < 0. La tendance est donc à la baisse. On considère une option d'achat d'un actif à un prix Y (0)A xé qui est exercée lorsque la valeur de l'actif atteint un certain niveau Y (0)a > Y (0)A. E(Y (t + h)|Y (s). la suite {Y (t)}t≥0 est une martingale. Ces égalités utilisent le fait que B(t + h) − B(t) est indépendante de B(s) pour tout s ≤ t et de loi N(0. neutre ou à la hausse selon que µ + σ 2 /2 est plus petite. On suppose que la valeur de l'actif. Ce niveau est à déterminer pour que le gain espéré soit maximum. On fait souvent cette hypothèse en supposant un ajustement du marché comme résultat du jeu de l'ore et de la demande.2 *Mouvement brownien géométrique La variation moyenne approximative en pourcentage est nulle lorsque µ + σ 2 /2 = 0. égale ou plus grande que 0.208 5. c'està-dire pour que le processus soit une martingale. 0 ≤ s ≤ t) = Y (t)eµh E eσ(B(t+h)−B(t)) = Y (t)eh(µ+σ 2 /2) . Dans le cas où µ + σ 2 /2 = 0. 0 ≤ s ≤ t) = Y (t) si µ + σ 2 /2 = 0. par exemple.2 Exemple : Seuil d'exercice d'une option d'achat Une option américaine peut être exercée en tout temps avant l'échéance. est donnée par E(Y (t + h)|Y (s). lorsque µ = −1 et σ = 1. de telle sorte que la tendance est à la baisse. Son espérance conditionnelle sachant la valeur de l'actif Y (s) à tout temps s ≤ t. . 0 ≤ s ≤ t) = Y (t)E(eµh+σ(B(t+h)−B(t)) |B(s).2. la valeur de l'actif au temps t + h pour t. 3 Formule de Black-Scholes Une option européenne peut être exercée seulement à la date d'échéance xe. est décrite par un mouvement brownien géométrique Y (t) avec dérive µ et volatilité σ satisfaisant σ 2 /2 + µ = 0. 5. un dollars au temps 0 vaut ert dollars au temps t ≥ 0.5 Introduction au mouvement brownien 209 On calcule d'abord P r(Y (t) atteigne Y (0)a) = P r(X(t) atteigne log(a)) = e2µlog(a)/σ 2 2 = a2µ/σ . Ici. da La dérivée est nulle si et seulement si a= 2Aµ/σ 2 .4. en dollars du temps 0. de telle sorte que la tendance est neutre.1. on a utilisé la remarque de la section 5. par exemple. 1 + 2µ/σ 2 Cela donne le point critique. Avec un taux d'intérêt sans risque r > 0. On a cependant supposé que le taux d'intérêt sans risque est nul. La dérivée première par rapport à a est donnée par d 2 G(a) = Y (0)a2µ/σ −1 a + (2µ/σ 2 )(a − A) . Ainsi. en fait le point de maximum. en dollars du temps 0. Dans le cas σ = 1 et µ = −1. soit √ C(t) = E (Y (t) − Y (0)A)+ = Y (0) Φ σ t − αt − AΦ(−αt ) . Ici. Ce prix juste correspond au gain espéré donné par la formule de BlackScholes. on suppose que la valeur de l'actif. le gain espéré en fonction de a est de la forme 2 G(a) = Y (0)(a − A)a2µ/σ + 0 · 1 − a2µ/σ 2 . . car la dérivée seconde est négative sous la condition σ 2 /2 + µ < 0. L'option doit alors être exercée lorsque la valeur de l'actif en dollars courants atteint Y (0)aert .2. le point de maximum est a = 2A. On s'intéresse donc au prix juste à payer au temps 0 pour une option d'achat d'un actif exercée à un temps t ≥ 0 xé à un prix Y (0)A xé. 5. où Y (0)B est le prix en dollars du temps t ≥ 0 xé par l'option. on prend A = Be−rt . car µt + σ 2 t/2 = 0 et la fonction Φ(z) est symétrique par rapport à z = 0. . 2 σ t Ici. 2π log(A) ∞ = αt où √ log(A) − µt log(A) σ t √ √ + αt = = . σ 2 t) où µ = −σ 2 /2. Démonstration : La démonstration utilise simplement le fait que Y (t) = Y (0)eX(t) . 2 σ t σ t Finalement. On a alors ∞ E (eX(t) − A)+ = (ex − A) √ 1 e− (x−µt)2 2σ 2 t dx 2πσ 2 t √ z2 1 eµt+zσ t − A √ e− 2 dz. 0 sinon. on obtient que E (eX(t) − A)+ = eµt+σ 2 t/2 ∞ √ αt −σ t z2 1 √ e− 2 dz − A 2π ∞ αt z2 1 √ e− 2 dz. (Y (t) − Y (0)A)+ = Pour tenir compte d'un taux d'intérêt sans risque r > 0 par unité de temps. où X(t) est de loi N(µt.2 *Mouvement brownien géométrique 210 où z Φ(z) = −∞ et x2 1 √ e− 2 dx 2π √ log(A) σ t √ + αt = . on dé nit Y (t) − Y (0)A si positif. 2π Cela donne le résultat énoncé. 4 Exemple : Prix juste d'une option d'Apple Le 13 mars 2012 l'action d'Apple (AAPL) vaut 568 dollars à la cloture du Nasdaq. 2 1/4 + 600 Φ(−α1/4 ) . D'autre part le taux d'intérêt sans risque sur les bons du trésor américains pour une période de trois mois est pratiquement nul. 2. La formule de Black-Scholes donne alors C(1/4) = 568 Φ 0. 2 1/4 = 0. 65. 2 Finalement. 20 par an.2. 5.08 %. soit trois mois plus tard.68. déterminer le prix juste d'une option d'achat à 50 dollars dans 6 mois sur une action qui en vaut aujourd'hui 55 et dont la volatilité est estimée à 0. 58. on obtient que C(1/4) = 568 [Φ (−0. où B(t) pour t ≥ 0 désigne un mouvement brownien standard. Déterminer la covariance entre B(s) et B(t). 568 0.3 *Exercices 1. 65)] = 9. 55) − 1. La volatilité historique de l'action d'Apple est estimée à σ = 0. 2 1/4 − α1/4 − où α1/4 = log(600) − log(568) 0.4 alors que le taux d'intérêt sans risque est de 5 pour-cent par an. 06Φ(−0.5 Introduction au mouvement brownien 211 5. . à 0. C'est bien moins que les 20 dollars demandés. En utilisant la formule de Black-Scholes. Une option d'achat à 600 dollars à être exercée le 15 juin 2012. Cela implique notamment que la variation de sa valeur sur une année est d'au plus 20 % en plus ou en moins avec probabilité d'environ 0. est oerte au prix de 20 dollars. 1991. 1989. Paris. Second Edition. 608 pages. Probability with Martingales. Oxford University Press. Probability and Random Processes. Seventh Edition. 1975. Gene Genealogies. A. J. San Diego. S. 450 pages. Variation and Evolution : A Primer in Coalescent Theory. Dunod. Stochastic Processes. Third Edition. An Introduction to Stochastic Modeling. Oxford. J. 1996. 290 pages. S. [3] Freedman. Second Edition. Stirzaker. Second Edition. World Scienti c. San Diego. M. 1999.212 Bibliographie Références [1] Durrett. 1998. 2000. C. 236 pages. Oxford.. D.. Academic Press. A First Look at Rigorous Probability Theory. Cambridge. 382 pages. Karlin. 2001. Markov Chains. 542 pages. San Diego. [14] Taylor. 1981. [9] Ross.. H. 289 pages. 251 pages. Essentials of Stochastic Processes. H. [4] Grimmett. Singapore. [7] Rosenthal. Third Edition. 219 pages. San Diego.aspx. Schierup. M. Cambridge University Press. 2004. M. Stochastic Models in Queuing Theory. Archives. San Diego. Academic Press. G.. J. 693 pages. Processus stochastiques. Wiuf. S.org/education/exam-req/syllabus-studymaterials/edu-multiple-choice-exam. R. A First Course in Stochastic Processes. 2003. S. A. D. John Wiley and Sons. D. 1983. Past Exam Questions and Solutions. Processus stochastiques. 2006. 164 pages. [13] Taylor. Academic Press. . New York. D. Introduction to Probability Models. S. Fuchs. [10] Ruegg. Second Edition. [11] Society of Actuaries. New York. [12] Taylor. Karlin. New York. M. [6] Mehdi. Springer-Verlag. [5] Hein. H. Lausanne. S.soa. http ://www. 2005. Academic Press.. Karlin. [15] Williams. Academic Press. [2] Foata. 510 pages. [8] Ross. A... 631 pages. Oxford University Press. 557 pages. Springer-Verlag. A Second Course in Stochastic Processes. Presses Polytechniques et Universitaires Romandes. H.