Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

CHAÎNES DE MARKOV Chaînes de Markov Les chaînes de Markov sont des outils stati

CHAÎNES DE MARKOV Chaînes de Markov Les chaînes de Markov sont des outils statistiques et probabilistes simples et puissants mais dont la forme de présentation mathématique prête parfois à l'horreur. Nous allons tenter ici de simplifier un maximum les notations pour introduire cet outil formidable très utilisé au sein des entreprises pour gérer la logistique, les files d'attentes aux centrales d'appel ou aux caisses de magasins jusqu'à la théorie de la défaillance pour la maintenance préventive, en physique statistique ou en génie biologique (et la liste est encore longue et pour plus de détails le lecteur pourra se reporter aux chapitres concernés disponibles sur le site...). Définition: Nous noterons un processus probabiliste fonction du temps (c'est donc un processus stochastique) dont la valeur à chaque instant dépend de l'issue d'une expérience aléatoire. Ainsi, à chaque instant t, X(t) est donc une variable aléatoire. Si nous considérons un temps discret, nous notons alors un processus stochastique à temps discret. Si nous supposons que les variables aléatoires ne peuvent prendre qu'un ensemble discret de valeurs. Nous parlons alors de "processus à temps discret et à espace discret". Remarque: Il est tout à fait possible comme dans l'étude du télétrafic d'avoir un processus à temps continu et à espace d'état discret. Définition : est une "chaîne de Markov" si et seulement si: (6.65) en d'autres termes (c'est très simple!) la probabilité pour que la chaîne soit dans un certain état à la n-ème étape du processus ne dépend que de l'état du processus à l'étape n - 1 et pas des étapes précédentes! Remarque: En probabilité un processus stochastique vérifie la propriété markovienne si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donné l'instant présent, ne dépend que de ce même état présent et pas des états passés. Un processus qui possède cette propriété est donc appelé "processus de Markov". Définition: Une "chaîne de Markov homogène" est une chaîne telle que la probabilité qu'elle a pour passer dans un certain état à la n-ème soit indépendante du temps. En d'autres termes, la loi de probabilité caractérisant la prochaine étape ne dépend pas du temps (de l'étape précédente), et en tout temps la loi de probabilité à tout moment de la chaîne est toujours la même pour caractériser la transition à l'étape en cours. Nous pouvons alors définir la (loi) de "probabilité de transition" d'un état i vers un état j par : (6.66) Il est alors naturel de définir la "matrice de transition" ou "matrice stochastique": (6.67) Les chaînes de Markov peuvent être représentées graphiquement sous la forme d'un graphe orienté G (cf. chapitre de Théorie Des Graphes) ayant pour sommet les point i et pour arêtes les couples orientés (i, j). Nous associons alors à chaque composante un arc orienté et sa de probabilité de transition. Exemple: (6.68) Ainsi, les seules transitions permises par les 4 états (matrice 4x4) sont celles indiquées par les flèches. Ce qui fait que la matrice de transition s'écrit alors : (6.69) où le lecteur remarquera que nous avons la propriété triviale (par construction!) que la somme des termes d'une colonne de la matrice transposée de P est toujours unitaire: (6.70) et que la matrice est positive (ce qui signifie que tous ces termes sont positifs ou nuls). Remarque: Se rappeler que la somme des probabilités des colonnes T obtenues est toujours égale à 1 pour la transposée de la matrice stochastique!! L'analyse du régime transitoire (ou promenade aléatoire) d'une chaîne de Markov consiste à déterminer (ou à imposer!) la matrice-colonne (vecteur) p(n) d'être dans un état j à l'étape n (ou en la n-ème étape autrement dit...) : (6.71) avec la somme des composantes qui vaut évidemment toujours 1 (car la somme des probabilités de se trouver dans un quelconque des sommets du graphe à un moment/étape donné(e) doit être égale à 100%). Démonstration: Si p(n) est un vecteur stochastique, alors son image: (6.72) l'est aussi. Effectivement, car: (6.73) est une somme de termes positifs ou nul. De plus, nous trouvons: (6.74 ) C.Q.F.D. Nous appelons fréquemment cette matrice colonne "vecteur stochastique" ou "mesure de probabilité sur le sommet i". Ce vecteur de probabilités, dont les composantes sont positives ou nulles, dépend (c'est assez intuitif) de la matrice de transition P et du vecteur de probabilités initiales p(0). Bien que cela soit démontrable (théorème de Perron-Frobenius) le lecteur pourra vérifier par un cas pratique (informatisé ou non!) que si nous choisissons un vecteur d'état p(n) quelconque alors il existe pour toute matrice stochastique P un vecteur unique de probabilité noté traditionnellement tel que: (6.75) Une telle mesure de probabilité vérifiant la relation précédente est appelée une "mesure invariante" ou "mesure stationnaire" ou encore "mesure d'équilibre" qui représente l'état d'équilibre du système. En termes d'algèbre linéaire, pour la valeur propre 1, est un vecteur propre de P (cf. chapitre d'Algèbre Linéaire). Nous en verrons un exemple trivial dans le chapitre de Théorie des Graphes qui sera redéveloppé sous forme détaillée et complète ainsi que dans le chapitre de Théorie Des Jeux Et De La Décision dans le cadre de la pharmaco-économie. Mais signalons également que les chaînes de Markov sont également utilisées en météorologie par exemple: (6.76) ou dans le domaine médical, financier, des transports du marketing, etc. uploads/Industriel/ chaines-de-markov.pdf