Markov processes for particle swarm optimization control and stochastic modeling : application to air transport problems

Abstract

Ces dernières années, les modèles de Markov ont couvert plusieurs applications importantes dans la vie réelle en tant que modèles probabilistes basés sur l'apprentissage automatique. En théorie, le modèle stochastique de Markov se réfère simplement à représenter des systèmes qui changent de façon aléatoire où l'état suivant dépend uniquement de l'état actuel. En pratique, la propriété de Markov est de plus en plus utilisée dans l'analyse de la dynamique des processus stochastiques et de nombreuses variantes ont été proposées. Dans cette thèse, les modèles de Markov seront utilisés dans trois types d’application différents pour représenter la diversité et le bénéfice précieux de l’application de cet apprentissage automatique probabiliste. D’abord, le modèle de Markov caché (MMC) est utilisé pour constituer un modèle générique pour l'amélioration de la performance de l’algorithme d'optimisation par essaim de particules (OEP). En effet, l'analyse du OEP en tant qu'algorithme méta-heuristique basé sur une population stochastique et selon son comportement stochastique conduit à la construction d'une chaîne de Markov sur les réalisations du OEP. Ainsi, nous considérons différentes sélections optimales de paramètres selon le changement d’états de Markov du OEP, et ce en fonction de la classification donnée par le modèle MMC. Nous proposons ensuite une nouvelle méthode permettant d’optimiser automatiquement les performances de l’algorithme OEP. L'algorithme OEP est amélioré par la configuration hors ligne et en ligne de ses paramètres à l'aide de MMC. Tout d'abord, une méthode est conçue spécifiquement pour des classes particulières d'instances de problèmes, ce qui produit de meilleures performances dans des applications dans le monde réel. Aussi, il sera conçu pour les mécanismes de contrôle en ligne de l’algorithme OEP qui adaptent les paramétrages dans l'exécution. Le cas des configurations OEP homogènes et hétérogènes sont considérées. L'analyse empirique d'un ensemble de plusieurs fonctions de référence montre des performances remarquables par rapport à d'autres variantes de OEP dans la littérature. Deuxièmement, l'apprentissage par renforcement est analysé et discuté. L'utilisation du formalisme de processus décisionnel de Markov (PDM) est apparue dans des applications importantes de prise de décision dans divers domaines, il est utilisé pour aider à prendre des décisions dans un environnement stochastique. Cependant, les méthodes classiques de résolution des PDMs surdimensionnés souffrent du problème de dimensionnalité de Bellman et du manque d'informations dans le modèle. Par conséquent, une nouvelle méthode de résolution est proposée dans le contexte des algorithmes d'apprentissage par renforcement en se basant sur un libre-modèle. En fonction de l'algorithme OEP amélioré, nous établissons des règles de coopération entre les apprenants en renforcement indépendants afin d'accélérer la convergence vers des solutions optimales. La résolution du processus d'apprentissage prend en compte deux étapes : l'apprentissage indépendant par un algorithme Q-learning et la stratégie de partage des valeurs de Q par un algorithme OEP coopératif. Ce Q-learning coopératif basé sur OEP donne les meilleurs résultats ; cela est dû à l'aspect coopératif de OEP pour améliorer la recherche de la valeur Q. Enfin, le transport aérien est choisi comme domaine d'application dans cette thèse en tant qu'environnement opérationnel dynamique et complexe. Le modèle de processus de décision de Markov est également appliqué dans ce contexte. Ce modèle stochastique est étudié dans différentes compagnies aériennes qui rencontrent des problèmes de gestion et d’affectation des ressources des aéroports et des compagnies aériennes de manière efficace et efficiente. Notre approche proposée traite les éventuelles perturbations dans le transport aérien. La solution fournie des décisions qui pourraient être prises au moment de l'horizon de planification des opérations de vol. Ce type de modèle prend en compte les perturbations stochastiques et permet de gérer les risques potentiels en tenant compte les éventuelles incertitudes.