Modèles Stochastiques et Amélioration des algorithmes d'apprentissages : Régularisation et estimation des paramètres dans les RNA

Abstract

Les modèles neuronaux ne cessent de prouver leur efficacité dans plusieurs domaines d'application. Néanmoins, ils souffrent du problème de choix du modèle qui a une grande influence sur la phase d'apprentissage de ces derniers. Le travail de recherche exposé dans cette thèse traite deux problèmes d'actualité : le choix du modèle et l'initialisation des paramètres pour les modèles neuronaux classiques et probabilistes, notamment, pour les cartes auto-organisatrices déterministes et probabilistes ainsi que pour les modèles de mélanges Gaussiens. Pour résoudre ce problème de choix du modèle, qui consiste à trouver le nombre de neurones de la carte auto-organisatrice déterministe et probabiliste ainsi que ses paramètres initiaux, nous proposons des modèles mathématiques non linéaires sous contraintes à variables mixtes. Nous proposons également une approche ascendante qui nous permet de lier la résolution du problème de la dégénérescence, dans les cartes auto-organisatrices probabilistes ainsi que dans les modèles de mélanges gaussiens, à la résolution du problème de choix des paramètres des modèles. Par ailleurs, l'optimalité des architectures des modèles proposés, nous a aidé à développer trois systèmes originaux pour le traitement automatique de la parole (reconnaissance et compression).