Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct - CNRS - Centre national de la recherche scientifique Accéder directement au contenu
Article Dans Une Revue Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle Année : 2013

Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct

Résumé

La résolution de problèmes à états et actions continus par l'optimisation de politiques paramétriques est un sujet d'intérêt récent en apprentissage par renforcement. L'algorithme PI2 est un exemple de cette approche, qui bénéficie de fondements mathématiques solides tirés de la commande stochastique optimale et des outils de la théorie de l'estimation statistique. Dans cet article, nous considérons PI2 en tant que membre de la famille plus vaste des méthodes qui partagent le concept de moyenne pondérée par les probabilités pour mettre à jour itérativement des paramètres afin d'optimiser une fonction de coût. Nous comparons PI2 à d'autres membres de la même famille - la " méthode d'entropie croisée " et CMA-ES 1 - au niveau conceptuel et en termes de performance. La comparaison débouche sur la dérivation d'un nouvel algorithme que nous appelons PI2-CMA pour " Path Integral Policy Improvement with Covariance Matrix Adaptation ". Le principal avantage de PI2-CMA est qu'il détermine l'amplitude du bruit d'exploration automatiquement.

Dates et versions

hal-00922127 , version 1 (23-12-2013)

Identifiants

Citer

Olivier Sigaud, Freek Stulp. Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct. Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, 2013, 27 (2), pp.243-263. ⟨10.3166/ria.27.243-263⟩. ⟨hal-00922127⟩
129 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More