Communication Dans Un Congrès Année : 2025

Unification et extension des mesures de précision et de rappel pour l'évaluation des modèles génératifs

Unification et extension des mesures de précision et de rappel pour l'évaluation des modèles génératifs

Résumé

With the recent success of multimodal generative models (text, image, sound, etc.), the question of their evaluation has become paramount. While most generative models are compared through scalar values, SAJJADI, BACHEM, LUCIC et al. proposed to evaluate the closeness between two distributions through a precision-recall curve. Since then, various scalar metrics aimed at assessing the trade-off between fidelity and diversity of the data generated have been proposed. Although simpler to implement and interpret, they are inherently limited in both theory and practice. In this article, we unite most of these metrics under a single framework and present a method for recovering whole curves, without increasing their computational complexity. We expose the shortcomings of previous estimators and demonstrate the convergence of those proposed. Finally, we illustrate experimentally the practical interest of the curves obtained on synthetic examples.

Avec le succès récent des modèles génératifs multimodaux (texte, image, son ...), la question de leur évaluation est devenue primordiale. Alors que la plupart des modèles génératifs sont comparés au travers de valeurs scalaires, SAJJADI, BACHEM, LUCIC et al. ont proposé d’évaluer la proximité entre deux distributions grâce à une courbe de précision-rappel. Depuis, diverses métriques scalaires visant à évaluer le compromis entre fidélité et diversité des données générées ont été proposées. Bien que plus simples à mettre en œuvre et à interpréter, elles sont limitées par essence, à la fois en théorie et en pratique. Dans cet article, nous unissons la plupart de ces métriques sous un même cadre et présentons une méthode pour récupérer des courbes entières, sans pour autant en accroître la complexité calculatoire. Nous exposons les failles des estimateurs précédents et démontrons la convergence de ceux proposés. Enfin, nous illustrons expérimentalement l’intérêt pratique des courbes obtenues sur des exemples synthétiques

Fichier principal
Vignette du fichier
Precision_Rappel_ORASIS_CRIANN.pdf (1.49 Mo) Télécharger le fichier
article-ORASIS-latex.zip (759.88 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05131290 , version 1 (07-07-2025)

Licence

Identifiants

  • HAL Id : hal-05131290 , version 1

Citer

Benjamin Sykes, Loic Simon, Julien Rabin. Unification et extension des mesures de précision et de rappel pour l'évaluation des modèles génératifs. ORASIS 2025, ISEN Yncréa Ouest, Jun 2025, Le Croisic, France. ⟨hal-05131290⟩
1513 Consultations
153 Téléchargements

Partager

  • More