Understanding Post-hoc Explainers: The Case of Anchors - Laboratoire d'Informatique, Signaux et Systèmes de Sophia-Antipolis Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2023

Understanding Post-hoc Explainers: The Case of Anchors

Résumé

In many scenarios, the interpretability of machine learning models is a highly required but difficult task. To explain the individual predictions of such models, local model-agnostic approaches have been proposed. However, the process generating the explanations can be, for a user, as mysterious as the prediction to be explained. Furthermore, interpretability methods frequently lack theoretical guarantees, and their behavior on simple models is frequently unknown. While it is difficult, if not impossible, to ensure that an explainer behaves as expected on a cutting-edge model, we can at least ensure that everything works on simple, already interpretable models. In this paper, we present a theoretical analysis of Anchors (Ribeiro et al., 2018): a popular rule-based interpretability method that highlights a small set of words to explain a text classifier's decision. After formalizing its algorithm and providing useful insights, we demonstrate mathematically that Anchors produces meaningful results when used with linear text classifiers on top of a TF-IDF vectorization. We believe that our analysis framework can aid in the development of new explainability methods based on solid theoretical foundations.
Dans de nombreux scénarios, l'interprétabilité de modèles d'apprentissage automatique est une tâche hautement nécessaire mais difficile. Pour expliquer les prédictions individuelles de ces modèles, des approches locales et modèles-agnostiques ont été proposées. Cependant, le processus de génération des explications peut être, pour un utilisateur, aussi mystérieux que la prédiction à expliquer. De plus, les méthodes d'interprétabilité manquent souvent de garanties théoriques et leur comportement sur des modèles simples est souvent inconnu. S'il est difficile, voire impossible, de garantir qu'un explicateur se comporte comme prévu sur un modèle de pointe, nous pouvons au moins nous assurer que tout fonctionne sur des modèles simples et déjà interprétables. Dans cet article, nous présentons un'analyse théorique de Anchors (Ribeiro et al., 2018) : une méthode populaire d'interprétabilité basée sur des règles qui met en évidence un petit ensemble de mots pour expliquer la décision d'un classificateur de texte. Après avoir formalisé son algorithme et fourni des informations utiles, nous démontrons mathématiquement que Anchors produisent des résultats significatifs lorsqu'elles sont utilisées avec des classificateurs de texte linéaires en plus d'une vectorisation TF-IDF. Nous pensons que notre cadre d'analyse peut contribuer au développement de nouvelles méthodes d'explicabilité basées sur des fondements théoriques solides.
Fichier principal
Vignette du fichier
2303.08806.pdf (256.15 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04038665 , version 1 (21-03-2023)

Identifiants

Citer

Gianluigi Lopardo, Frédéric Precioso, Damien Garreau. Understanding Post-hoc Explainers: The Case of Anchors. 2023. ⟨hal-04038665⟩
20 Consultations
100 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More