Thèse Année : 2024

Improving Decision Tree Learning

Améliorer l'apprentissage des arbres décisionnels

Peng Yu
  • Fonction : Auteur
  • PersonId : 1489466
  • IdRef : 282548041

Résumé

Decision tree models are widely recognized for their efficiency and interpretability, particularly when working with structured data. This thesis addresses two main challenges: improving the interpretability of deep tree-based models and handling categorical variables. We introduce the Linear TreeShap algorithm, which illuminates the model’s decision processby assigning importance scores to each node and feature. In parallel, we propose a methodological framework enabling decision trees to split directly on categorical variables, enhancing both accuracy and robustness. Our approach includes the stochastic BSplitZ method, designed to efficiently handle large sets of categories, and provides a thorough investigation ofthe Mean Absolute Error (MAE) criterion. In particular, we prove that no optimal numerical encoding exists under MAE and solve a related optimization problem (the unimodal cost 2-median) central to tree splitting.Our contributions advance the theoretical foundations and real-world applicability of decision tree models,paving the way for more robust and interpretable solutions in machine learning.
La modélisation par arbres de décision est reconnue pour son efficacité et sa lisibilité, notamment pour les données structurées. Cette thèse s’attaque à deux défis majeurs : l’interprétabilité des arbres profonds et la gestion des variables catégorielles.Nous présentons l’algorithme Linear Tree- Shap, qui facilite l’explication du processus décisionnel en attribuant des scores d’importance à chaque noeud et variable. Parallèlement, nous proposons un cadre méthodologique pour traiter directement les variables catégorielles, améliorant à la fois la précision et la robustesse du modèle. Notre approche inclut la méthode stochastique BSplitZ, conçue pour simplifier la répartition d’un grand nombre de catégories, et explore l’emploi du critère Mean Absolute Error (MAE).Nous démontrons notamment l’inexistence d’un encodage optimal pour le MAE et résolvons un problème d’optimisation (le coût unimodal 2-median) essentiel aux opérations de scission. Ces travaux contribuent à la conception de modèles d’arbres de décision plus robustes et plus explicables, ouvrant de nouvelles perspectives pour l’apprentissage automatique.
Fichier principal
Vignette du fichier
119686_YU_2024_archivage.pdf (2.28 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04885475 , version 1 (14-01-2025)

Identifiants

  • HAL Id : tel-04885475 , version 1

Citer

Peng Yu. Improving Decision Tree Learning. Machine Learning [stat.ML]. Institut Polytechnique de Paris, 2024. English. ⟨NNT : 2024IPPAT037⟩. ⟨tel-04885475⟩
0 Consultations
0 Téléchargements

Partager

More