Improving Decision Tree Learning
Améliorer l'apprentissage des arbres décisionnels
Résumé
Decision tree models are widely recognized for their efficiency and interpretability, particularly when working with structured data. This thesis addresses two main challenges: improving the interpretability of deep tree-based models and handling categorical variables. We introduce the Linear TreeShap algorithm, which illuminates the model’s decision processby assigning importance scores to each node and feature. In parallel, we propose a methodological framework enabling decision trees to split directly on categorical variables, enhancing both accuracy and robustness. Our approach includes the stochastic BSplitZ method, designed to efficiently handle large sets of categories, and provides a thorough investigation ofthe Mean Absolute Error (MAE) criterion. In particular, we prove that no optimal numerical encoding exists under MAE and solve a related optimization problem (the unimodal cost 2-median) central to tree splitting.Our contributions advance the theoretical foundations and real-world applicability of decision tree models,paving the way for more robust and interpretable solutions in machine learning.
La modélisation par arbres de décision est reconnue pour son efficacité et sa lisibilité, notamment pour les données structurées. Cette thèse s’attaque à deux défis majeurs : l’interprétabilité des arbres profonds et la gestion des variables catégorielles.Nous présentons l’algorithme Linear Tree- Shap, qui facilite l’explication du processus décisionnel en attribuant des scores d’importance à chaque noeud et variable. Parallèlement, nous proposons un cadre méthodologique pour traiter directement les variables catégorielles, améliorant à la fois la précision et la robustesse du modèle. Notre approche inclut la méthode stochastique BSplitZ, conçue pour simplifier la répartition d’un grand nombre de catégories, et explore l’emploi du critère Mean Absolute Error (MAE).Nous démontrons notamment l’inexistence d’un encodage optimal pour le MAE et résolvons un problème d’optimisation (le coût unimodal 2-median) essentiel aux opérations de scission. Ces travaux contribuent à la conception de modèles d’arbres de décision plus robustes et plus explicables, ouvrant de nouvelles perspectives pour l’apprentissage automatique.
Origine | Version validée par le jury (STAR) |
---|