A non asymptotic analysis of the first component PLS regression
Analyse non asymptotique de la régression PLS à une composante
Résumé
Partial Least Squares (PLS) regression is a dimension reduction technique used to handle high dimensionality. This method projects the data onto a carefully chosen subspace, considering successive correlations with the explanatory variable in order to improve the prediction quality. We focus our attention on the single component case, that provides a useful framework to understand the underlying mechanism. Despite its apparent simplicity, this scenario presents numerous statistical challenges. Specifically, the non-linearity of the corresponding estimator demands careful attention. We provide a non-asymptotic upper bound on the quadratic loss in prediction with high probability in a high dimensional regression context. The bound is attained thanks to a preliminary test on the first PLS component. In a second time, we extend these results to the sparse partial least squares approach. In particular, we exhibit upper bounds similar to those obtained with the lasso algorithm, up to an additional restricted eigenvalue constraint on the design matrix.
La régression PLS (Partial Least Squares) est une méthode statistique permettant de travailler dans un cadre de grande dimension. Cette méthode projette les covariables sur un sous-espace bien choisi, considérant les corrélations successives avec la variable à expliquer dans le but d'améliorer la qualité de prédiction. Nous nous focaliserons sur le cas de la projection sur une composante, qui fournit un cadre utile pour comprendre le mécanisme sous-jacent. Malgré sa simplicité apparente, ce cadre présente de nombreux défis statistiques. En particulier, la non-linéarité de l'estimateur correspondant exige une attention particulière. Nous fournissons une borne non asymptotique sur la perte quadratique en prédiction avec grande probabilité. Nous montrons que la qualité de l'estimation PLS dépend de l'inverse de l'inertie relative de la composante par rapport à la variance des covariables. Nous étendons ces résultats à l'approche Sparse PLS. En particulier, nous présentons des bornes supérieures similaires à celles obtenues avec l'algorithme LASSO, avec une contrainte supplémentaire sur les valeurs propres restreintes de la matrice de design.
Domaines
Statistiques [stat]Origine | Fichiers produits par l'(les) auteur(s) |
---|