Non-linear models for dependency parsing - CNRS - Centre national de la recherche scientifique Accéder directement au contenu
Thèse Année : 2022

Non-linear models for dependency parsing

Modèles non linéaires pour l'analyse des dépendances

Xudong Zhang
  • Fonction : Auteur
  • PersonId : 1215194
  • IdRef : 266976387

Résumé

In this thesis, we study the non-linear models for graph-based dependency parsing in the thesis. The work is composed of three parts.In the first part, we study a mixture-of-experts (MoE) model. The model approximates theoretically any non-linear model with a mixture of simple experts: linear or second-order model. We achieve new state-of-the-art with the averaging MoE and we develop a stabilized training method based on EM algorithm to train the MoE.In the second part, we study a generalized polynomial model. Score functions of graph-based models can be viewed as polynomial functions. Previous works add restrictions over the function form to guarantee the existence of efficient inference algorithms. We develop efficient training and inference methods based on coordinate ascent. Our methods can be used over the score function without restrictions, which we called polynomial model. We achieve state-of-the-art with our proposed model and methods.In the third part, we consider a general non-linear model, which can be non-polynomial. We study theoretically using the Frank-Wolfe algorithm for learning and inference with non-linear dependency parsing models. We also propose the probabilistic inference network, which can be used to approximate the distribution of non-linear models
Dans cette thèse, nous étudions les modèles non linéaires basés sur les graphes pour l'analyse syntaxique en dépendance des phrases. Dans une première partie, nous étudions un modèle combinant plusieurs experts (modèle MoE). Ce modèle permet d'approximer en théorie tout modèle non linéaire avec un mélange d'experts simples (modèle linéaire ou de second ordre). Nous atteignons les performances de l'état de l'art avec des MoE moyennés et nous développons une méthode d'entraînement stabilisée basée sur l'algorithme EM pour entraîner le MoE.Dans la deuxième partie, nous étudions un modèle polynomial généralisé. Les fonctions de score des modèles basés sur des graphes peuvent être considérées comme des fonctions polynomiales. Les travaux précédents restreignent la forme de la fonction pour garantir l'existence d'algorithmes d'inférence efficaces. Nous développons des méthodes d'apprentissage et d'inférence efficaces basées sur un algorithme d'optimisation (Coordinate Ascent). Nos méthodes peuvent ainsi être utilisées avec une fonction de score sans restrictions que nous appelons modèle polynomial généralisé. Notre modèle permet d'atteindre l'état de l'art sur la tâche d'analyse syntaxique. Dans la troisième partie, nous considérons un modèle non linéaire général, qui peut être non polynomial. Nous étudions d'un point de vue théorique  l'utilisation de l'algorithme de Frank-Wolfe pour l'apprentissage et l'inférence avec des modèles non linéaires pour l'analyse syntaxique. Nous proposons également le réseau d'inférence probabiliste, qui peut être utilisé pour approximer la distribution de modèles non linéaires. Concernant la partie multitâche, on propose d'utiliser le SPEN (Structured Prediction Energy Networks). Le SPEN se base sur l'idée de miniser l'énergie de neurone et il peut faire les pronostics des labels en minimisant l'énergie de neurone avec backpropagation. L'avantage de SPEN est qu'il ne assume pas à priori une structure de modèle graphique et il peut apprendre l'interaction entre les labels qu'on veut prédire. Nous espérons que le SPEN peut hausser la performance sur le problème multitâche en apprenant la relation entre les labels. Finalement, le projet doctoral est bien sûr un projet exploratoire. Nous voulons explorer la possibilité d'utiliser des méthodes comme le modèles d'attention structurée ou le GAN (Generative adversarial network) sur l'analyse sémantique.
Fichier principal
Vignette du fichier
edgalilee_th_2022_zhang.pdf (1.06 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03937947 , version 1 (13-01-2023)

Identifiants

  • HAL Id : tel-03937947 , version 1

Citer

Xudong Zhang. Non-linear models for dependency parsing. Machine Learning [cs.LG]. Université Paris-Nord - Paris XIII, 2022. English. ⟨NNT : 2022PA131018⟩. ⟨tel-03937947⟩
47 Consultations
84 Téléchargements

Partager

Gmail Facebook X LinkedIn More