Neural Models for Learning Real World Dynamics and the Neural Dynamics of Learning - Institut des Systèmes Intelligents et de Robotique Accéder directement au contenu
Thèse Année : 2022

Neural Models for Learning Real World Dynamics and the Neural Dynamics of Learning

Réseaux de neurones profonds pour la modélisation de phénomènes physiques complexes : incorporation de connaissances a priori

Ibrahim Ayed

Résumé

The work presented in this thesis was initially motivated by the discrepancy between the impressive performances of modern neural networks and the lack of applications to scientific problems for which data abounds. Focusing on evolution problems which are classically modelled through ordinary or partial differential equations~(O/PDEs) naturally brought us to consider the more general problem of representing and learning such equations from raw data with neural networks. This was the inception of the first part of our work. The point of view considered in this first part has a natural counterpart: what about the dynamics induced by the trajectories of the NN's weights during training or by the trajectories of data points within them during inference? Can they be usefully modelled? This question was the core of the second part of our work and, while theoretical tools other than O/PDEs happened to be useful in our analysis, our reasoning and intuition were fundamentally driven by considerations stemming from a dynamical viewpoint.
Cette thèse se situe à l'intersection de deux domaines : d'une part celui des systèmes dynamiques, et notamment ceux qui peuvent être représentés par des équations différentielles d'évolution, et, d'autre part, celui des l'apprentissage profond. Son objectif est alors double : Il s'agit d'abord de chercher à modéliser, grâce aux techniques modernes de l'apprentissage profond, des phénomènes physiques complexes, dans divers cadres d'intérêt pour les praticiens. Ensuite, nous avons également tenté d'employer des outils issus des théories mathématiques permettant l'étude des équations différentielles afin de mieux comprendre certains aspects des dynamiques induites par l'apprentissage de réseaux de neurones profonds et leur fonctionnement.
Fichier principal
Vignette du fichier
AYED_Ibrahim_these_2022.pdf (30.37 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04028111 , version 1 (14-03-2023)

Identifiants

  • HAL Id : tel-04028111 , version 1

Citer

Ibrahim Ayed. Neural Models for Learning Real World Dynamics and the Neural Dynamics of Learning. Neural and Evolutionary Computing [cs.NE]. Sorbonne Université, 2022. English. ⟨NNT : 2022SORUS434⟩. ⟨tel-04028111⟩
62 Consultations
7 Téléchargements

Partager

Gmail Facebook X LinkedIn More