Bio-inspired Continuous Learning in Associative Memory Networks
Apprentissage continu bio-inspiré dans les réseaux à mémoire associative
Résumé
Continuous learning, the ability to acquire new memories and skills while preserving previously learned information, is a fundamental capability of the brain. However, replicating this capability in artificial neural networks remains problematic, as they typically suffer from catastrophic forgetting (CF), the abrupt and uncontrolled loss of previously stored information when learning new data.This thesis investigates continuous learning and catastrophic forgetting dynamics in associative memory networks (AMNs), computational models proposed as analogues of hippocampal circuits due to their recurrent architecture and attractor dynamics. Specifically, we study continuous learning in the challenging scenario of sequential storage of highly correlated memory patterns. These patterns rely on overlapping neural representations, where the same groups of neurons participate in encoding multiple memories. Such overlapping representation is considered a fundamental organizational principle of the brain, enabling generalization and the extraction of regularities across experiences. However, in AMNs, the sequential storage of overlapping memory representations typically induces interference between stored memories, ultimately resulting in catastrophic forgetting.We introduce a novel mechanism that mitigates catastrophic forgetting in AMNs by enabling autonomous rehearsal of stored patterns. By incorporating biologically inspired plastic self-inhibition into continuous Hopfield networks, we demonstrate that the network can spontaneously explore its attractor landscape, sequentially retrieving all previously stored memories without external intervention. Using a gradient descent algorithm, the rehearsal mechanism allows the network to construct synaptic configurations that simultaneously support both old and new memories. By limiting interference between stored memories, this mechanism prevents catastrophic forgetting during the sequential incorporation of new correlated patterns.Our approach satisfies key biological constraints: all learning rules are local, relying only on information available at individual synapses, and the system operates autonomously without requiring an external catalog of previously stored patterns. The resulting framework scales effectively with network size and successfully handles patterns with varying degrees of correlation.This work aims to contribute to both neuroscience and artificial intelligence by proposing a biologically plausible mechanism for continuous learning that could inform our understanding of memory consolidation in the brain and guide the development of more robust artificial learning systems, particularly for neuromorphic implementations where local computation is essential.
L'apprentissage continu, c'est-à-dire la capacité d'acquérir de nouveaux souvenirs ou compétences tout en préservant des informations cruciales déjà apprises, constitue une faculté fondamentale du cerveau. Pourtant, cette capacité demeure difficile à reproduire dans les réseaux de neurones artificiels, car ceux-ci souffrent d'oubli catastrophique, c'est-à-dire de la perte soudaine de connaissances antérieurement acquises lors de l'apprentissage de nouvelles données.Cette thèse porte sur les mécanismes de l'apprentissage continu et les causes de l'oubli catastrophique dans les réseaux à mémoire associative (RMA), des modèles proposés comme analogues aux circuits hippocampiques en raison de leur architecture récurrente et de leur dynamique d'attracteurs. Plus précisément, l'apprentissage continu est étudié dans le cadre de la mémorisation séquentielle de souvenirs fortement corrélés. Ces souvenirs reposent sur des représentations neuronales qui se recouvrent, c'est-à-dire que les mêmes groupes de neurones participent à l'encodage de multiples souvenirs. Ce recouvrement est considéré comme un principe organisationnel clé du cerveau : il permet la généralisation et la mise en évidence de régularités entre expériences. Toutefois, dans les RMA, la mémorisation séquentielle de représentations neuronales qui se recouvrent induit généralement des phénomènes d'interférence entre souvenirs, pouvant conduire à l'oubli catastrophique.Nous introduisons un mécanisme qui atténue l'oubli catastrophique dans les RMA en permettant la réactivation autonome des souvenirs. En intégrant un mécanisme de plasticité auto-inhibitrice dans des réseaux de Hopfield continus, nous montrons que le réseau peut explorer spontanément son paysage d'attracteurs, revisitant séquentiellement l'ensemble des souvenirs précédemment appris, sans intervention externe. Lorsqu'il est couplé à un algorithme de descente de gradient, ce mécanisme de réactivation permet la construction de configurations synaptiques capables de soutenir simultanément anciens et nouveaux souvenirs. En limitant les phénomènes d'interférence entre souvenirs, ce mécanisme prévient l'oubli catastrophique lors de l'incorporation séquentielle de données corrélées.Notre approche respecte des contraintes biologiques essentielles : toutes les règles d'apprentissage sont locales, ne s'appuyant que sur l'information disponible à chaque synapse, et le système fonctionne de manière autonome, sans nécessiter l'accès externe à un catalogue de souvenirs déjà mémorisés.Ces contributions visent à enrichir à la fois le domaine des neurosciences et celui de l'intelligence artificielle. Le mécanisme proposé a pour objectif d'améliorer notre compréhension des dynamiques de consolidation mnésique présentes dans le cerveau, tout en guidant le développement de systèmes d'apprentissage artificiel plus robustes, notamment dans le contexte des implémentations neuromorphiques où la localité des dynamiques est essentielle.
| Origine | Version validée par le jury (STAR) |
|---|---|
| licence |



