Quelques aspects mathématiques de l'analyse des Transformers
| Quand ? |
Le 16/04/2024, de 13:00 à 14:00 |
|---|---|
| Participants |
Cyril Letrouit |
| Ajouter un événement au calendrier |
vCal
iCal
|
Cyril Letrouit
Title: Quelques aspects mathématiques de l'analyse des Transformers
Abstract: Je présenterai un travail conjoint avec Borjan Geshkovski, Yury Polyanskiy et Philippe Rigollet dans lequel nous avons utilisé des outils d'équations différentielles et d'EDP pour étudier un système de particules en interaction provenant de réseaux de neurones très performants appelés Transformers. Je démontrerai la formation de clusters de particules quand la profondeur tend vers l'infini. J'expliquerai ensuite comment des outils de théorie du contrôle géométrique permettent d'expliquer en partie la grande "expressivité" de ces réseaux de neurones (ce dernier travail est une collaboration avec Andrei Agrachev).
Website: https://www.imo.universite-paris-saclay.fr/~cyril.letrouit/
In Room M7.101 of Monod campus, ENSL.