Geometry-induced Regularization in Deep ReLU Neural Networks
François Malgouyres (Institut Mathématiques de Toulouse)
| Quand ? |
Le 19/05/2026, de 13:00 à 14:00 |
|---|---|
| Où ? | M7 101 |
| Participants |
François Malgouyres |
| Ajouter un événement au calendrier |
vCal
iCal
|
François Malgouyres
Title: Geometry-induced Regularization in Deep ReLU Neural Networks
Abstract: Neural networks with a large number of parameters often do not overfit, owing to implicit regularization that favors \lq good\rq{} networks. Other related and puzzling phenomena include properties of flat minima, saddle-to-saddle dynamics, and neuron alignment.
To investigate these phenomena, we study the local geometry of deep ReLU neural networks. We show that, for a fixed architecture, as the weights vary, the image of a sample $X$ forms a set whose local dimension changes. The parameter space is partitioned into regions where this local dimension remains constant. The local dimension is invariant under the natural symmetries of ReLU networks (i.e., positive rescalings and neuron permutations).
We establish then that the network’s geometry induces a regularization, with the local dimension serving as a key measure of regularity. Moreover, we relate the local dimension to a new notion of flatness of minima and to saddle-to-saddle dynamics.
For shallow networks, we also show that the local dimension is connected to the number of linear regions perceived by $X$, offering insight into the effects of regularization. This is further supported by experiments and linked to neuron alignment.
Our analysis offers, for the first time, a simple and unified geometric explanation that applies to all learning contexts for these phenomena, which are usually studied in isolation.
Bio: François Malgouyres est professeur des universités à l’Université de Toulouse (France). Ses recherches portent sur les fondements théoriques et méthodologiques du deep learning, avec un intérêt particulier pour la compréhension de la structure mathématique des réseaux de neurones. Il a notamment travaillé sur la géométrie des réseaux, l’identifiabilité de leurs paramètres, l’approximation de fonctions par réseaux de neurones, ainsi que sur la quantification des poids dans les réseaux récurrents et la conception de couches convolutives orthogonales. Il s’est également intéressé au straight-through estimator — l’algorithme de référence pour l’optimisation de poids quantifiés — et à ses applications à la reconstruction de signaux parcimonieux. Avant de rejoindre l’Université de Toulouse, François Malgouyres a été maître de conférences à l’Université Paris Nord, postdoctorant à l’Université de Californie à Los Angeles (UCLA), et doctorant à l’ENS Paris-Saclay (alors située à Cachan).
To investigate these phenomena, we study the local geometry of deep ReLU neural networks. We show that, for a fixed architecture, as the weights vary, the image of a sample $X$ forms a set whose local dimension changes. The parameter space is partitioned into regions where this local dimension remains constant. The local dimension is invariant under the natural symmetries of ReLU networks (i.e., positive rescalings and neuron permutations).
We establish then that the network’s geometry induces a regularization, with the local dimension serving as a key measure of regularity. Moreover, we relate the local dimension to a new notion of flatness of minima and to saddle-to-saddle dynamics.
For shallow networks, we also show that the local dimension is connected to the number of linear regions perceived by $X$, offering insight into the effects of regularization. This is further supported by experiments and linked to neuron alignment.
Our analysis offers, for the first time, a simple and unified geometric explanation that applies to all learning contexts for these phenomena, which are usually studied in isolation.
Bio: François Malgouyres est professeur des universités à l’Université de Toulouse (France). Ses recherches portent sur les fondements théoriques et méthodologiques du deep learning, avec un intérêt particulier pour la compréhension de la structure mathématique des réseaux de neurones. Il a notamment travaillé sur la géométrie des réseaux, l’identifiabilité de leurs paramètres, l’approximation de fonctions par réseaux de neurones, ainsi que sur la quantification des poids dans les réseaux récurrents et la conception de couches convolutives orthogonales. Il s’est également intéressé au straight-through estimator — l’algorithme de référence pour l’optimisation de poids quantifiés — et à ses applications à la reconstruction de signaux parcimonieux. Avant de rejoindre l’Université de Toulouse, François Malgouyres a été maître de conférences à l’Université Paris Nord, postdoctorant à l’Université de Californie à Los Angeles (UCLA), et doctorant à l’ENS Paris-Saclay (alors située à Cachan).
Website: http://www.math.univ-toulouse.fr/~fmalgouy/
In Room M7 101, 1st floor, Monod campus, ENSL (to be confirmed).