UMR 5672

logo de l'ENS de Lyon
logo du CNRS logo UCBL
You are here: Home / Seminars / Machine Learning and Signal Processing / Un point sur les réseaux à poids quantifiés

Un point sur les réseaux à poids quantifiés

François Malgouyres (IMT, Toulouse)
When Nov 24, 2020
from 09:00 to 10:00
Where Visio : https://ent-services.ens-lyon.fr/entVisio/quickjoin.php?hash=1321750ebd942062258b637f58c2209ddc6914e2a30297dd506c365d4c780fa3&meetingID=2481
Attendees François Malgouyres
Add event to calendar vCal
iCal

Résumé :
Les réseaux de neurones à poids quantifiés sont intéressants à plusieurs titres: 1/ Ils permettent de construire des réseaux interpretables 2/ Ils permettent de construire des réseaux pouvant être implémentés sur des matériels consommant peu d’énergie, pouvant par exemple être embarqués.

Par ailleurs, il a été montré que, pour certaines fonctions d’activations (ReLU), ils sont essentiellement aussi efficaces que des réseaux à poids flottants pour représenter des fonctions de Sobolev. Ainsi, la contrainte d’utiliser des poids binaires doit pouvoir se faire sans diminution de performances, à condition de réussir à optimiser convenablement les poids binaires.

Dans la dernière partie de l’exposée, nous décrirons BinaryConnect: l’algorithme de référence pour effectuer cette optimisation. Nous décrirons ensuite une variante originale, s’apparentant à une méthode gloutonne (le matching pursuit), de cet algorithme.

 

Lien visio : https://ent-services.ens-lyon.fr/entVisio/quickjoin.php?hash=1321750ebd942062258b637f58c2209ddc6914e2a30297dd506c365d4c780fa3&meetingID=2481

 

Mini-Bio : François Malgouyres a fait sa thèse à l’ENS Cachan puis a passé un an à UCLA en tant que postdoctorant. Il fût ensuite Maître de conférences à l’université Paris Nord. Il est depuis 2011 Professeur des universités à L’université Paul Sabatier. Ses centres d’intérêts ont évolué au cours du temps du traitement d’image, aux méthodes utilisant la parcimonie, à l’apprentissage de dictionnaire et la factorisation de matrices pour porter aujourd’hui principalement sur les réseaux de neurones.

https://www.math.univ-toulouse.fr/~fmalgouy/