Un point sur les réseaux à poids quantifiés
| When |
Nov 24, 2020
from 09:00 to 10:00 |
|---|---|
| Where | Visio : https://ent-services.ens-lyon.fr/entVisio/quickjoin.php?hash=1321750ebd942062258b637f58c2209ddc6914e2a30297dd506c365d4c780fa3&meetingID=2481 |
| Attendees |
François Malgouyres |
| Add event to calendar |
vCal
iCal
|
Résumé :
Les réseaux de neurones à poids quantifiés sont intéressants à plusieurs titres: 1/ Ils permettent de construire des réseaux interpretables 2/ Ils permettent de construire des réseaux pouvant être implémentés sur des matériels consommant peu d’énergie, pouvant par exemple être embarqués.
Par ailleurs, il a été montré que, pour certaines fonctions d’activations (ReLU), ils sont essentiellement aussi efficaces que des réseaux à poids flottants pour représenter des fonctions de Sobolev. Ainsi, la contrainte d’utiliser des poids binaires doit pouvoir se faire sans diminution de performances, à condition de réussir à optimiser convenablement les poids binaires.
Dans la dernière partie de l’exposée, nous décrirons BinaryConnect: l’algorithme de référence pour effectuer cette optimisation. Nous décrirons ensuite une variante originale, s’apparentant à une méthode gloutonne (le matching pursuit), de cet algorithme.
Mini-Bio : François Malgouyres a fait sa thèse à l’ENS Cachan puis a passé un an à UCLA en tant que postdoctorant. Il fût ensuite Maître de conférences à l’université Paris Nord. Il est depuis 2011 Professeur des universités à L’université Paul Sabatier. Ses centres d’intérêts ont évolué au cours du temps du traitement d’image, aux méthodes utilisant la parcimonie, à l’apprentissage de dictionnaire et la factorisation de matrices pour porter aujourd’hui principalement sur les réseaux de neurones.
https://www.math.univ-toulouse.fr/~fmalgouy/