Outils

Agenda de l'ENS de Lyon

Efficiency and Redundancy in Deep Learning Models: Theoretical Considerations and Practical Applications

Date
ven 09 avr 2021
Horaires

15H00

Intervenant(s)

Soutenance de thèse de M. STOCK Pierre sous la Direction de M. Gribonval Rémi et la Co-Direction de M. JEGOU Hervé

Organisateur(s)
Langue(s) des interventions
Description générale

Les réseaux de neurones profonds sont à l'origine de percées majeures en intelligence
artificielle. Ce succès s'explique en partie par un passage à l'échelle en termes de capacité de
calcul, d'ensembles de données d'entrainement et de taille des modèles considérés -- le
dernier point ayant été rendu possible en construisant des réseaux de plus en plus profonds.
Dans cette thèse, partant du constat que de tels modèles sont difficiles à appréhender et à
entrainer, nous étudions l'ensemble des réseaux de neurones à travers leurs classes
d'équivalence fonctionnelles, ce qui permet de les grouper par orbites et de ne manipuler
qu'un représentant bien choisi. Ces considérations théoriques nous ont permis de proposer
une variante de l'algorithme de descente de gradient stochastique qui consiste à insérer, au
cours des itérations, des étapes permettant de choisir le représentant de la classe
d'équivalence courante minimisant une certaine énergie. La redondance des paramètres mise
en lumière dans ce premier volet amène naturellement à la question de l'efficience des
réseaux de neurones profonds, et donc à leur compression. Nous montrons qu'il est possible
de réduire considérablement leur taille tout en préservant leur capacité de prédiction en
utilisant un algorithme de compression vectorielle appelé iPQ. En combinant iPQ avec une
procédure de pré-conditionnement appelée Quant-Noise qui consiste à injecter du bruit de
quantification dans le réseau avant sa compression, nous obtenons des résultats état de l’art
en termes de compromis taille/capacité de prédiction. Voulant confronter nos recherches à
des contraintes de type produit, nous proposons enfin une application de ces algorithmes
permettant un appel vidéo à très faible bande passante, déployée sur un téléphone portable
et fonctionnant en temps réel.

Gratuit

Mots clés

Disciplines