Soutenance de doctorat de Zhu Liao : Amovibilité des couches dans les réseaux neuronaux profonds
Télécom Paris, 19 place Marguerite Perey F-91120 Palaiseau [y aller], amphi 3 et en visioconférence
Titre intégral : Amovibilité des couches dans les réseaux neuronaux profonds : induction, identification et entraînement pour la réduction de la profondeur
Titre original : Layer Removability in Deep Neural Networks: Inducing, Identifying, and Training for Depth Reduction
Jury
- Van Tâm NGUYEN, Professeur, Télécom Paris, Institut Polytechnique de Paris, France (Directeur de thèse)
- Enzo TARTAGLIONE, Professeur, Télécom Paris, Institut Polytechnique de Paris, France (Co-directeur de thèse)
- José Antonio ORAMAS MOGROVEJO, Associate Professor, Universiteit Antwerpen, Belgique (Rapporteur)
- Giovanna Paola VARNI, Associate Professor, Università di Trento, Italie (Rapporteure)
- Attilio FIANDROTTI, Associate Professor, Università di Torino, Italie (Examinateur)
- Anissa MOKRAOUI, Professeure, Université Sorbonne Paris Nord, France (Examinatrice)
Résumé
Les réseaux neuronaux profonds modernes deviennent de plus en plus grands et obtiennent de très bonnes performances dans de nombreux domaines. Cependant, leur coût de calcul augmente également, notamment à l’inférence. La profondeur entraîne un coût spécifique : les couches étant exécutées les unes après les autres, un réseau plus profond nécessite davantage d’étapes séquentielles à chaque propagation avant, et ce temps ne peut pas être réduit par le parallélisme au sein des couches.
L’élagage classique permet de réduire le nombre de paramètres en supprimant les poids considérés comme peu importants. Cependant, lorsque des poids individuels sont supprimés sans modifier la profondeur du réseau, le modèle continue d’exécuter la même succession de couches. Cette thèse propose donc de considérer non seulement le nombre de paramètres, mais aussi la longueur du chemin de propagation dans le réseau.
Dans un premier temps, nous montrons que l’élagage peut être orienté vers l’« effondrement » de certaines couches lorsque le budget d’élagage est réparti selon un signal approprié défini au niveau des couches. Les méthodes EGP et NEPENTHE dirigent ce budget vers les couches présentant une faible entropie d’activation, produisant ainsi des réseaux dont des couches entières peuvent être supprimées avec une faible perte de performance.
Dans un deuxième temps, pour des réseaux déjà entraînés, les méthodes EASIER et TLC estiment la contribution de chaque couche à la tâche et suppriment celles dont la contribution est la plus faible, tout en maintenant la baisse de performance dans une limite fixée.
Enfin, LaCoOT et SHINING intègrent la possibilité de supprimer des couches directement dans le processus d’entraînement, de sorte que des couches pouvant être supprimées sont déjà présentes à la fin de l’entraînement.
Ces trois axes montrent que la profondeur d’un réseau n’est pas figée une fois l’architecture choisie : la possibilité de supprimer des couches peut être induite par l’élagage, identifiée dans des modèles déjà entraînés et préparée au cours de l’entraînement.