Soutenance de doctorat d’Imad Eddine Marouf : Adaptation continue de modèles de vision pré-entraînés
Télécom Paris, 19 place Marguerite Perey F-91120 Palaiseau [y aller], amphi 6 et en visioconférence
Titre intégral : Au-delà du fine-tuning : adaptation continue de modèles de vision pré-entraînés
Titre original : Beyond Fine-Tuning: Continual Adaptation of Pretrained Vision Models
Jury
- Tinne Tuytelaars, Professeure, KU Leuven, Belgique (Rapporteure)
- Adrian Popescu, Directeur de recherche, CEA LIST, France (Rapporteur)
- Amal Rannen Triki, Chercheuse, Google DeepMind, Royaume-Uni (Examinatrice)
- Pietro Gori, Professeur, Télécom Paris, France (Examinateur)
- Stéphane Lathuilière, Chercheur, Inria, Univ. Grenoble Alpes, CNRS, France (Directeur de thèse)
- Enzo Tartaglione, Professeur, Télécom Paris, France (Co-directeur de thèse)
Résumé
Le paradigme de la vision par ordinateur a évolué de l’entraînement de modèles spécialisés vers l’adaptation de modèles de fondation pré-entraînés. Bien qu’offrant des représentations puissantes, leur déploiement réel est freiné par deux contraintes contradictoires : le coût prohibitif du réajustement complet (full fine-tuning), et la tendance à oublier catastrophiquement les connaissances antérieures lors de l’apprentissage séquentiel. Cette thèse propose un cadre pour une adaptation efficace et continue, structuré selon trois axes : l’efficacité paramétrique, l’adaptation temporelle et les contraintes multimodales.
Premièrement, nous contestons l’allocation uniforme des paramètres lors du réajustement. Nous introduisons MiMi (Mini-Adaptateurs), montrant que les besoins d’adaptation varient selon la profondeur du réseau. Par une sélection itérative des neurones, MiMi alloue la capacité dynamiquement, prouvant que l’adaptivité structurelle minimise l’empreinte paramétrique tout en maximisant la précision.
Ensuite, nous abordons le dilemme stabilité-plasticité, c’est-à-dire la tension entre la stabilité (conserver les connaissances acquises) et la plasticité (s’adapter aux nouvelles connaissances). Les méthodes existantes privilégient souvent la stabilité au détriment de la souplesse. Nous proposons PLASTIC (Adaptation au moment du test améliorée par la plasticité), qui intègre l’adaptation au test pour permettre la plasticité durant la vie du modèle. En complément, CoFiMA (Moyennage de modèles continu pondéré par Fisher) assure la stabilité en reformulant l’apprentissage continu comme une fusion de modèles pondérée par l’information de Fisher, consolidant les connaissances sans régularisation complexe ni mémoire de rappel importante.
Enfin, nous étendons ces principes aux modèles vision-langage, où le stockage d’images brutes pour la répétition introduit des contraintes de stockage et de partage de données. Nous proposons QUAD (Rappel par questions uniquement avec distillation d’attention) pour le VQA continu. QUAD découple la continuité multimodale du stockage visuel : la distillation de cohérence d’attention permet de conserver l’ancrage visuel via des requêtes textuelles uniquement.
Ces contributions montrent qu’une adaptation efficace et continue ne nécessite ni le stockage des données passées ni le réajustement complet du modèle. Un principe commun les sous-tend : l’adaptation s’appuie sur l’information que le modèle encode déjà plutôt que sur la répétition d’exemples stockés.