Méthodes différentiables et basées sur l'apprentissage pour la représentation de structure

Résumé de la thès

Cette thèse s'intéresse à la conception de méthodes d'apprentissage pour des objets structurés, omniprésents dans les données naturelle. La structure émerge dans des systèmes formés de composants en interaction, lorsque l'information réside dans des espaces de faible complexité, ou encore comme propriété intrinsèque d'objets mathématiques tels que les matrices définies positives. La question directrice de cette thèse est la suivante : étant donné des données générées par un système pour lesquelles on suppose l'existence d'une structure sous-jacente, comment concevoir des modèles d'apprentissage capables de capturer cette structure ?

Dans ce travail, nous nous concentrons sur une classe particulière d'objets structurés : les matrices symétriques définies-positives (SDP)  creuses, et qui apparaissent naturellement dans de nombreux domaines scientifiques et d'ingénierie. Nous considérons trois paradigmes méthodologiques pour apprendre de tels objets structurés. Les approches data-driven, qui exploitent la disponibilité de grands jeux de données et l'expressivité des réseaux de neurones profonds, en s'appuyant sur leur capacité à exploiter la structure implicitement contenue dans les données plutôt que sur des hypothèses de modélisation explicites. Les approches model-based, qui tirent parti de l'incorporation de connaissances a priori et d'expertise métier pour guider l'apprentissage, permettant une inférence robuste même en présence de données limitées. Enfin, les approches unrolled, qui cherchent à combiner ces deux avantages, en construisant des architectures neuronales inspirées d'algorithmes d'optimisation itératifs, tout en conservant expressivité et adaptabilité.

Chacun de ces paradigmes présente des avantages et des limites distincts. Cette thèse apporte trois contributions principales dans ces directions : 
(i) Dans le cadre data-driven, nous proposons SpodNet, la première architecture de réseau de neurones capable d'apprendre des matrices garanties à la fois creuses et définies-positives, une capacité qui n'existait pas jusqu'alors. SpodNet est conçu comme une application SPD-vers-SPD qui impose la parcimonie par construction, en s'appuyant sur la condition de Schur pour garantir le caractère défini-positif tout au long des mises à jour. Nous proposons également trois variantes inspirées des approches unrolled et adaptées au problème d'estimation de matrices de précision creuses, pour lesquelles nous montrons des performances compétitives et de meilleures garanties que les méthodes existantes. Nous concluons par une analyse des principaux défis ouverts qui subsistent. 
(ii) Dans le cadre model-based, nous développons une nouvelle méthode de sélection automatique d'hyperparamètres pour contrôler le degré de parcimonie dans l'estimation de matrices SPD creuses. En formulant le problème comme une optimisation bi-niveau, nous proposons une approche par différentiation implicite pour calculer les hypergradients pour le Graphical Lasso. Cela fournit des formules explicites de la Jacobienne pour des pénalités scalaires comme matricielles, permettant une sélection rigoureuse des paramètres de régularisation. 
(iii) Nous revisitons le problème du Graphical Lasso, utilisé par de nombreuses communautés différentes, et abordons le gap entre les avancées méthodologiques et leur adoption pratique. Nous publions un solveur open-source modulaire et efficace, intégré dans la bibliothèque skglm, supportant les pénalités pondérées et non-convexes. En parallèle, nous proposons un benchmark reproductible implémenté dans l'écosystème benchopt, couvrant les principaux solveurs du premier et du second ordre. Nos expériences montrent que les pénalités non-convexes améliorent systématiquement les performances de reconstruction et de récupération de support par rapport à l'approche classique à base de norme L1, et que notre implémentation offre à la fois des performances compétitives et une flexibilité supérieure aux outils existants.

This thesis investigates the design of machine learning methods for structured objects. Structure is ubiquitous in natural data: it emerges in complex systems composed of interacting components, when relevant information lies on lower-complexity spaces, or as inherent properties of mathematical objects such as matrices that must satisfy positive-definiteness. The guiding question of this thesis is: given data generated by a system for which a certain underlying structure is assumed to exist, how can we design machine learning models that are capable of capturing that structure?

In this work, we focus on a specific class of structured objects: symmetric positive-definite (SPD) matrices that are also sparse, which naturally arise in many scientific and engineering domains. We consider three methodological paradigms for learning such structured objects. Data-driven approaches exploit the availability of large datasets and the expressivity of deep neural networks, relying on their ability to exploit the structure implicitly encoded in the data, rather than explicit modeling assumptions. Model-based approaches leverage explicitly formulated priors and domain knowledge to guide learning, enabling robust inference even with limited data. Unrolled approaches aim to combine the advantages of both, constructing neural architectures inspired by iterative optimization algorithms while retaining adaptability and expressivity.

Each paradigm has distinct strengths and limitations. This thesis makes three main contributions to these approaches:
   (i) In the data-driven setting, we introduce SpodNet, the first neural network architecture capable of learning matrices that are guaranteed to be both sparse and positive-definite, a capability that was previously unavailable. SpodNet is designed as an SPD-to-SPD mapping that enforces sparsity by construction, relying on Schur's condition to maintain positive-definiteness throughout the updates. We further propose three variants inspired by unrolled approaches and tailored to the problem of sparse precision matrix estimation, where we show competitive performance with better guarantees than existing methods. We conclude with an analysis of the main remaining open challenges.
   (ii) In the model-based setting, we develop a novel automatic hyperparameter selection method for controlling the degree of sparsity in sparse SPD matrix estimation. Framing the problem as a bilevel optimization task, we introduce an implicit differentiation approach to compute hypergradients for the Graphical Lasso, based on the fixed-point characterization of proximal gradient descent. This yields explicit Jacobian formulas for both scalar and matrix-valued penalties, enabling a principled selection of regularization strengths. We validate the method empirically in the context of sparse precision matrix recovery.
   (iii) From a practical perspective, we revisit the widely used Graphical Lasso problem and address the gap between methodological advances and real-world adoption. We release a modular and efficient open-source solver, integrated into the skglm library, supporting weighted and non-convex penalties. Alongside, we provide a reproducible benchmark implemented in the benchopt ecosystem, covering major first-order and second-order solvers. Through experiments, we show that non-convex penalties consistently improve reconstruction accuracy and support recovery over the classical L1 approach, while our implementation offers both competitive performance and greater flexibility than existing tools.