Gestion du risque dans les Processus de Décision Markoviens: Approche distributionnelle et front entropique

Résumé de la thèse

Les approches classiques des Processus de Décision Markoviens (MDP) se concentrent généralement sur la maximisation du retour espéré. Pourtant, de nombreuses applications du monde réel nécessitent une prise en compte du risque allant au-delà du résultat moyen. Cette thèse étudie la prise de décision séquentielle sensible au risque, visant à optimiser des fonctionnelles de la distribution des retours au-delà de la simple espérance.

Un espoir a été soulevé par l’approche distributionnelle, qui permet de capturer l’intégralité de la distribution du retour. Cette approche offre, en théorie, un moyen d'aborder plus aisément des métriques de risque telles que la Value-at-Risk (VaR), la Conditional Value-at-Risk (CVaR) et la Mesure de Risque Entropique (EntRM). Cette thèse examine rigoureusement les capacités et les limites de cette approche, en étudiant quelles mesures de risque peuvent être efficacement optimisées par programmation dynamique.

Malgré les promesses de la perspective distributionnelle, nous mettons en lumière des barrières théoriques fondamentales. Nous caractérisons l'ensemble des mesures de risque se prêtant à une optimisation par  programmation dynamique et montrons qu'il est beaucoup plus restreint qu'on ne le supposait auparavant. En particulier, seule une classe spécifique de mesures de risque, la famille des Mesures de Risque Entropiques, peut être optimisée de manière exacte via la programmation dynamique.

Cette famille s'avère cependant cruciale, car elle apparaît naturellement dans l'approximation d'autres mesures de risque importantes. Sur la base de ce constat, nous proposons un cadre d'optimisation unifié appelé DOLFIN (Distributional Optimality Front Iteration). Cette méthode exploite le spectre complet des comportements sensibles au risque offerts par la famille EntRM (le Front d'Optimalité), pour lequel nous prouvons des propriétés structurelles. Inspirés par ces propriétés, nous développons un algorithme permettant de résoudre approximativement des objectifs autrement intraitables (VaR, CVaR, Probabilités de Seuil) via le principe d'Amélioration de Politique Généralisée (Generalized Policy Improvement).

Enfin, nous étudions le problème de l'apprentissage de l'EntRM sous incertitude afin de permettre une prise de décision fiable dans des environnements à la dynamique inconnue. Nous dérivons des bornes de concentration statistiques pour son estimation et fournissons la première analyse de l'apprentissage de l'EntRM pour une plage de paramètres de risque simultanément.

Standard approaches in Markov Decision Processes (MDPs) typically focus on maximizing the expected return. Yet, many real-world applications require a consideration of risk that extends beyond the average outcome. This thesis investigates risk-sensitive sequential decision-making, aiming to optimize functionals of the return distribution beyond simple expectation.

The distributional approach has raised significant hope in this domain by allowing for the capture of the full return distribution. This framework theoretically facilitates the handling of complex risk metrics such as Value-at-Risk (VaR), Conditional Value-at-Risk (CVaR), and the Entropic Risk Measure (EntRM). This thesis rigorously investigates the capabilities and limitations of this approach, specifically studying which risk measures can be effectively optimized using dynamic programming.

Despite the promise of the distributional perspective, we uncover fundamental theoretical barriers. We characterize the set of risk measures amenable to dynamic programming and demonstrate that it is much narrower than previously assumed. In particular, we show that only a specific class of risk measures, the Entropic Risk Measure family, can be exactly optimized using standard dynamic programming recursion.

However, this family proves to be crucial, as it appears naturally in the approximation of other important risk measures. Building on this insight, we propose a unified planning framework. This method leverages the full spectrum of risk-sensitive behaviors offered by the entire EntRM family (the Optimality Front), for which we prove key structural properties. Inspired by these properties, we develop an algorithm called DOLFIN (Distributional Optimality Front Iteration) to approximately solve otherwise intractable objectives (VaR, CVaR, Threshold Probabilities) via Generalized Policy Improvement.

Finally, we investigate the problem of learning the EntRM under uncertainty to ensure reliable decision-making in environments with unknown dynamics. We derive statistical concentration bounds for its estimation and provide the first analysis of learning the EntRM for a full range of risk parameters simultaneously.