Réduction de la consommation électrique des infrastructures Cloud par provisionnement dynamique de ressources

Résumé de la thèse

En 2020, le secteur des Technologies de l'Information et de la Communication (TIC) était responsable de 2,1 à 3,9% des émissions de gaz à effet de serre (GES). Plus que ses émissions actuelles, la croissance continue du secteur provoque une augmentation des émissions de GES qui lui sont associées. Les datacenters sont responsables d'une portion non négligeable des impacts des TIC: les émissions globales estimées en 2020 varient entre 18% et 45%, dont une partie est liée à leur consommation électrique. En 2024, l'Agence Internationale de l'Énergie estime la consommation électrique totale des datacenters à 1,4% (416 TWh) de la consommation électrique globale.

Pour la croissance de la consommation électrique des datacenters, de nombreuses méthodes d'efficacité énergétique ont été développées. Ces leviers concernent tant les équipements informatiques que les infrastructures techniques comme les systèmes de refroidissement. Néanmoins, les datacenters intègrent aujourd'hui des puissances de calcul et de stockage croissantes afin de répondre à la demande grandissante des utilisateurs. Bien souvent, ces infrastructures sont dimensionnées par les opérateurs de datacenter pour répondre à la demande de pic. Cela engendre un surdimensionnement global des infrastructures cloud et, par conséquent, un gâchis de ressources et d'électricité.

La consolidation de machines virtuelles (VMs) permet de répondre à cette problématique de dimensionnement des infrastructures cloud. À travers des mécanismes comme la migration de VMs, il est possible de mieux répartir la charge de travail et de limiter le nombre total de machines physiques (PMs) utilisées. Les PMs non utilisées peuvent ensuite être éteintes, réduisant ainsi la consommation électrique de l'infrastructure. La consolidation de VMs a été longuement étudiée par la communauté scientifique pour réduire la consommation des datacenters. Bien souvent, les travaux reposent sur des traces d'utilisation publique et évaluent leurs résultats en simulation. Peu de travaux valident les résultats obtenus de manière expérimentale, avec un déploiement sur des infrastructures utilisées en production.

Dans cette thèse, nous travaillons sur le bon dimensionnement des infrastructures cloud pour réduire leur consommation électrique via la consolidation. La première partie présente une méthodologie de consolidation dynamique qui tire profit de mécanismes de surallocation mémoire pour améliorer les résultats sur la réduction de consommation électrique. Cette méthodologie intègre l'évaluation des VMs non utilisées de l'infrastructure et l'utilisation de modèles de prédiction afin d'en faciliter le déploiement. Nous avons validé son fonctionnement avec des simulations, puis été en mesure de réaliser son déploiement en production dans une infrastructure d'un hébergeur cloud.

Ensuite, nous évaluons la combinaison de la consolidation de VM avec une politique d'extinction automatique dans une infrastructure de virtualisation. Ces travaux intègrent une dimension sociale, la politique d'extinction étant pilotée par les utilisateurs finaux de l'infrastructure évaluée. Une étude sur les motivations et les freins à l'utilisation de la politique d'extinction de VM par les utilisateurs nous a permis d'identifier des leviers qui, combinés à la consolidation, réduisent la consommation de l'infrastructure étudiée. Ces travaux ont été validés en simulation et déployés en production.

Enfin, nous développons une méthodologie de consolidation avec surallocation de ressource pour des infrastructures cloud hétérogènes. Cette méthodologie identifie différentes étapes nécessaires pour le déploiement de la consolidation en production sur des infrastructures cloud. Elle intègre notamment l'évaluation de l'utilisation des VMs, l'étude de taux de surallocation pertinents, et différentes stratégies de migration de VMs. Nous avons évalué cette méthodologie avec des simulations sur des infrastructures hétérogènes de deux hébergeurs cloud.

The Information and Communication Technologies (ICT) sector contributes significantly to climate change. In 2020, this sector was responsible for between 2.1% and 3.9% of greenhouse gas (GHG) emissions. More than its current contribution, this sector is growing rapidly economically, and the GHG emissions and other environmental impacts it produces are also increasing. Datacenters are responsible for a non-negligible portion of the ICT sector's impact: estimated global emissions in 2020 vary between 18% and 45% depending on the study, part of which is linked to their electricity consumption. In 2024, the International Energy Agency (IEA) estimates the total electricity consumption of datacenters at 416TWh, or around 1.4% of global electricity consumption.

In order to limit the growth in data centers power consumption, a number of energy efficiency methods have been introduced. These energy efficiency levers concern both IT equipment and technical infrastructures such as cooling systems. Nevertheless, today's datacenters are integrating increasing computing and storage power to meet growing user demand. Quite often, these infrastructures are sized by datacenter operators to meet the theoretical maximum demand in order to respect quality of service. This leads to an overall oversizing of cloud infrastructures, and consequently a waste of resources and electricity.

Virtual Machine (VM) consolidation in virtualization infrastructures provides a solution to this problem of cloud infrastructure sizing. Through mechanisms such as VM migration, it is possible to better distribute the workload and limit the total number of Physical Machines (PM) used. Unused PMs can then be shut down, reducing the infrastructure's power consumption. VM consolidation has been extensively studied by the scientific community, and numerous studies aimed at improving the results obtained (reduced power consumption, quality of service, etc.) have been developed and tested. These works usually rely on public usage traces and evaluate their results in simulation. Few works validate the results obtained experimentally, with deployment on infrastructures used in production.

In this thesis, we work on the efficient sizing of cloud infrastructures to reduce their power consumption using consolidation. The first part of the thesis presents a dynamic consolidation methodology that takes advantage of memory overcommitment mechanisms to improve power reduction results. This methodology integrates the evaluation of unused VMs in the infrastructure and the use of predictive models to facilitate deployment. We validated this methodology with simulations and were then able to deploy it in production in a cloud datacenter operator's infrastructure.

Next, we evaluate the combination of VM consolidation with an automatic shutdown policy in a virtualization infrastructure. This work includes a social dimension, as the shutdown policy is controlled by the end-users of the infrastructure being evaluated. A study of the motivations and obstacles to the use of the VM shutdown policy by users enabled us to identify levers which, combined with consolidation, generate reductions in the power consumption of the infrastructure studied. This work has been validated in simulation and deployed in production.

Finally, we develop a consolidation methodology with resource over-allocation for heterogeneous cloud infrastructures. This methodology identifies the various steps required to deploy consolidation in production on cloud infrastructures. In particular, it includes VM usage assessment, the study of relevant over-allocation rates, and various VM migration strategies. We evaluated this methodology in simulation on two heterogeneous cloud infrastructures from two cloud service providers.