Pipelines d'extraction de métriques pour la supervision du trafic réseau sous contraintes système

Résumé de la thèse

Le machine learning est largement utilisé dans la littérature académique et présente souvent d'excellentes performances sur le papier.

Cependant, de nombreuses méthodes sous-performent lors de leur déploiement dans le monde réel.
Dans le monde des réseaux, cela est principalement dû à la pratique courante d'ignorer la phase de récolte de données et de l'extraction des métriques de l'évaluation des modèles.
Les modèles de machine learning sont donc évalués sur des jeux de données parfaits, ce qui entraine une détérioration de leurs performances (précision) lorsque les métriques sont altérées ou incomplètes.
Cette dégradation est entrainée par la perte de paquets ou une limitation des ressources de calcul causées par l'incapacité du système d'extraire les métriques en temps réel, à la vitesse du lien.
Dans le cas concret de la supervision du trafic réseau, opérateur et chercheur ont besoin d'outils capables de leur fournir des aperçus de l'état du réseau en temps réel.
Ces outils doivent trouver le point d'équilibre de la complexité des calculs réalisés pour pouvoir supporter la vitesse du lien.
Ils font également face à de fortes contraintes en termes de disponibilité des données à un instant t, ce qui peut être fortement limité par la mémoire ou les capacités de calcul du système.
Ces limitations liées au monde réel ont un impact important sur la fiabilité et le passage à l'échelle des solutions de supervision utilisant du machine learning.

Dans cette thèse, nous approchons le problème du déploiement de solutions de supervision de trafic réseau utilisant du machine learning dans des environnements réalistes en concevant des méthodes d'extraction de métriques respectant les contraintes systèmes et capables de passer à l'échelle.
Nous nous intéressons particulièrement à rendre l'extraction de métriques compatible avec les réseaux à haute vitesse en prenant en compte la perte de paquets et les ressources de calcul limitées.

Machine learning techniques are widely used in academic literature and often demonstrate excellent performance on paper.
However, many of these proposed methods fail when deployed in real-world environments.
In networking, this gap is primarily due to the common practice of overlooking the data collection and feature extraction pipeline during evaluation.
While machine learning models perform well on ideal datasets, their accuracy deteriorates when features are mangled or incomplete, often caused by packet losses or limitations in the feature extraction systems that cannot process all traffic in real time.
In practical network monitoring, operators and researchers require tools capable of delivering real-time insights.
Such tools must balance computational complexity by limiting the types of features they extract to cope with line rate.
They also face constraints in terms of available data at any given moment, which can be restricted by memory or system capabilities.
These real-world limitations significantly impact the reliability and scalability of machine learning-based network monitoring solutions.

In this thesis, we address the challenge of deploying machine learning-based network monitoring tools in real-world environments by designing feature extraction methods that are both system-aware and scalable.
We focus on making feature extraction compatible with high-speed traffic processing, taking into account packet loss and limited computational resources.