Description du /scratch

Le /scratch est un espace de travail temporaire dans lequel vous pouvez copier vos données et écrire les résulats de vos calculs. Travailler dans le scratch présente les avantages suivants :

  • offrir un plus grand volume de travail que celui disponible dans les /home (actuellement 2 espaces /scratch de ~35To sont disponibles),
  • augmenter la vitesse de traitement des lectures/écritures,
  • augmenter le nombre d'entrées/sorties simultanées sur le volume.


Deux types de /scratch sont disponibles :

• le /scratch global à un cluster

Comme nous avons deux grands groupes de machines, d'architecture E5 (les plus récentes) et X5 (les plus anciennes), il y a deux grands scratch.

  • le scratch E5 , commun aux files d'attente E5-*

Ce /scratch/E5/ est accessible par tous les noeuds du cluster Équip@méso.

Il contient le fichier vide de vérification : /scratch/E5/e5-2670-gfs-scratch.

Il est accessible par les frontales e5-2670comp1 à 2 et e5-2667v4comp1 à 2,
ainsi que par le serveur de visualisation r730visu.

  • le scratch X5 , commun aux files d'attente x55/x56*

Ce /scratch/X5/ est accessible par tous les noeuds du cluster x55/x56.

Il contient le fichier vide de vérification : /scratch/X5/x5570-gfs-scratch.

Il est accessible par les frontales x5570comp1 et 2.


Le diagramme ci-dessous représente l'intégration de ces deux espaces de /scratch dans l'infrastructure du PSMN.


• le /scratch local de certains noeuds :

Ces /scratch locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. Voir description plus complète.

Utiliser le scratch

Utilisation du /scratch : Copie manuelle

Pour les /scratch communs (E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire /scratch/<cluster>/login/whatever/. Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant /home par /scratch/<cluster> (copie avec cp -r).

Ne pas oublier de modifier ses fichiers de soumission en conséquence.

À la fin du run, récuperer ses résultats à la main, dans le /scratch, depuis une des frontales correspondantes.

Utilisation du /scratch : Copie automatique

Pour les /scratch locaux, vous ne savez pas quel noeud vous sera attribué (c'est valable aussi pour le scratch global, mais moins génant). Vous ne pouvez donc pas copier vos données vers un noeud en particulier à l'avance. Il faut intégrer la copie /scratch/home dans le script soumis.

Vous trouverez des exemples sur cette page.

Nous n'avons pas d'exemple de script qui fasse le ménage de manière automatique. De même, si vous ne vous sentez pas à l'aise avec ces scripts, n'hésitez pas à venir en discuter autour d'un café, le mardi après-midi.

Transferts technologiques

Les scratch globaux (glusterfs) ont été mis en service grâce aux travaux préparatoires, recettes et intégrations réalisés sur la plate-forme expérimentale du CBP.

documentation/tutorials/scratch.txt · Dernière modification: 2019/06/20 10:34 par ltaulell