Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
documentation:tutorials:scratch [2020/01/29 17:15]
ltaulell [scratch E5]
documentation:tutorials:scratch [2021/11/23 14:43] (Version actuelle)
ltaulell [Utilisation du /scratch : Copie automatique]
Ligne 1: Ligne 1:
 ====== Description du /scratch ====== ====== Description du /scratch ======
  
-Le ''/​scratch''​ est un espace de travail **//​temporaire//​** dans lequel vous pouvez copier vos données et écrire les résulats ​de vos calculs.  +Un ''/​scratch''​ est un espace de travail **//​temporaire//​** dans lequel vous pouvez copier vos données et écrire les résultats ​de vos calculs.  
-Travailler dans le scratch présente les avantages suivants : +Travailler dans un scratch présente les avantages suivants : 
-   * offrir un plus grand volume de travail que celui disponible dans les ''/​home''​ (plusieurs espaces ''/​scratch''​ sont disponibles),​+   * offrir un plus grand volume de travail que celui disponible dans votre ''/​home''​ (plusieurs espaces ''/​scratch''​ sont disponibles),​
    * augmenter la vitesse de traitement des lectures/​écritures,​    * augmenter la vitesse de traitement des lectures/​écritures,​
-   * augmenter le nombre d'​entrées/​sorties simultanées ​sur le volume.+   * augmenter le nombre d'​entrées/​sorties simultanées.
 \\ \\
 +Les scratchs sont des **espaces communs et partagés**,​ leurs performances dépendent de votre bon usage. Il **ne doivent pas** contenir :
 +  * de documentation (trop de petits fichiers inutiles) ''​=>​ /​home'',​
 +  * de liens symboliques (fichiers minuscules),​
 +  * de programmes ou d'​exécutables (entrées/​sorties inutiles) ''​=>​ /​home''​.
 +
 +<note tip>​**Uniquement des données d'​entrées,​ temporaires ou de résultats.**</​note>​
 +
 +
 Deux types de ''/​scratch''​ sont disponibles : Deux types de ''/​scratch''​ sont disponibles :
  
-<note warning>​ +
-**Informations à compléter, arrivée d'un nouveau cluster (Lake)** +
-</​note>​+
 ===== Le /scratch global à un cluster ​ ===== ===== Le /scratch global à un cluster ​ =====
  
Ligne 19: Ligne 25:
  
  
-Le ''/​scratch/​Lake/'',​ commun aux files d'​attente ** CLG* et SLG* **, sera accessible par tous [[documentation:​clusters:​hardware&#​cluster_lake|les noeuds du cluster Lake]].+Le ''/​scratch/​Lake/'',​ commun aux files d'​attente ** CLG* et SLG* **, est accessible par tous [[documentation:​clusters:​hardware&#​cluster_lake|les noeuds du cluster Lake]].
  
-Il contiendra ​le fichier vide de vérification : ''/​scratch/​Lake/​lake-gfs-scratch''​.+Il contient ​le fichier vide de vérification : ''/​scratch/​Lake/​lake-gfs-scratch''​.
  
-Il sera accessible par **[[documentation:​clusters:​services|les frontales du cluster Lake]]** +Il est accessible par **[[documentation:​clusters:​services|les frontales du cluster Lake]]**
- +
-<note tip> +
-**les scratchs Chimie et Bio sont déjà disponibles** +
-</​note>​+
  
 <​code>​ <​code>​
 /scratch/ /scratch/
-     ​├── Lake/         (à venir, ​common to Lake cluster)+     ​├── Lake/         ​(common to Lake cluster)
      ​├── disk/         ​(local to some servers)      ​├── disk/         ​(local to some servers)
      ​├── Chimie/ ​      ​(reserved to chimie usage)      ​├── Chimie/ ​      ​(reserved to chimie usage)
Ligne 45: Ligne 47:
  
  
-Le ''/​scratch/​E5/'',​ commun aux files d'​attente ** E5-* **, est accessible par tous [[documentation:​clusters:​hardware&#​cluster_equip_meso_ou_e5|les noeuds du cluster ​Équip@méso]].+Le ''/​scratch/​E5N/'',​ commun aux files d'​attente ** E5-* **, est accessible par tous [[documentation:​clusters:​hardware&#​cluster_e5|les noeuds du cluster ​E5]].
  
-Il contient le fichier vide de vérification : ''/​scratch/​E5/e5-2670-gfs-scratch''​.+Il contient le fichier vide de vérification : ''/​scratch/​E5N/E5N-gfs-scratch''​.
  
-Il est accessible par **[[documentation:​clusters:​services|les frontales ​e5-2670comp1 à 2]]** et   ​**[[documentation:​clusters:​services|e5-2667v4comp1 à 2]]**,\\ ainsi que par le serveur de visualisation **[[documentation:​tutorials:​visualisation|r740visu]]**.+Il est accessible par **[[documentation:​clusters:​services|les frontales ​du cluster E5]]**, ainsi que par le serveur de visualisation **[[documentation:​tutorials:​visualisation|r740visu]]**.
  
 <​code>​ <​code>​
 /scratch/ /scratch/
-     ​├── ​E5          ​(E5 scratch, common to E5 cluster)+     ​├── ​E5N         (E5 scratch, common to E5 cluster)
      ​├── nvme/         ​(local to some servers)      ​├── nvme/         ​(local to some servers)
      ​├── ssd/          (local to some servers)      ​├── ssd/          (local to some servers)
Ligne 63: Ligne 65:
  
  
-==== scratch ​X5 ====+==== cluster ​X5 ====
  
-Ce ''/​scratch/​X5/'',​ commun aux files d'​attente **x55/​x56***,​ est accessible par tous [[documentation:​clusters:​hardware&#​cluster_x55_x56|les noeuds du cluster ​x55/x56]].+Le ''/​scratch/​X5/'',​ commun aux files d'​attente **x55/​x56***,​ est accessible par tous [[documentation:​clusters:​hardware&#​cluster_x55_x56|les noeuds du cluster ​X5]].
  
 Il contient le fichier vide de vérification : ''/​scratch/​X5/​x5570-gfs-scratch''​. Il contient le fichier vide de vérification : ''/​scratch/​X5/​x5570-gfs-scratch''​.
  
-Il est accessible par **[[documentation:​clusters:​services|les frontales ​x5570comp1 et 2]]**.+Il est accessible par **[[documentation:​clusters:​services|les frontales ​du cluster X5]]**.
  
 <​code>​ <​code>​
Ligne 76: Ligne 78:
 </​code>​ </​code>​
  
-\\ +==== Le scratch ​local à certains noeuds : ====
-Le diagramme (<wrap warning>​pas à jour</​wrap>​) ci-dessous représente l'​intégration des espaces de ''/​scratch''​ dans l'​infrastructure du PSMN. +
-\\+
  
-{{ :documentation:​tutorials:psmn_network_synoptic.png?​direct&​660 ​|}}+Des ''/​scratch''​ locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. [[documentation:​clusters:hardware|Voir description plus complète]]. 
 + 
 + 
 +==== Topologie des réseaux du PSMN ====
  
 +\\
 +Le diagramme ci-dessous représente l'​intégration des espaces de ''/​scratch''​ dans l'​infrastructure réseau du PSMN.
 \\ \\
  
 +{{ :​documentation:​tutorials:​psmn_network_synoptic_a3_2021.png?​direct&​660 |}}
  
-==== Le scratch local à certains noeuds : ====+\\
  
-Ces ''/​scratch''​ locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. [[documentation:​clusters:​hardware&#​clusters_mutualises|Voir description plus complète]]. 
  
  
Ligne 94: Ligne 99:
  
 Pour les ''/​scratch''​ communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'​entrée dans un répertoire ''/​scratch/<​cluster>/​login/​whatever/''​. Pour les ''/​scratch''​ communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'​entrée dans un répertoire ''/​scratch/<​cluster>/​login/​whatever/''​.
-Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/​home''​ par ''/​scratch/<​cluster>'' ​(copie avec ''​cp -r''​).+Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/​home''​ par ''/​scratch/<​cluster>''​.
  
 Ne pas oublier de modifier ses fichiers de soumission en conséquence. Ne pas oublier de modifier ses fichiers de soumission en conséquence.
Ligne 100: Ligne 105:
 À la fin du run, récuperer ses résultats à la main, dans le ''/​scratch'',​ depuis une des frontales correspondantes. À la fin du run, récuperer ses résultats à la main, dans le ''/​scratch'',​ depuis une des frontales correspondantes.
  
-<note warning>​Vous ne pouvez plus écrire dans ''/​scratch/'',​ il faut ajouter le cluster.</​note>​+<note warning>​Vous ne pouvez plus écrire dans ''/​scratch/'',​ il faut ajouter le cluster ​: ''/​scratch/<​cluster>/<​login>''​</​note>​
  
 ===== Utilisation du /scratch : Copie automatique ===== ===== Utilisation du /scratch : Copie automatique =====
  
-Pour les ''/​scratch''​ locaux, vous ne savez pas quel noeud vous sera attribué (c'est valable aussi pour le scratch global, mais moins génant). Vous ne pouvez donc pas copier vos données vers un noeud en particulier à l'​avance. Il faut intégrer la copie ''/​scratch''<​->''/​home''​ dans le script soumis.+Pour les ''/​scratch''​ locaux, vous ne savez pas quel noeud vous sera attribué (c'est valable aussi pour le scratch global, mais moins génant). Vous ne pouvez donc pas copier vos données vers un noeud en particulier à l'​avance. Il faut intégrer la copie ''/​scratch''<​->''/​home''​ dans le script soumis ​au scheduler.
  
 **Vous trouverez [[documentation:​examples:​submit_scripts&#​job_parallele_variantes|des exemples sur cette page]].** **Vous trouverez [[documentation:​examples:​submit_scripts&#​job_parallele_variantes|des exemples sur cette page]].**
  
  
-Nous n'​avons pas d'​exemple de script qui fasse le ménage de manière automatique. De même, si vous ne vous sentez pas à l'aise avec ces scripts, n'​hésitez pas à venir en discuter autour d'un café, le mardi après-midi.+Nous n'​avons pas d'​exemple de script qui fasse le ménage de manière automatique. De même, si vous ne vous sentez pas à l'aise avec ces scripts, n'​hésitez pas à venir [[contact:​forms:​cafe|en discuter autour d'un café]].
  
  
documentation/tutorials/scratch.1580314547.txt.gz · Dernière modification: 2020/08/25 17:58 (modification externe)