Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteProchaine révisionLes deux révisions suivantes |
documentation:tutorials:scratch [2020/01/29 16:15] – [scratch E5] ltaulell | documentation:tutorials:scratch [2021/11/23 13:42] – [Utilisation du scratch : Copie manuelle] ltaulell |
---|
====== Description du /scratch ====== | ====== Description du /scratch ====== |
| |
Le ''/scratch'' est un espace de travail **//temporaire//** dans lequel vous pouvez copier vos données et écrire les résulats de vos calculs. | Un ''/scratch'' est un espace de travail **//temporaire//** dans lequel vous pouvez copier vos données et écrire les résultats de vos calculs. |
Travailler dans le scratch présente les avantages suivants : | Travailler dans un scratch présente les avantages suivants : |
* offrir un plus grand volume de travail que celui disponible dans les ''/home'' (plusieurs espaces ''/scratch'' sont disponibles), | * offrir un plus grand volume de travail que celui disponible dans votre ''/home'' (plusieurs espaces ''/scratch'' sont disponibles), |
* augmenter la vitesse de traitement des lectures/écritures, | * augmenter la vitesse de traitement des lectures/écritures, |
* augmenter le nombre d'entrées/sorties simultanées sur le volume. | * augmenter le nombre d'entrées/sorties simultanées. |
\\ | \\ |
| Les scratchs sont des **espaces communs et partagés**, leurs performances dépendent de votre bon usage. Il **ne doivent pas** contenir : |
| * de documentation (trop de petits fichiers inutiles) ''=> /home'', |
| * de liens symboliques (fichiers minuscules), |
| * de programmes ou d'exécutables (entrées/sorties inutiles) ''=> /home''. |
| |
| <note tip>**Uniquement des données d'entrées, temporaires ou de résultats.**</note> |
| |
| |
Deux types de ''/scratch'' sont disponibles : | Deux types de ''/scratch'' sont disponibles : |
| |
<note warning> | |
**Informations à compléter, arrivée d'un nouveau cluster (Lake)** | |
</note> | |
===== Le /scratch global à un cluster ===== | ===== Le /scratch global à un cluster ===== |
| |
| |
| |
Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, sera accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. | Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, est accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. |
| |
Il contiendra le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. |
| |
Il sera accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** | Il est accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** |
| |
<note tip> | |
**les scratchs Chimie et Bio sont déjà disponibles** | |
</note> | |
| |
<code> | <code> |
/scratch/ | /scratch/ |
├── Lake/ (à venir, common to Lake cluster) | ├── Lake/ (common to Lake cluster) |
├── disk/ (local to some servers) | ├── disk/ (local to some servers) |
├── Chimie/ (reserved to chimie usage) | ├── Chimie/ (reserved to chimie usage) |
| |
| |
Le ''/scratch/E5/'', commun aux files d'attente ** E5-* **, est accessible par tous [[documentation:clusters:hardware&#cluster_equip_meso_ou_e5|les noeuds du cluster Équip@méso]]. | Le ''/scratch/E5N/'', commun aux files d'attente ** E5-* **, est accessible par tous [[documentation:clusters:hardware&#cluster_e5|les noeuds du cluster E5]]. |
| |
Il contient le fichier vide de vérification : ''/scratch/E5/e5-2670-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/E5N/E5N-gfs-scratch''. |
| |
Il est accessible par **[[documentation:clusters:services|les frontales e5-2670comp1 à 2]]** et **[[documentation:clusters:services|e5-2667v4comp1 à 2]]**,\\ ainsi que par le serveur de visualisation **[[documentation:tutorials:visualisation|r740visu]]**. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster E5]]**, ainsi que par le serveur de visualisation **[[documentation:tutorials:visualisation|r740visu]]**. |
| |
<code> | <code> |
/scratch/ | /scratch/ |
├── E5/ (E5 scratch, common to E5 cluster) | ├── E5N/ (E5 scratch, common to E5 cluster) |
├── nvme/ (local to some servers) | ├── nvme/ (local to some servers) |
├── ssd/ (local to some servers) | ├── ssd/ (local to some servers) |
| |
| |
==== scratch X5 ==== | ==== cluster X5 ==== |
| |
Ce ''/scratch/X5/'', commun aux files d'attente **x55/x56***, est accessible par tous [[documentation:clusters:hardware&#cluster_x55_x56|les noeuds du cluster x55/x56]]. | Le ''/scratch/X5/'', commun aux files d'attente **x55/x56***, est accessible par tous [[documentation:clusters:hardware&#cluster_x55_x56|les noeuds du cluster X5]]. |
| |
Il contient le fichier vide de vérification : ''/scratch/X5/x5570-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/X5/x5570-gfs-scratch''. |
| |
Il est accessible par **[[documentation:clusters:services|les frontales x5570comp1 et 2]]**. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster X5]]**. |
| |
<code> | <code> |
</code> | </code> |
| |
\\ | ==== Le scratch local à certains noeuds : ==== |
Le diagramme (<wrap warning>pas à jour</wrap>) ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure du PSMN. | |
\\ | |
| |
{{ :documentation:tutorials:psmn_network_synoptic.png?direct&660 |}} | Des ''/scratch'' locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. [[documentation:clusters:hardware|Voir description plus complète]]. |
| |
| |
| ==== Topologie des réseaux du PSMN ==== |
| |
| \\ |
| Le diagramme ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure réseau du PSMN. |
\\ | \\ |
| |
| {{ :documentation:tutorials:psmn_network_synoptic_a3_2021.png?direct&660 |}} |
| |
==== Le scratch local à certains noeuds : ==== | \\ |
| |
Ces ''/scratch'' locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. [[documentation:clusters:hardware&#clusters_mutualises|Voir description plus complète]]. | |
| |
| |
| |
Pour les ''/scratch'' communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire ''/scratch/<cluster>/login/whatever/''. | Pour les ''/scratch'' communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire ''/scratch/<cluster>/login/whatever/''. |
Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/home'' par ''/scratch/<cluster>'' (copie avec ''cp -r''). | Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/home'' par ''/scratch/<cluster>''. |
| |
Ne pas oublier de modifier ses fichiers de soumission en conséquence. | Ne pas oublier de modifier ses fichiers de soumission en conséquence. |
À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. | À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. |
| |
<note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster.</note> | <note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster : ''/scratch/<cluster>/<login>''</note> |
| |
===== Utilisation du /scratch : Copie automatique ===== | ===== Utilisation du /scratch : Copie automatique ===== |