Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteProchaine révisionLes deux révisions suivantes |
documentation:tutorials:scratch [2020/02/10 16:06] – [Le scratch local à certains noeuds :] ltaulell | documentation:tutorials:scratch [2021/11/23 13:42] – [Utilisation du scratch : Copie manuelle] ltaulell |
---|
* augmenter le nombre d'entrées/sorties simultanées. | * augmenter le nombre d'entrées/sorties simultanées. |
\\ | \\ |
Les scratchs sont des **espaces communs et partagés**, leurs performances dépendent de votre bon usage. Il ne doivent donc pas contenir : | Les scratchs sont des **espaces communs et partagés**, leurs performances dépendent de votre bon usage. Il **ne doivent pas** contenir : |
* de documentation (trop de petits fichiers inutiles) ''=> /home'', | * de documentation (trop de petits fichiers inutiles) ''=> /home'', |
* de liens symboliques (fichiers minuscules), | * de liens symboliques (fichiers minuscules), |
Deux types de ''/scratch'' sont disponibles : | Deux types de ''/scratch'' sont disponibles : |
| |
<note warning> | |
**Informations à compléter, arrivée d'un nouveau cluster (Lake)** | |
</note> | |
===== Le /scratch global à un cluster ===== | ===== Le /scratch global à un cluster ===== |
| |
| |
| |
Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, sera accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. | Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, est accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. |
| |
Il contiendra le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. | |
| |
Il sera accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** | Il contient le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. |
| |
<note tip> | Il est accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** |
**les scratchs Chimie et Bio sont déjà disponibles** | |
</note> | |
| |
<code> | <code> |
/scratch/ | /scratch/ |
├── Lake/ (à venir, common to Lake cluster) | ├── Lake/ (common to Lake cluster) |
├── disk/ (local to some servers) | ├── disk/ (local to some servers) |
├── Chimie/ (reserved to chimie usage) | ├── Chimie/ (reserved to chimie usage) |
| |
| |
Le ''/scratch/E5/'', commun aux files d'attente ** E5-* **, est accessible par tous [[documentation:clusters:hardware&#cluster_equip_meso_ou_e5|les noeuds du cluster Équip@méso]]. | Le ''/scratch/E5N/'', commun aux files d'attente ** E5-* **, est accessible par tous [[documentation:clusters:hardware&#cluster_e5|les noeuds du cluster E5]]. |
| |
Il contient le fichier vide de vérification : ''/scratch/E5/e5-2670-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/E5N/E5N-gfs-scratch''. |
| |
Il est accessible par **[[documentation:clusters:services|les frontales e5-2670comp1 à 2]]** et **[[documentation:clusters:services|e5-2667v4comp1 à 2]]**,\\ ainsi que par le serveur de visualisation **[[documentation:tutorials:visualisation|r740visu]]**. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster E5]]**, ainsi que par le serveur de visualisation **[[documentation:tutorials:visualisation|r740visu]]**. |
| |
<code> | <code> |
/scratch/ | /scratch/ |
├── E5/ (E5 scratch, common to E5 cluster) | ├── E5N/ (E5 scratch, common to E5 cluster) |
├── nvme/ (local to some servers) | ├── nvme/ (local to some servers) |
├── ssd/ (local to some servers) | ├── ssd/ (local to some servers) |
==== cluster X5 ==== | ==== cluster X5 ==== |
| |
Le ''/scratch/X5/'', commun aux files d'attente **x55/x56***, est accessible par tous [[documentation:clusters:hardware&#cluster_x55_x56|les noeuds du cluster x55/x56]]. | Le ''/scratch/X5/'', commun aux files d'attente **x55/x56***, est accessible par tous [[documentation:clusters:hardware&#cluster_x55_x56|les noeuds du cluster X5]]. |
| |
Il contient le fichier vide de vérification : ''/scratch/X5/x5570-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/X5/x5570-gfs-scratch''. |
| |
Il est accessible par **[[documentation:clusters:services|les frontales x5570comp1 et 2]]**. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster X5]]**. |
| |
<code> | <code> |
| |
\\ | \\ |
Le diagramme (<wrap warning>pas à jour</wrap>) ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure réseau du PSMN. | Le diagramme ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure réseau du PSMN. |
\\ | \\ |
| |
{{ :documentation:tutorials:psmn_network_synoptic.png?direct&660 |}} | {{ :documentation:tutorials:psmn_network_synoptic_a3_2021.png?direct&660 |}} |
| |
\\ | \\ |
| |
Pour les ''/scratch'' communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire ''/scratch/<cluster>/login/whatever/''. | Pour les ''/scratch'' communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire ''/scratch/<cluster>/login/whatever/''. |
Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/home'' par ''/scratch/<cluster>'' (copie avec ''cp -r''). | Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/home'' par ''/scratch/<cluster>''. |
| |
Ne pas oublier de modifier ses fichiers de soumission en conséquence. | Ne pas oublier de modifier ses fichiers de soumission en conséquence. |
À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. | À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. |
| |
<note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster.</note> | <note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster : ''/scratch/<cluster>/<login>''</note> |
| |
===== Utilisation du /scratch : Copie automatique ===== | ===== Utilisation du /scratch : Copie automatique ===== |