| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteProchaine révisionLes deux révisions suivantes |
| documentation:tutorials:scratch [2020/01/29 16:05] – [Le /scratch global à un cluster] ltaulell | documentation:tutorials:scratch [2021/11/23 13:42] – [Utilisation du scratch : Copie manuelle] ltaulell |
|---|
| ====== Description du /scratch ====== | ====== Description du /scratch ====== |
| |
| Le ''/scratch'' est un espace de travail **//temporaire//** dans lequel vous pouvez copier vos données et écrire les résulats de vos calculs. | Un ''/scratch'' est un espace de travail **//temporaire//** dans lequel vous pouvez copier vos données et écrire les résultats de vos calculs. |
| Travailler dans le scratch présente les avantages suivants : | Travailler dans un scratch présente les avantages suivants : |
| * offrir un plus grand volume de travail que celui disponible dans les ''/home'' (plusieurs espaces ''/scratch'' sont disponibles), | * offrir un plus grand volume de travail que celui disponible dans votre ''/home'' (plusieurs espaces ''/scratch'' sont disponibles), |
| * augmenter la vitesse de traitement des lectures/écritures, | * augmenter la vitesse de traitement des lectures/écritures, |
| * augmenter le nombre d'entrées/sorties simultanées sur le volume. | * augmenter le nombre d'entrées/sorties simultanées. |
| \\ | \\ |
| | Les scratchs sont des **espaces communs et partagés**, leurs performances dépendent de votre bon usage. Il **ne doivent pas** contenir : |
| | * de documentation (trop de petits fichiers inutiles) ''=> /home'', |
| | * de liens symboliques (fichiers minuscules), |
| | * de programmes ou d'exécutables (entrées/sorties inutiles) ''=> /home''. |
| | |
| | <note tip>**Uniquement des données d'entrées, temporaires ou de résultats.**</note> |
| | |
| | |
| Deux types de ''/scratch'' sont disponibles : | Deux types de ''/scratch'' sont disponibles : |
| |
| <note warning> | |
| **Informations à compléter, arrivée d'un nouveau cluster (Lake)** | ===== Le /scratch global à un cluster ===== |
| </note> | |
| ==== Le /scratch global à un cluster ==== | |
| |
| Comme nous avons plusieurs grands groupes de machines, d'architectures différentes (Lake, les plus récentes, E5 et X5, les plus anciennes), il y a plusieurs scratch globaux. | Comme nous avons plusieurs grands groupes de machines, d'architectures différentes (Lake, les plus récentes, E5 et X5, les plus anciennes), il y a plusieurs scratch globaux. |
| |
| === Titre === | ==== cluster Lake ==== |
| |
| |
| * le <wrap hi> scratch Lake </wrap>, commun aux files d'attente ** CLG* et SLG* ** | Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, est accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. |
| |
| Ce ''/scratch/Lake/'' sera accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. | Il contient le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. |
| |
| Il contiendra le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** |
| | |
| Il sera accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** | |
| |
| <code> | <code> |
| /scratch/ | /scratch/ |
| ├── Lake/ (à venir, common to Lake cluster) | ├── Lake/ (common to Lake cluster) |
| ├── disk/ (local to some servers) | ├── disk/ (local to some servers) |
| ├── Chimie/ (reserved to chimie usage) | ├── Chimie/ (reserved to chimie usage) |
| |
| |
| * le <wrap hi> scratch E5 </wrap>, commun aux files d'attente ** E5-* ** | ==== cluster E5 ==== |
| |
| |
| Ce ''/scratch/E5/'' est accessible par tous [[documentation:clusters:hardware&#cluster_equip_meso_ou_e5|les noeuds du cluster Équip@méso]]. | Le ''/scratch/E5N/'', commun aux files d'attente ** E5-* **, est accessible par tous [[documentation:clusters:hardware&#cluster_e5|les noeuds du cluster E5]]. |
| |
| Il contient le fichier vide de vérification : ''/scratch/E5/e5-2670-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/E5N/E5N-gfs-scratch''. |
| |
| Il est accessible par **[[documentation:clusters:services|les frontales e5-2670comp1 à 2]]** et **[[documentation:clusters:services|e5-2667v4comp1 à 2]]**,\\ ainsi que par le serveur de visualisation **[[documentation:tutorials:visualisation|r740visu]]**. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster E5]]**, ainsi que par le serveur de visualisation **[[documentation:tutorials:visualisation|r740visu]]**. |
| |
| <code> | <code> |
| /scratch/ | /scratch/ |
| ├── E5/ (E5 scratch, common to E5 cluster) | ├── E5N/ (E5 scratch, common to E5 cluster) |
| ├── nvme/ (local to some servers) | ├── nvme/ (local to some servers) |
| ├── ssd/ (local to some servers) | ├── ssd/ (local to some servers) |
| |
| |
| * le <wrap hi> scratch X5 </wrap>, commun aux files d'attente **x55/x56*** | ==== cluster X5 ==== |
| |
| Ce ''/scratch/X5/'' est accessible par tous [[documentation:clusters:hardware&#cluster_x55_x56|les noeuds du cluster x55/x56]]. | Le ''/scratch/X5/'', commun aux files d'attente **x55/x56***, est accessible par tous [[documentation:clusters:hardware&#cluster_x55_x56|les noeuds du cluster X5]]. |
| |
| Il contient le fichier vide de vérification : ''/scratch/X5/x5570-gfs-scratch''. | Il contient le fichier vide de vérification : ''/scratch/X5/x5570-gfs-scratch''. |
| |
| Il est accessible par **[[documentation:clusters:services|les frontales x5570comp1 et 2]]**. | Il est accessible par **[[documentation:clusters:services|les frontales du cluster X5]]**. |
| |
| <code> | <code> |
| └── X5/ (X5 scratch, common to X5 cluster) | └── X5/ (X5 scratch, common to X5 cluster) |
| </code> | </code> |
| | |
| | ==== Le scratch local à certains noeuds : ==== |
| | |
| | Des ''/scratch'' locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. [[documentation:clusters:hardware|Voir description plus complète]]. |
| | |
| | |
| | ==== Topologie des réseaux du PSMN ==== |
| |
| \\ | \\ |
| Le diagramme (<wrap warning>pas à jour</wrap>) ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure du PSMN. | Le diagramme ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure réseau du PSMN. |
| \\ | \\ |
| |
| {{ :documentation:tutorials:psmn_network_synoptic.png?direct&660 |}} | {{ :documentation:tutorials:psmn_network_synoptic_a3_2021.png?direct&660 |}} |
| |
| \\ | \\ |
| |
| |
| ==== Le /scratch local de certains noeuds : ==== | |
| |
| Ces ''/scratch'' locaux sont disponibles seulement sur certains des noeuds des clusters mutualisés. [[documentation:clusters:hardware&#clusters_mutualises|Voir description plus complète]]. | |
| |
| |
| ====== Utiliser le scratch ====== | ====== Utiliser le scratch ====== |
| ===== Utilisation du /scratch : Copie manuelle ===== | ===== Utilisation du scratch : Copie manuelle ===== |
| |
| Pour les ''/scratch'' communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire ''/scratch/<cluster>/login/whatever/''. | Pour les ''/scratch'' communs (Lake, E5, X5), avant la soumission d'un job, copier ses données d'entrée dans un répertoire ''/scratch/<cluster>/login/whatever/''. |
| Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/home'' par ''/scratch/<cluster>'' (copie avec ''cp -r''). | Le plus simple étant de reproduire la même hiérarchie de répertoires et fichiers en changeant ''/home'' par ''/scratch/<cluster>''. |
| |
| Ne pas oublier de modifier ses fichiers de soumission en conséquence. | Ne pas oublier de modifier ses fichiers de soumission en conséquence. |
| À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. | À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. |
| |
| <note warning>Vous ne pouvez pas écrire dans ''/scratch/'', il faut ajouter le cluster.</note> | <note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster : ''/scratch/<cluster>/<login>''</note> |
| ===== Utilisation du /scratch : Copie automatique ===== | ===== Utilisation du /scratch : Copie automatique ===== |
| |
