| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteDernière révisionLes deux révisions suivantes |
| documentation:tutorials:scratch [2020/02/14 08:16] – [cluster X5] ltaulell | documentation:tutorials:scratch [2021/11/23 13:43] – [Utilisation du /scratch : Copie automatique] ltaulell |
|---|
| * augmenter le nombre d'entrées/sorties simultanées. | * augmenter le nombre d'entrées/sorties simultanées. |
| \\ | \\ |
| Les scratchs sont des **espaces communs et partagés**, leurs performances dépendent de votre bon usage. Il ne doivent donc pas contenir : | Les scratchs sont des **espaces communs et partagés**, leurs performances dépendent de votre bon usage. Il **ne doivent pas** contenir : |
| * de documentation (trop de petits fichiers inutiles) ''=> /home'', | * de documentation (trop de petits fichiers inutiles) ''=> /home'', |
| * de liens symboliques (fichiers minuscules), | * de liens symboliques (fichiers minuscules), |
| Deux types de ''/scratch'' sont disponibles : | Deux types de ''/scratch'' sont disponibles : |
| |
| <note warning> | |
| **Informations à compléter, arrivée d'un nouveau cluster (Lake)** | |
| </note> | |
| ===== Le /scratch global à un cluster ===== | ===== Le /scratch global à un cluster ===== |
| |
| |
| |
| Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, sera accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. | Le ''/scratch/Lake/'', commun aux files d'attente ** CLG* et SLG* **, est accessible par tous [[documentation:clusters:hardware&#cluster_lake|les noeuds du cluster Lake]]. |
| | |
| Il contiendra le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. | |
| |
| Il sera accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** | Il contient le fichier vide de vérification : ''/scratch/Lake/lake-gfs-scratch''. |
| |
| <note tip> | Il est accessible par **[[documentation:clusters:services|les frontales du cluster Lake]]** |
| **les scratchs Chimie et Bio sont déjà disponibles** | |
| </note> | |
| |
| <code> | <code> |
| /scratch/ | /scratch/ |
| ├── Lake/ (à venir, common to Lake cluster) | ├── Lake/ (common to Lake cluster) |
| ├── disk/ (local to some servers) | ├── disk/ (local to some servers) |
| ├── Chimie/ (reserved to chimie usage) | ├── Chimie/ (reserved to chimie usage) |
| /scratch/ | /scratch/ |
| ├── E5N/ (E5 scratch, common to E5 cluster) | ├── E5N/ (E5 scratch, common to E5 cluster) |
| ├── E5/ (old E5 scratch, **will be stopped 18/03/2020**) | |
| ├── nvme/ (local to some servers) | ├── nvme/ (local to some servers) |
| ├── ssd/ (local to some servers) | ├── ssd/ (local to some servers) |
| |
| \\ | \\ |
| Le diagramme (<wrap warning>pas à jour</wrap>) ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure réseau du PSMN. | Le diagramme ci-dessous représente l'intégration des espaces de ''/scratch'' dans l'infrastructure réseau du PSMN. |
| \\ | \\ |
| |
| {{ :documentation:tutorials:psmn_network_synoptic.png?direct&660 |}} | {{ :documentation:tutorials:psmn_network_synoptic_a3_2021.png?direct&660 |}} |
| |
| \\ | \\ |
| À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. | À la fin du run, récuperer ses résultats à la main, dans le ''/scratch'', depuis une des frontales correspondantes. |
| |
| <note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster.</note> | <note warning>Vous ne pouvez plus écrire dans ''/scratch/'', il faut ajouter le cluster : ''/scratch/<cluster>/<login>''</note> |
| |
| ===== Utilisation du /scratch : Copie automatique ===== | ===== Utilisation du /scratch : Copie automatique ===== |
| |
| Pour les ''/scratch'' locaux, vous ne savez pas quel noeud vous sera attribué (c'est valable aussi pour le scratch global, mais moins génant). Vous ne pouvez donc pas copier vos données vers un noeud en particulier à l'avance. Il faut intégrer la copie ''/scratch''<->''/home'' dans le script soumis. | Pour les ''/scratch'' locaux, vous ne savez pas quel noeud vous sera attribué (c'est valable aussi pour le scratch global, mais moins génant). Vous ne pouvez donc pas copier vos données vers un noeud en particulier à l'avance. Il faut intégrer la copie ''/scratch''<->''/home'' dans le script soumis au scheduler. |
| |
| **Vous trouverez [[documentation:examples:submit_scripts&#job_parallele_variantes|des exemples sur cette page]].** | **Vous trouverez [[documentation:examples:submit_scripts&#job_parallele_variantes|des exemples sur cette page]].** |
| |
| |
| Nous n'avons pas d'exemple de script qui fasse le ménage de manière automatique. De même, si vous ne vous sentez pas à l'aise avec ces scripts, n'hésitez pas à venir en discuter autour d'un café, le mardi après-midi. | Nous n'avons pas d'exemple de script qui fasse le ménage de manière automatique. De même, si vous ne vous sentez pas à l'aise avec ces scripts, n'hésitez pas à venir [[contact:forms:cafe|en discuter autour d'un café]]. |
| |
| |
