Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
news:evolutions [2020/03/04 19:00] – [Clusters] gilquinnews:evolutions [2023/12/21 14:52] (Version actuelle) – [Infrastructures] ltaulell
Ligne 1: Ligne 1:
 ====== Calendrier prévisionnel des Évolutions ====== ====== Calendrier prévisionnel des Évolutions ======
 +
 +
 +===== Évolutions 2023 =====
 +
 +==== Infrastructures ====
 +
 +== Automne 2023 ==
 +
 +  * Cluster Cascade, tranche 3
 +    * nouveaux noeuds Cascade => **OK**
 +    * nouveau scratch/Cascade => **OK**
 +
 +== Printemps 2023 ==
 +
 +  * Cluster Cascade, tranche 3
 +    * nouveaux noeuds Cascade => **IN PROGRESS**
 +    * nouveau scratch/Cascade => **IN PROGRESS**
 +
 +  * website migration (by DUNES) => **OK**
 +    * new URL for Documentation [[http://www.ens-lyon.fr/PSMN/Documentation/]] => **OK**
 +
 +
 +===== Évolutions 2022 =====
 +
 +==== Infrastructures ====
 +
 +== Automne 2022 ==
 +
 +
 +<note warning>**IMPORTANT NEWS**
 +Debian9/SGE has been shutdown definitely Friday 21th of October 2022
 +</note>
 +
 +  * **Nouvelle infrastructure système**
 +    * migration debian 9 -> **debian 11** (LTS) => **DONE**
 +    * migration GridEngine -> **slurm** => **DONE**
 +    * nouveau système d'installation des logiciels (easybuild)  => **DONE**
 +    * remise à zéro des scratchs (lors de la migration)  => **DONE**
 +      * **All deb9 scratchs emptied and erased for migration**
 +      * E5N, Lake, Chimie, Bio, Themiss
 +  * Partitions slurm **ouvertes** tests + **PRODUCTION** => **DONE**
 +
 +  * New Documentation => **READY**, https://meso-centres-lyon.pages.in2p3.fr/psmn-rtd/index.html
 +
 +== Printemps 2022==
 +
 +  * **Nouvelle infrastructure système**
 +    * migration debian 9 -> **debian 11** (LTS) => **READY**
 +    * migration GridEngine -> **slurm** => **READY**
 +    * nouveau système d'installation des logiciels (easybuild)  => **READY**
 +    * remise à zéro des scratchs (lors de la migration)  => **AWAITING**
 +    * New Documentation (**READY**) https://meso-centres-lyon.pages.in2p3.fr/psmn-rtd/index.html
 +  * Cluster Cascade **ouvert** aux béta-tests => **OPEN / IN PRODUCTION** ([[contact:forms:problem|use web forms for access]])
 +
 +
 +
 +
 +
 +==== Clusters ====
 +
 +== Automne 2022 ==
 +
 +  * cluster Cascade : <del>Déménagement et</del> doublement de la capacité (7k -> 14k cores) => **IN PROGRESS**
 +  * cluster E5 : <del>Déménagement et</del> réduction de la capacité (4k -> 2k cores) => **IN PROGRESS**
 +
 +
 +
 +== Printemps 2022 ==
 +
 +  * cluster Cascade : Déménagement et doublement de la capacité (7k -> 14k cores) => **AWAITING**
 +  * cluster E5 : Déménagement et réduction de la capacité (4k -> 2k cores) => **IN PROGRESS**
 +
 +
 +== 2022-ish ==
 +
 +  * Extension du cluster Epyc
 +
 +===== Évolutions 2021 =====
 +
 +==== Infrastructures ====
 +
 +== Automne 2021 ==
 +
 +  * migration debian 9 -> **debian 11** (LTS)
 +  * migration GridEngine -> **slurm**
 +  * nouveau système d'installation des logiciels
 +  * modifications sur le réseau backbone (100G, 40G, 10G)  <- **OK**
 +  * remise à zéro des scratchs
 +    * **/scratch/Chimie (cluster Lake) -> pendant la coupure du 23/10/2021**
 +  * nouveau serveur de bases de données <- **OK le 08/10/2021** 
 +    * **r640database**
 +    * <del>postgresql</del> OK
 +    * <del>mysql</del> OK
 +
 +
 +==== Clusters ====
 +
 +== Décembre 2021 ==
 +
 +  * Extension du cluster Epyc 
 + 
 +== Septembre/Octobre 2021 ==
 +
 +  * **Nouveau cluster Cascade**
 +    * 96 serveurs bi-socket équipés de processeurs Cascade Lake 9242 et 384 GiB de mémoire (48 coeurs à 2,3Ghz, 71,5 MiB de cache).
 +    * Infinband HDR 100.
 +    * Environ 9000 coeurs Cascade Lake 9242.
 +    * Une unique file d'attente parallèle avec 6912 coeurs disponibles.
 +    * Stockage /scratch dédié.
 +    * <del>Compilateurs dédiés.</del> -> s92node01, cl6242comp2
 +
 +== Janvier 2021 ==
 +
 +**Nouvelles files d'attente:**
 +
 +  * CLG6226Rdeb1500 32 coeurs 6226R et 1,5 TiB de mémoire accès avec autorisation **créée le 11/01/2021**
 +
 +
 +**Stockage:**
 +
 +  * nouveau scratch ''/scratch/Cral'' sur les clusters ''Lake'' et ''Epyc'' (réservé au CRAL)
 +
  
 ===== Évolutions 2020 ===== ===== Évolutions 2020 =====
Ligne 6: Ligne 128:
 ==== Clusters ==== ==== Clusters ====
  
-=== Opérations en cours sur le cluster X5: === +=== Automne 2020 : Nouveau cluster "Epyc" sur base de processeurs AMD Epyc ===
-  * serveurs r422: +
-    * la queue x5570deb48 a été créée **Fait le 13/01/2020** +
-  * serveurs sl390: +
-    * la queue x5650deb24 a été créée **Fait le 13/01/2020** +
-  * arrêt des serveurs r815: +
-    * la queue r815lin128ib sera arrêtée définitivement courant 2020.+
  
-=== Nouveau cluster "Lake" (en cours d'installation) ===+ 
 +**Nouvelles files d'attente:** 
 + 
 +  * Epyc7702deb512, Infiniband EDR (2048 coeurs disponibles 4Go/coeur) **créée le 16/12/2020** 
 +    * liaison au ''/scratch/Lake'' **OK le 16/12/2020** 
 + 
 +<del>Le matériel étant trés récent et notre système un peu ancien, nous avons quelques difficultés...</del> 
 + 
 + 
 +   
 +=== Automne 2020 : Extension cluster "Lake" === 
 + 
 +**Nouveaux compilateurs:** 
 + 
 +  * cl6226comp1 et 2 **mis en service le 09/12/2020** 
 + 
 +**Nouvelles files d'attente:** 
 + 
 +  * Matlab (32 coeurs disponibles 8Go/coeur**créee le 07/09/2020** 
 +  * monointeldeb96 (192 coeurs disponibles 4Go/coeur) **créee le 11/09/2020** 
 +  * Queue CLG5218deb182Themiss renommée CLG5218deb182Th **créee le 18/09/2020** 
 +  * Queue CLG5218deb182Themiss renommée CLG5218deb182Th **Ajout de 12 serveurs 384 coeurs le 16/11/2020** 
 +  * CLG6226Rdeb192A Infiniband FDR (768 coeurs disponibles 6Go/coeur) **Créée le 27/11/2020** 
 +  * CLG6226Rdeb192B Infiniband FDR (768 coeurs disponibles 6Go/coeur) **Créée le 30/11/2020** 
 +  * CLG6226Rdeb192C Infiniband FDR (768 coeurs disponibles 6Go/coeur) **Créée le 04/12/2020** 
 +  * CLG6226Rdeb192D Infiniband FDR (768 coeurs disponibles 6Go/coeur) **Créée le 04/12/2020** 
 +  * h48-CLG6226Rdeb192 Infiniband FDR (384 coeurs disponibles 6Go/coeur limitée à 48h) **Créée le 04/12/2020** 
 + 
 + 
 +**Stockage:** 
 +  * migration Chimie (data et homes, data2 -> data10), finalisation pendant coupure d'octobre 
 +  * migration Geol (data et homes, data3 -> data9), finalisation pendant coupure d'octobre 
 + 
 + 
 +=== Automne 2020 : Extinction cluster "X5" === 
 + 
 +À partir du 01/09/2020, les serveurs les plus anciens vont être arrêtés (et de nouveaux serveurs installés). Files d'attentes qui seront arrêtées et remplacées : 
 + 
 +  * <del>matlab</del> **Définitivement arrêtée le 03/09/2020** 
 +  * <del>matlabbig</del> **Définitivement arrêtée le 03/09/2020** 
 +  * <del>monointeldeb24</del> **Définitivement arrêtée le 03/09/2020** 
 +  * <del>monointeldeb48</del> **Définitivement arrêtée le 03/09/2020** 
 +  * <del>r815lin128ib</del> **Définitivement arrêtée le 03/09/2020** 
 +  * <del>x5570deb48</del> **Définitivement arrêtée le 01/09/2020** 
 +  * <del>x5650deb24</del> **Définitivement arrêtée le 03/09/2020** 
 +  * <del>x5650comp1 et x5650comp3</del> **Définitivement arrêtée le 07/10/2020** 
 +  * x5570comp1, x5570comp2 et scratch X5 : **Définitivement arrêtée le 23/10/2020** 
 + 
 +Les frontales correspondantes (x5570comp1, x5570comp2, x5650comp1, x5650comp3) ainsi que le scratch ''X5'' seront aussi arrêtés trés prochainement. 
 + 
 +Par ailleurs, la file d'attente **r820deb768** est en panne (et hors garantie). 
 + 
 + 
 +=== Printemps 2020 : Nouveau cluster "Lake" ===
  
   * modification ou nouvelles files d'attente :   * modification ou nouvelles files d'attente :
-    * nouvelle file CLG6242deb384B comprenant 768 coeurs CL 6242 online fin mars 2020+    * nouvelle file CLG6242deb384B comprenant 768 coeurs CL 6242 **Fait le 13/04/2020**
          
 Nouveau scratch "Lake" : Nouveau scratch "Lake" :
 <code> <code>
 /scratch/ /scratch/
-     ├── Lake/        (à venir avant fin mars, common to Lake cluster)+     ├── Lake/        (Opérationnel le 13 mars 2020)
      ├── disk/        (local to some servers)      ├── disk/        (local to some servers)
      ├── Chimie       (reserved to chimie usage)      ├── Chimie       (reserved to chimie usage)
Ligne 28: Ligne 197:
      ...      ...
      └── Project_name (reserved to some servers, with dedicated hardware)      └── Project_name (reserved to some servers, with dedicated hardware)
- 
 </code> </code>
  
 +=== Opérations en cours sur le cluster X5: === 
 +  * serveurs r422: 
 +    * la queue x5570deb48 a été créée **Fait le 13/01/2020** 
 +  * serveurs sl390: 
 +    * la queue x5650deb24 a été créée **Fait le 13/01/2020** 
 +  * arrêt des serveurs r815: 
 +    * la queue r815lin128ib a été arrêtée définitivement **Fait le 11/09/2020**
 ===== Évolutions 2019 ===== ===== Évolutions 2019 =====
  
news/evolutions.1583348436.txt.gz · Dernière modification : 2020/08/25 15:58 (modification externe)