Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
documentation:clusters:hardware [2021/11/17 16:06] – [Clusters de formation et d'expérimentation du CBP] ltaulelldocumentation:clusters:hardware [2023/07/21 06:42] (Version actuelle) – [Cluster E5] ltaulell
Ligne 1: Ligne 1:
- 
 ====== Configuration matérielle des clusters ====== ====== Configuration matérielle des clusters ======
  
 Description du matériel disponible dans les différents clusters du PSMN.  Description du matériel disponible dans les différents clusters du PSMN. 
  
-  Les files d'attentes permettant de lancer des jobs sur ces machines sont décrites dans [[documentation:clusters:batch|Le système de batch]], +<WRAP center round important 60%> 
-  * Les serveurs de compilation, pour chaque architecture, sont décrits dans les [[documentation:clusters:services|Machines de services]]. + 
-  +**[[http://www.ens-lyon.fr/PSMN/Documentation/|New Documentation (Debian 11 / Slurm)]]** 
-  * Nombre total de coeurs actifs **18 592** pour **660** serveurs.+ 
 +See also our [[news:blog|Fil des news]] for up-to-date informations 
 +</WRAP> 
 + 
 +Tous les clusters utilisent le même OS, Debian 11 ainsi que le gestionnaire de job slurm. 
 + 
 +<WRAP center round information 60%> 
 +[[news:stats|Statistiques d'utilisation des clusters]] 
 +</WRAP> 
 + 
 + 
 +====== Cluster Cascade ====== 
 + 
 +Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/Cascade/''**) 
 + 
 +  * **16 416 coeurs au total** 
 + 
 +===== Groupe s92 ===== 
 + 
 +171 noeuds bi-processeurs Intel S9200WK identiques, chaque noeud contenant :  
 +  2 processeurs Intel Platinum 9242 octatetraconta-core 2,3 Ghz (96 cores) 
 +  * **384 Go** de Mémoire (soit 4 GiB/coeur) 
 +  * interconnexion Infiniband HDR/EDR (100 Gb/s) 
  
 ====== Cluster Lake ====== ====== Cluster Lake ======
Ligne 14: Ligne 36:
 Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/Lake/''**) Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/Lake/''**)
  
-  * **13 664 coeurs au total**+  * **13 472 coeurs au total**
  
  
- +===== Groupe Epyc =====
- +
-===== Groupe EPYC7702deb512 =====+
  
 14 noeuds bi-processeurs Dell C6525 identiques, chaque noeud contenant :  14 noeuds bi-processeurs Dell C6525 identiques, chaque noeud contenant : 
-  * 2 processeurs AMD 7702 tetrahexaconta core 2 Ghz (128 cores)+  * 2 processeurs AMD 7702 tetrahexaconta-core 2 Ghz (128 cores)
   * **512 Go** de Mémoire (soit 4 GiB/coeur)   * **512 Go** de Mémoire (soit 4 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/Lake/'')** 
   * interconnexion Infiniband EDR (100 Gb/s)   * interconnexion Infiniband EDR (100 Gb/s)
-  * OS Debian 9 
  
-  * **2048 coeurs au total** +===== Groupe c6420-192 =====
- +
-{{ :documentation:clusters:c6525deb512-hwloc.png?direct&200 |}} +
- +
-===== Groupe c6420deb192 =====+
  
 108 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant :  108 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant : 
   * 2 processeurs Intel 6226R **Cascade Lake** hexadeca-core 2,9 Ghz (32 cores)   * 2 processeurs Intel 6226R **Cascade Lake** hexadeca-core 2,9 Ghz (32 cores)
   * **192 Go** de Mémoire (soit 6 GiB/coeur)   * **192 Go** de Mémoire (soit 6 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/Lake/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
  
-  * **3456 coeurs au total**+===== Groupe c6420-96 =====
  
-{{ :documentation:clusters:c6420deb192-hwloc.png?direct&200 |}}+8 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant  
 +  * 2 processeurs Intel 5118 **Cascade Lake** dodeca-core 2,3 Ghz (24 cores) 
 +  * **96 Go** de Mémoire (soit 4 GiB/coeur) 
 +  * interconnexion Infiniband FDR (56 Gb/s)
  
 +===== Groupe xlr178-192 =====
  
- +122 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant : 
- +
-===== Groupe xlr178deb192 ===== +
- +
-120 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant : +
   * 2 processeurs Intel 5218 **Cascade Lake** hexadeca-core 2,3 Ghz (32 cores)   * 2 processeurs Intel 5218 **Cascade Lake** hexadeca-core 2,3 Ghz (32 cores)
   * **192 Go** de Mémoire (soit 6 GiB/coeur)   * **192 Go** de Mémoire (soit 6 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/Lake/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
- 
-  * **3840 coeurs au total** 
  
-{{ :documentation:clusters:xlr170deb192-hwloc.png?direct&200 |}} +===== Groupe xlr170-384 =====
-===== Groupe xlr170deb384 =====+
  
 60 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant :  60 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant : 
   * 2 processeurs Intel 6242 **Cascade Lake** hexadeca-core 2,8 Ghz (32 cores)   * 2 processeurs Intel 6242 **Cascade Lake** hexadeca-core 2,8 Ghz (32 cores)
   * **384 Go** de Mémoire (soit 12 GiB/coeur)   * **384 Go** de Mémoire (soit 12 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/Lake/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
  
-  * **1920 coeurs au total**+===== Groupe c6420-384 =====
  
-{{ :documentation:clusters:xlr170deb384-hwloc.png?direct&200 |}} +62 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant : 
-===== Groupe c6420deb384 ===== +
- +
-60 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant : +
   * 2 processeurs Intel 6142 **Sky Lake** hexadeca-core 2,6 Ghz (32 cores)   * 2 processeurs Intel 6142 **Sky Lake** hexadeca-core 2,6 Ghz (32 cores)
   * **384 Go** de Mémoire (soit 12 GiB/coeur)   * **384 Go** de Mémoire (soit 12 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/Lake/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
- 
-  * **1920 coeurs au total** 
- 
-{{ :documentation:clusters:m6142-hwloc.png?direct&200 |}} 
- 
- 
  
 ===== Groupe r730gpu ===== ===== Groupe r730gpu =====
  
-20 noeuds bi-processeurs Dell R730 identiques, chaque noeud contenant : +24 noeuds bi-processeurs Dell R730 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2637v3 **Haswell** tetra-core 3,5 Ghz (8 cores)   * 2 processeurs Intel E5-2637v3 **Haswell** tetra-core 3,5 Ghz (8 cores)
   * **128 Go** de Mémoire (soit 16 GiB/coeur)   * **128 Go** de Mémoire (soit 16 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/Lake/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
   * 2 accélérateurs GPGPU (Nvidia RTX 2080Ti)   * 2 accélérateurs GPGPU (Nvidia RTX 2080Ti)
  
-  * **40 GPGPU (Nvidia RTX 2080Ti) au total**+===== r740bigmem =====
  
-{{ :documentation:clusters:r730gpu-hwloc.png?direct&200 |}}+1 noeud bi-processeurs Dell R740 contenant : 
 +  * 2 processeurs Intel 6226R **Cascade Lake** hexadeca-core 2,9 Ghz (32 cores) 
 +  * **1500 Go** de Mémoire (soit ~46 GiB/coeur) 
 +  * interconnexion Infiniband FDR (56 Gb/s)
  
 ====== Cluster E5 ====== ====== Cluster E5 ======
Ligne 106: Ligne 101:
 Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/E5N/''**) Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/E5N/''**)
  
- * **4928 coeurs au total**+  * **1664 coeurs au total**
  
 Une partie de ce cluster a été financé par **[[http://www.genci.fr/fr/content/equipmeso|Équip@méso]]**. Une partie de ce cluster a été financé par **[[http://www.genci.fr/fr/content/equipmeso|Équip@méso]]**.
  
-===== Groupe c6320deb128v4 =====+===== Groupe c6320-128 =====
  
-34 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : +24 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)
   * **128 Go** de Mémoire (soit 8 GiB/coeur)   * **128 Go** de Mémoire (soit 8 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/E5N/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
- 
-  * **544 coeurs au total** 
- 
-{{ :documentation:clusters:e5-2667v4.png?direct&200 |}} 
  
-===== Groupe c6320deb256Av4 =====+===== Groupe c6320-256A =====
  
 12 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant :  12 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2697Av4 **Broadwell** hexadeca-core 2,6 Ghz (32 cores)   * 2 processeurs Intel E5-2697Av4 **Broadwell** hexadeca-core 2,6 Ghz (32 cores)
   * **256 Go** de Mémoire (soit 16 GiB/coeur)   * **256 Go** de Mémoire (soit 16 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/E5N/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
  
-  * **384 coeurs au total** 
  
- +===== Groupe c6320-256 =====
-{{ :documentation:clusters:e5-2697Av4.png?direct&200 |}} +
-===== Groupe c6320deb256v4 =====+
  
 24 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant :  24 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)
   * **256 Go** de Mémoire (soit 16 GiB/coeur)   * **256 Go** de Mémoire (soit 16 GiB/coeur)
-  * **/scratch global 71 TiB (''/scratch/E5N/'')** 
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
  
-  * **384 coeurs au total** +===== Groupe c8220 =====
- +
- +
-{{ :documentation:clusters:e5-2667v4.png?direct&200 |}} +
- +
-===== Groupe c8220deb128v2 ===== +
- +
-40 noeuds bi-processeurs Dell C8220 identiques, chaque noeud contenant :  +
-  * 2 processeurs Intel E5-2667v2 **Ivy Bridge** octa-core 3,3 Ghz (16 cores) +
-  * **128 Go** de Mémoire (soit 8 GiB/coeur) +
-  * **/scratch global 71 TiB (''/scratch/E5N/'')** +
-  * interconnexion Infiniband FDR (56 Gb/s) +
-  * OS Debian 9 +
- +
-  * **640 coeurs au total** +
- +
-{{ :documentation:clusters:e5-2667v2-hwloc.png?direct&200 |}} +
- +
- +
- +
-===== Groupe c8220deb256 =====+
  
 //financement Équip@méso// //financement Équip@méso//
  
-24 noeuds bi-processeurs Dell c8220 identiques, chaque noeud contenant :+32 noeuds bi-processeurs Dell c8220, chaque noeud contenant :
   * 2 processeurs Intel E5-2670 **Sandy Bridge** octa-core 2,60 Ghz (16 cores)   * 2 processeurs Intel E5-2670 **Sandy Bridge** octa-core 2,60 Ghz (16 cores)
-  * **256 Go** de Mémoire (soit 16 GiB/coeur) +  * **256 Go** de Mémoire (soit 16 GiB/coeur), ou **128 Go** (4 noeuds), ou **64 Go** (4 noeuds) 
-  * **/scratch global 71 TiB (''/scratch/E5N/'')** +  * **/scratch local de 2 TiB (''/scratch/ssd/'')** (certains noeuds seulement)
-  * **/scratch local de 2 TiB (''/scratch/ssd/'')**+
   * interconnexion Infiniband FDR (56 Gb/s)   * interconnexion Infiniband FDR (56 Gb/s)
-  * OS Debian 9 
- 
-  * **384 coeurs au total** 
- 
-{{ :documentation:clusters:sl230-hwloc.png?direct&200 |}} 
-===== Groupe c8220deb128 ===== 
- 
-//financement Équip@méso// 
- 
-  * **6 groupes de 24 noeuds chacun** : c8220deb128A, c8220deb128B, c8220deb128C, c8220deb128D, c8220deb128E et c8220deb128F 
-  
- 
-144 noeuds bi-processeurs Dell c8220 identiques, chaque noeud contenant : 
-  * 2 processeurs Intel E5-2670 **Sandy Bridge** octa-core 2,60 Ghz (16 cores) 
-  * **128 Go** de Mémoire (soit 8 GiB/coeur) 
-  * **/scratch global 71 TiB (''/scratch/E5N/'')** 
-  * interconnexion Infiniband FDR (56 Gb/s) 
-  * OS Debian 9 
- 
-  * **2 304 coeurs au total** 
  
-{{ :documentation:clusters:sl230-hwloc.png?direct&200 |}}+===== Cloud@PSMN (IFB) =====
  
 +Voir [[https://biosphere.france-bioinformatique.fr/cloud/system_status/14/|meso-psmn-cirrus]]
  
  
-===== Clusters de formation et d'expérimentation du CBP =====+====== Clusters de formation et d'expérimentation du CBP ======
  
-Les machines du CBP sont actuellement décrites sur ces pages : +Les machines du CBP sont actuellement décrites sur ces pages :
  
-   * [[http://www.cbp.ens-lyon.fr/doku.php?id=ressources:ressources| Les ressources du CBP]]  +   * [[http://www.cbp.ens-lyon.fr/doku.php?id=ressources:ressources| Les ressources du CBP]] 
-   * [[http://www.cbp.ens-lyon.fr/python/forms/ClusterCBP|Utilisation du cluster au CBP]]+   * [[http://www.cbp.ens-lyon.fr/python/forms/ClusterCBP|Utilisation du cluster CBP]] 
 +   * [[http://www.cbp.ens-lyon.fr/python/forms/CloudCBP|Utilisation du Cloud CBP]]
  
  
documentation/clusters/hardware.1637165200.txt.gz · Dernière modification : 2021/11/17 16:06 de ltaulell