Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
documentation:clusters:hardware [2020/10/22 09:28] – [Configuration matérielle des clusters] gilquindocumentation:clusters:hardware [2023/07/21 06:42] (Version actuelle) – [Cluster E5] ltaulell
Ligne 1: Ligne 1:
- 
 ====== Configuration matérielle des clusters ====== ====== Configuration matérielle des clusters ======
  
 Description du matériel disponible dans les différents clusters du PSMN.  Description du matériel disponible dans les différents clusters du PSMN. 
  
-  * Les files d'attentes permettant de lancer des jobs sur ces machines sont décrites dans [[documentation:clusters:batch|Le système de batch]], +<WRAP center round important 60%>
-  * Les serveurs de compilation, pour chaque architecture, sont décrits dans les [[documentation:clusters:services|Machines de services]]. +
-  *  +
-  * nombre total de coeurs actifs **17 568** pour **660** serveurs.+
  
-====== Cluster Lake ======+**[[http://www.ens-lyon.fr/PSMN/Documentation/|New Documentation (Debian 11 / Slurm)]]**
  
 +See also our [[news:blog|Fil des news]] for up-to-date informations
 +</WRAP>
  
-Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/Lake/''**)+Tous les clusters utilisent le même OSDebian 11 ainsi que le gestionnaire de job slurm.
  
-  * **12 928 coeurs au total**+<WRAP center round information 60%> 
 +[[news:stats|Statistiques d'utilisation des clusters]] 
 +</WRAP>
  
  
 +====== Cluster Cascade ======
  
 +Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/Cascade/''**)
  
-===== Groupe EPYC7702deb512 =====+  * **16 416 coeurs au total**
  
-14 noeuds bi-processeurs Dell C6525 identiques, chaque noeud contenant :  +===== Groupe s92 =====
-  * 2 processeurs AMD 7702 tetrahexaconta core 2 Ghz (128 cores) +
-  * **512 Go** de Mémoire (soit 4 Go/coeur) +
-  * **/scratch global 71To (''/scratch/Lake/'')** +
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9+
  
-  * **1792 coeurs au total**+171 noeuds bi-processeurs Intel S9200WK identiques, chaque noeud contenant :  
 +  2 processeurs Intel Platinum 9242 octatetraconta-core 2,3 Ghz (96 cores) 
 +  * **384 Go** de Mémoire (soit 4 GiB/coeur) 
 +  * interconnexion Infiniband HDR/EDR (100 Gb/s)
  
-{{ :documentation:clusters:c6525deb512-hwloc.png?direct&200 |}} 
  
-===== Groupe c6420deb192 =====+====== Cluster Lake ======
  
-108 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant :  
-  * 2 processeurs Intel 6226R **Cascade Lake** hexadeca-core 2,9 Ghz (32 cores) 
-  * **192 Go** de Mémoire (soit 6 Go/coeur) 
-  * **/scratch global 71To (''/scratch/Lake/'')** 
-  * interconnexion Infiniband FDR (56Gb/s) 
-  * OS Debian 9 
  
-  * **3456 coeurs au total**+Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/Lake/''**)
  
-{{ :documentation:clusters:c6420deb192-hwloc.png?direct&200 |}}+  * **13 472 coeurs au total**
  
  
 +===== Groupe Epyc =====
  
 +14 noeuds bi-processeurs Dell C6525 identiques, chaque noeud contenant : 
 +  * 2 processeurs AMD 7702 tetrahexaconta-core 2 Ghz (128 cores)
 +  * **512 Go** de Mémoire (soit 4 GiB/coeur)
 +  * interconnexion Infiniband EDR (100 Gb/s)
  
-===== Groupe xlr178deb192 =====+===== Groupe c6420-192 =====
  
-120 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant :  +108 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant :  
-  * 2 processeurs Intel 5218 **Cascade Lake** hexadeca-core 2,Ghz (32 cores) +  * 2 processeurs Intel 6226R **Cascade Lake** hexadeca-core 2,Ghz (32 cores) 
-  * **192 Go** de Mémoire (soit 6 Go/coeur) +  * **192 Go** de Mémoire (soit 6 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/Lake/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9+
  
-  * **3840 coeurs au total**+===== Groupe c6420-96 ===== 
 + 
 +8 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant :  
 +  2 processeurs Intel 5118 **Cascade Lake** dodeca-core 2,3 Ghz (24 cores) 
 +  * **96 Go** de Mémoire (soit 4 GiB/coeur) 
 +  * interconnexion Infiniband FDR (56 Gb/s) 
 + 
 +===== Groupe xlr178-192 ===== 
 + 
 +122 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant :  
 +  * 2 processeurs Intel 5218 **Cascade Lake** hexadeca-core 2,3 Ghz (32 cores) 
 +  * **192 Go** de Mémoire (soit 6 GiB/coeur) 
 +  * interconnexion Infiniband FDR (56 Gb/s)
  
-{{ :documentation:clusters:xlr170deb192-hwloc.png?direct&200 |}} +===== Groupe xlr170-384 =====
-===== Groupe xlr170deb384 =====+
  
 60 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant :  60 noeuds bi-processeurs HPE XL170r identiques, chaque noeud contenant : 
   * 2 processeurs Intel 6242 **Cascade Lake** hexadeca-core 2,8 Ghz (32 cores)   * 2 processeurs Intel 6242 **Cascade Lake** hexadeca-core 2,8 Ghz (32 cores)
-  * **384 Go** de Mémoire (soit 12 Go/coeur) +  * **384 Go** de Mémoire (soit 12 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/Lake/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9+
  
-  * **1920 coeurs au total**+===== Groupe c6420-384 =====
  
-{{ :documentation:clusters:xlr170deb384-hwloc.png?direct&200 |}} +62 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant : 
-===== Groupe c6420deb384 ===== +
- +
-60 noeuds bi-processeurs Dell C6420 identiques, chaque noeud contenant : +
   * 2 processeurs Intel 6142 **Sky Lake** hexadeca-core 2,6 Ghz (32 cores)   * 2 processeurs Intel 6142 **Sky Lake** hexadeca-core 2,6 Ghz (32 cores)
-  * **384 Go** de Mémoire (soit 12 Go/coeur) +  * **384 Go** de Mémoire (soit 12 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/Lake/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9 +
- +
-  * **1920 coeurs au total** +
- +
-{{ :documentation:clusters:m6142-hwloc.png?direct&200 |}} +
- +
  
 ===== Groupe r730gpu ===== ===== Groupe r730gpu =====
  
-20 noeuds bi-processeurs Dell R730 identiques, chaque noeud contenant : +24 noeuds bi-processeurs Dell R730 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2637v3 **Haswell** tetra-core 3,5 Ghz (8 cores)   * 2 processeurs Intel E5-2637v3 **Haswell** tetra-core 3,5 Ghz (8 cores)
-  * **128 Go** de Mémoire (soit 16 Go/coeur) +  * **128 Go** de Mémoire (soit 16 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/Lake/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9+
   * 2 accélérateurs GPGPU (Nvidia RTX 2080Ti)   * 2 accélérateurs GPGPU (Nvidia RTX 2080Ti)
  
-  * **40 GPGPU (Nvidia RTX 2080Ti) au total**+===== r740bigmem =====
  
-{{ :documentation:clusters:r730gpu-hwloc.png?direct&200 |}}+1 noeud bi-processeurs Dell R740 contenant : 
 +  * 2 processeurs Intel 6226R **Cascade Lake** hexadeca-core 2,9 Ghz (32 cores) 
 +  * **1500 Go** de Mémoire (soit ~46 GiB/coeur) 
 +  * interconnexion Infiniband FDR (56 Gb/s)
  
 ====== Cluster E5 ====== ====== Cluster E5 ======
Ligne 106: Ligne 101:
 Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/E5N/''**) Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/E5N/''**)
  
- * **4640 coeurs au total**+  * **1664 coeurs au total**
  
 Une partie de ce cluster a été financé par **[[http://www.genci.fr/fr/content/equipmeso|Équip@méso]]**. Une partie de ce cluster a été financé par **[[http://www.genci.fr/fr/content/equipmeso|Équip@méso]]**.
  
-===== Groupe c6320deb128v4 =====+===== Groupe c6320-128 =====
  
-34 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : +24 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)
-  * **128 Go** de Mémoire (soit 8 Go/coeur) +  * **128 Go** de Mémoire (soit 8 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/E5N/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9 +
- +
-  * **544 coeurs au total** +
- +
-{{ :documentation:clusters:e5-2667v4.png?direct&200 |}}+
  
-===== Groupe c6320deb256Av4 =====+===== Groupe c6320-256A =====
  
 12 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant :  12 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2697Av4 **Broadwell** hexadeca-core 2,6 Ghz (32 cores)   * 2 processeurs Intel E5-2697Av4 **Broadwell** hexadeca-core 2,6 Ghz (32 cores)
-  * **256 Go** de Mémoire (soit 16 Go/coeur) +  * **256 Go** de Mémoire (soit 16 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/E5N/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9+
  
-  * **384 coeurs au total** 
  
- +===== Groupe c6320-256 =====
-{{ :documentation:clusters:e5-2697Av4.png?direct&200 |}} +
-===== Groupe c6320deb256v4 =====+
  
 24 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant :  24 noeuds bi-processeurs Dell C6320 identiques, chaque noeud contenant : 
   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)   * 2 processeurs Intel E5-2667v4 **Broadwell** octa-core 3,2 Ghz (16 cores)
-  * **256 Go** de Mémoire (soit 16 Go/coeur) +  * **256 Go** de Mémoire (soit 16 GiB/coeur) 
-  * **/scratch global 71To (''/scratch/E5N/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9+
  
-  * **384 coeurs au total** +===== Groupe c8220 =====
- +
- +
-{{ :documentation:clusters:e5-2667v4.png?direct&200 |}} +
- +
-===== Groupe c8220deb128v2 ===== +
- +
-40 noeuds bi-processeurs Dell C8220 identiques, chaque noeud contenant :  +
-  * 2 processeurs Intel E5-2667v2 **Ivy Bridge** octa-core 3,3 Ghz (16 cores) +
-  * **128 Go** de Mémoire (soit 8 Go/coeur) +
-  * **/scratch global 71To (''/scratch/E5N/'')** +
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 7 +
- +
-  * **640 coeurs au total** +
- +
-{{ :documentation:clusters:e5-2667v2-hwloc.png?direct&200 |}} +
- +
- +
- +
-===== Groupe c8220deb256 =====+
  
 //financement Équip@méso// //financement Équip@méso//
  
-24 noeuds bi-processeurs Dell c8220 identiques, chaque noeud contenant :+32 noeuds bi-processeurs Dell c8220, chaque noeud contenant :
   * 2 processeurs Intel E5-2670 **Sandy Bridge** octa-core 2,60 Ghz (16 cores)   * 2 processeurs Intel E5-2670 **Sandy Bridge** octa-core 2,60 Ghz (16 cores)
-  * **256 Go** de Mémoire (soit 16 Go/coeur) +  * **256 Go** de Mémoire (soit 16 GiB/coeur), ou **128 Go** (noeuds), ou **64 Go** (noeuds) 
-  * **/scratch global 71To (''/scratch/E5N/'')** +  * **/scratch local de 2 TiB (''/scratch/ssd/'')** (certains noeuds seulement
-  * **/scratch local de 2To (''/scratch/ssd/'')** +  * interconnexion Infiniband FDR (56 Gb/s)
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9 +
- +
-  * **384 coeurs au total** +
- +
-{{ :documentation:clusters:sl230-hwloc.png?direct&200 |}} +
-===== Groupe c8220deb128 ===== +
- +
-//financement Équip@méso// +
- +
-  * **6 groupes de 24 noeuds chacun** : c8220deb128Ac8220deb128B, c8220deb128C, c8220deb128D, c8220deb128E et c8220deb128F +
-  +
- +
-144 noeuds bi-processeurs Dell c8220 identiques, chaque noeud contenant : +
-  * 2 processeurs Intel E5-2670 **Sandy Bridge** octa-core 2,60 Ghz (16 cores) +
-  * **128 Go** de Mémoire (soit 8 Go/coeur) +
-  * **/scratch global 71To (''/scratch/E5N/'')** +
-  * interconnexion Infiniband FDR (56Gb/s) +
-  * OS Debian 9 +
- +
-  * **2 304 coeurs au total** +
- +
-{{ :documentation:clusters:sl230-hwloc.png?direct&200 |}} +
- +
- +
-====== Cluster x55/x56 (ou X5) ====== +
- +
- +
-Les machines de ce cluster partagent le même arbre Infiniband (pour OpenMPI), ainsi qu'un **scratch** commun (**''/scratch/X5/''**) +
- +
-<note warning>Ce cluster sera arrêté prochainement</note> +
-===== Groupe sl390lin48 ===== +
- +
-23 noeuds bi-processeurs HP SL390 identiques, chaque noeud contenant : +
-  * 2 processeurs Intel X5672 **Westmere** tetra-coeurs 3,2 Ghz (8 cores) +
-  * **48 Go** de Mémoire (soit 6 Go/coeur) +
-  * **/scratch global 34To (''/scratch/X5/'')** +
-  * interconnexion Infiniband QDR (40Gb/s) +
-  * OS Debian 9 +
- +
-{{ :documentation:clusters:sl390lin48-hwloc.png?direct&200 |}} +
- +
- +
-===== Groupe sl390lin24 ===== +
- +
-40 noeuds bi-processeurs HP SL390 identiqueschaque noeud contenant : +
-  2 processeurs Intel X5650 **Westmere** hexa-coeurs 2,66 Ghz (12 cores) +
-  * **24 Go** de Mémoire (soit 2 Go/coeur) +
-  * **/scratch global 34To (''/scratch/X5/'')** +
-  * interconnexion Infiniband QDR (40Gb/s) +
-  * OS Debian 9 +
- +
-{{ :documentation:clusters:sl390lin24-hwloc.png?direct&200 |}} +
- +
- +
- +
-===== Groupe c6100lin24 ===== +
- +
-32 noeuds bi-processeurs Dell C6100 identiques, chaque noeud contenant : +
-  * 2 processeurs Intel X5650 **Westmere** hexa-coeurs 2,66 Ghz (12 cores) +
-  * **24 Go** de Mémoire (soit 2 Go/coeur+
-  * **/scratch global 34To (''/scratch/X5/'')** +
-  * interconnexion Infiniband QDR (40Gb/s) +
-  * OS Debian 9 +
- +
-{{ :documentation:clusters:c6100lin24-hwloc.png?direct&200 |}} +
- +
-===== Groupes r422 ===== +
- +
-**5 groupes de 24 noeuds** : x5570deb24A, x5570deb24B, x5570deb24C, x5570deb24D et x5570deb24E. +
- +
-120 noeuds bi-processeurs Bull R422 E2 identiques, chaque noeud contenant : +
-  * processeurs Intel X5570 **Nehalem** tetra-coeurs 2,93 Ghz (8 cores) +
-  * **24 Go** de Mémoire (soit 3 Go/coeur) +
-  * **/scratch global 34To (''/scratch/X5/'')** +
-  * interconnexion Infiniband QDR (40Gb/s) +
-  * OS Debian 9 +
- +
-{{ :documentation:clusters:r422-hwloc.png?direct&200 |}} +
- +
-===== Groupe r815lin128 ===== +
- +
-noeuds tetra-processeurs Dell R815 identiques, chaque noeud contenant : +
-  * 4 processeurs AMD Opteron 6134 **Magny-Cours** octa-coeurs 2,3 Ghz (32 cores) +
-  * **128 Go** de Mémoire (soit 4 Go/coeur) +
-  * **/scratch global 34To (''/scratch/X5/'')** +
-  * interconnexion Infiniband DDR (20Gb/s) +
-  * OS Debian 9+
  
-{{ :documentation:clusters:r815lin128-hwloc.png?direct&200 |}}+===== Cloud@PSMN (IFB) =====
  
 +Voir [[https://biosphere.france-bioinformatique.fr/cloud/system_status/14/|meso-psmn-cirrus]]
  
  
-===== Clusters de formation et d'expérimentation du CBP =====+====== Clusters de formation et d'expérimentation du CBP ======
  
-Les machines du CBP sont actuellement décrites sur ces pages : +Les machines du CBP sont actuellement décrites sur ces pages :
  
-   * [[http://www.cbp.ens-lyon.fr/doku.php?id=ressources:ressources| Les ressources du CBP]]  +   * [[http://www.cbp.ens-lyon.fr/doku.php?id=ressources:ressources| Les ressources du CBP]] 
-   * [[http://www.cbp.ens-lyon.fr/doku.php?id=ressources:oar4cbp|Utilisation du cluster au CBP]]+   * [[http://www.cbp.ens-lyon.fr/python/forms/ClusterCBP|Utilisation du cluster CBP]] 
 +   * [[http://www.cbp.ens-lyon.fr/python/forms/CloudCBP|Utilisation du Cloud CBP]]
  
  
documentation/clusters/hardware.1603358928.txt.gz · Dernière modification : 2020/10/22 09:28 de gilquin