Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédenteProchaine révisionLes deux révisions suivantes |
documentation:clusters:batch [2021/01/08 10:03] – [Les files parallèles multi-serveurs (OpenMPI)] gilquin | documentation:clusters:batch [2023/01/17 14:40] – [Le système de scratch] ltaulell |
---|
====== Le système de batch ====== | ====== Le système de batch ====== |
| |
| <WRAP center round important 60%> |
| |
| **[[https://meso-centres-lyon.pages.in2p3.fr/psmn-rtd/index.html|New Documentation (Debian 11 / Slurm)]]** |
| |
Le système de batch actuellement utilisé par le PSMN est [[documentation:tools:sge|GridEngine (SGE)]]. | See also our [[news:blog|Fil des news]] for up-to-date informations |
| </WRAP> |
* Les matériels sont décrit sur la page [[documentation:clusters:hardware|Configuration matérielle des clusters]], | |
* Les serveurs de compilation, **pour chaque architecture processeur**, sont décrits dans les [[documentation:clusters:services|Machines de services]], | |
* La [[documentation:tools:sge|documentation de SGE]] et la [[faq:accueil#rubriques|FAQ relative à GridEngine]]. | |
| |
===== Utilisation optimale des ressources ===== | |
| |
Pour utiliser au mieux les ressources, il convient de bien remplir les serveurs de calculs. Pour cela, nous disposons de deux moyens : | |
| |
* remplir "au mieux" (best effort), | |
* remplir par multiple de n coeurs (ou n est le nombre de coeurs physiques par serveurs de calcul). | |
| |
Remplir "au mieux" mène rapidement à un morcellement, entre les serveurs de calcul, des applications parallélisées via OpenMPI. | |
| |
Le remplissage "au mieux" n'est donc mis en place pour les applications parallèles OpenMPI que sur certaines queues ; sur les autres le remplissage par multiple d'un serveur de calcul entier est privilégié. | |
| |
===== Allocation des ressources ===== | |
| |
| |
L'allocation automatique se fait selon deux critéres : | |
* Le groupe de serveurs de calcul cible (la file d'attente, ou queue), | |
* le nombre de coeurs demandé (nombre de slots). | |
| |
La règle de calcul qui guide l'allocateur de ressource est le **PE** (parallel environment) qui indique si les coeurs doivent être : | |
* dans le même serveur de calcul (ex: openmp), | |
* dans des serveurs de calcul complets (ex: mpiX_debian, avec X le nombre de coeurs par serveur), | |
* n'importe où (ex: mpi_debian) **Ceci est une mauvaise idée** et ne devrait être utilisé que pour des petits tests. | |
| |
===== Priorités ===== | |
| |
Une priorité : | |
| |
* inversement proportionnelle au temps de calcul déjà consommé, | |
* proportionnelle au temps d'attente et au nombre de coeurs demandé, | |
| |
est appliqué par le système de batch. Ceci afin de répartir plus équitablement les ressources disponibles. | See https://meso-centres-lyon.pages.in2p3.fr/psmn-rtd/clusters_usage/index.html |
| |
====== Les serveurs de soumission ====== | |
| |
Dans la configuration actuelle du système de batch, [[documentation:clusters:services|les serveurs de compilation/frontales]] sont tous des serveurs de soumission. | |
| |
====== Le système de scratch ====== | |
| |
Reportez vous à la [[documentation:tutorials:scratch|page sur nos différents systèmes de scratch]]. | |
| |
====== Les files d'attente ====== | ====== Les files d'attente ====== |
^ File d'attente ^ Groupe de serveurs ^ **PE** (Parallel Environment) ^ Réseau ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ | ^ File d'attente ^ Groupe de serveurs ^ **PE** (Parallel Environment) ^ Réseau ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ |
| ||||||| | | ||||||| |
| h48-CLG6226Rdeb192 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi32_debian, mpi16_debian | Infiniband | de 16 à 384 (par 16 ou 32) | **48 h** | Lake | | | h48-CLG6226Rdeb192 | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | mpi32_debian, mpi16_debian | Infiniband | de 16 à 384 (par 16 ou 32) | **48 h** | Lake | |
| ||||||| | | ||||||| |
| h48-CLG6226Rdeb192 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp32, openmp16 | sans objet | 32 ou 16 par serveur | **48 h** | Lake | | | h48-CLG6226Rdeb192 | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | openmp32, openmp16 | sans objet | 32 ou 16 par serveur | **48 h** | Lake | |
| ||||||| | | ||||||| |
| h48-E5-2670deb128 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 192 (par 16) | **48 h** | E5 | | | h48-E5-2670deb128 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 192 (par 16) | **48 h** | E5 | |
| ||||||| | | ||||||| |
| ||||||| | | ||||||| |
| | CLG6226Rdeb1500 | [[documentation:clusters:hardware&#groupe_r740deb1500|r740deb1500]] | mpi32_debian | Infiniband | 32 | 168 h | Lake | |
| CLG6226Rdeb192A | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | mpi32_debian | Infiniband | de 32 à 768 (par 32) | 168 h | Lake | | | CLG6226Rdeb192A | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | mpi32_debian | Infiniband | de 32 à 768 (par 32) | 168 h | Lake | |
| CLG6226Rdeb192B | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | mpi32_debian | Infiniband | de 32 à 768 (par 32) | 168 h | Lake | | | CLG6226Rdeb192B | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | mpi32_debian | Infiniband | de 32 à 768 (par 32) | 168 h | Lake | |
| ||||||| | | ||||||| |
| ||||||| | | ||||||| |
| ||||||| | |
| SLG5118deb96 | [[documentation:clusters:hardware&#groupe_c6420deb96|c6420deb96]] | mpi24_debian | Infiniband | de 24 à 192 (par 24) | 168 h | Lake | | |
| SLG5118deb96 | [[documentation:clusters:hardware&#groupe_c6420deb96|c6420deb96]] | mpi12_debian | Infiniband | de 12 à 192 (par 12) | 168 h | Lake | | |
| SLG5118deb96 | [[documentation:clusters:hardware&#groupe_c6420deb96|c6420deb96]] | mpi8_debian | Infiniband | de 8 à 192 (par 8) | 168 h | Lake | | |
| ||||||| | | ||||||| |
| SLG6142deb384A | [[documentation:clusters:hardware&#groupe_c6420deb384|c6420deb384]] | mpi32_debian | Infiniband | de 32 à 768 (par 32) | 168 h | Lake | | | SLG6142deb384A | [[documentation:clusters:hardware&#groupe_c6420deb384|c6420deb384]] | mpi32_debian | Infiniband | de 32 à 768 (par 32) | 168 h | Lake | |
| ||||||| | | ||||||| |
| ||||||| | | ||||||| |
| E5-2670deb128A | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | | |
| E5-2670deb128B | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | | |
| E5-2670deb128C | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | | |
| E5-2670deb128C | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi8_debian | Infiniband | de 8 à 384 (par 8) | 168 h | E5 | | |
| E5-2670deb128D | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | | |
| E5-2670deb128D | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi8_debian | Infiniband | de 8 à 384 (par 8) | 168 h | E5 | | |
| E5-2670deb128E | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | | |
| E5-2670deb128E | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi8_debian | Infiniband | de 8 à 384 (par 8) | 168 h | E5 | | |
| E5-2670deb128F | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | | | E5-2670deb128F | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 384 (par 16) | 168 h | E5 | |
| E5-2670deb128F | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi8_debian | Infiniband | de 8 à 384 (par 16) | 168 h | E5 | | | E5-2670deb128F | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi8_debian | Infiniband | de 8 à 384 (par 16) | 168 h | E5 | |
| ||||||| | | ||||||| |
| ||||||| | | ||||||| |
| | CLG6226Rdeb1500 | [[documentation:clusters:hardware&#groupe_r740deb1500|r740deb1500]] | openmp32, gaussian32 | sans objet | 32 | 168 h | Lake | |
| CLG6226Rdeb192A | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | openmp32, gaussian32 | sans objet | de 32 à 768 (par 32) | 168 h | Lake | | | CLG6226Rdeb192A | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | openmp32, gaussian32 | sans objet | de 32 à 768 (par 32) | 168 h | Lake | |
| CLG6226Rdeb192B | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | openmp32, gaussian32 | sans objet | de 32 à 768 (par 32) | 168 h | Lake | | | CLG6226Rdeb192B | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | openmp32, gaussian32 | sans objet | de 32 à 768 (par 32) | 168 h | Lake | |
| ||||||| | | ||||||| |
| ||||||| | | ||||||| |
| ||||||| | |
| SLG5118deb96 | [[documentation:clusters:hardware&#groupe_c6420deb96|c6420deb96]] | openmp24, openmp12 | sans objet | 1 x 24 ou 2 x 12 | 168 h | Lake | | |
| SLG5118deb96 | [[documentation:clusters:hardware&#groupe_c6420deb96|c6420deb96]] | gaussian24, gaussian12 | sans objet | 1 x 24 ou 2 x 12 | 168 h | Lake | | |
| ||||||| | | ||||||| |
| SLG6142deb384A | [[documentation:clusters:hardware&#groupe_c6420deb384|c6420deb384]] | openmp32, gaussian32 | sans objet | 32 par serveur | 168 h | Lake | | | SLG6142deb384A | [[documentation:clusters:hardware&#groupe_c6420deb384|c6420deb384]] | openmp32, gaussian32 | sans objet | 32 par serveur | 168 h | Lake | |
| E5-2697Av4deb256 | [[documentation:clusters:hardware&#groupe_c6320deb256av4|c6320deb256Av4]] | openmp32, gaussian32 | sans objet | 32 par serveur | 168 h | E5 | | | E5-2697Av4deb256 | [[documentation:clusters:hardware&#groupe_c6320deb256av4|c6320deb256Av4]] | openmp32, gaussian32 | sans objet | 32 par serveur | 168 h | E5 | |
| ||||||| | | ||||||| |
| E5-2670deb128A | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | | |
| E5-2670deb128B | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | | |
| E5-2670deb128C | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | | |
| E5-2670deb128D | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | | |
| E5-2670deb128E | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | | |
| E5-2670deb128F | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | | | E5-2670deb128F | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp16, gaussian16 | sans objet | 16 par serveur | 168 h | E5 | |
| ||||||| | | ||||||| |
^ File d'attente ^ Groupe de serveurs ^ Réseau ^ Nb de gpus utilisables ^ Temps maximal ^ scratch ^ | ^ File d'attente ^ Groupe de serveurs ^ Réseau ^ Nb de gpus utilisables ^ Temps maximal ^ scratch ^ |
| |||||| | | |||||| |
| r730gpuRTX2080ti (avec autorisation) | [[documentation:clusters:hardware&#groupe_r730gpgpu|r730gpgpu]] | Infiniband | 2 RTX2080ti par serveur (16 serveurs) | 168 h | Lake | | | r730gpuRTX2080ti (avec autorisation) | [[documentation:clusters:hardware&#groupe_r730gpgpu|r730gpgpu]] | Infiniband | 2 RTX2080ti par serveur (20 serveurs) | 168 h | Lake | |
| |||||| | | |||||| |
| r720gpuGTX980 (avec autorisation) | [[documentation:clusters:hardware&#groupe_r720gpgpu|r720gpgpu]] | Infiniband | 2 GTX780 par serveur | 168 h | E5 | | |
| E5-2670gpuK20deb128 | [[documentation:clusters:hardware&#groupe_c8220deb64|c8220deb128]] | Infiniband | 2 K20 par serveur | 168 h | E5 | | |
===== Les files tests multiprocesseurs ===== | ===== Les files tests multiprocesseurs ===== |
| |
| |
<WRAP center round alert 60%> | <WRAP center round alert 60%> |
Ces files ne fonctionnent pas en OpenMP. Elles servent **exclusivement aux tests MPI** | Ces files **ne** fonctionnent **pas** en **OpenMP**. Elles servent **exclusivement aux tests MPI** |
</WRAP> | </WRAP> |
| |
| |
^ File d'attente ^ Groupe de serveurs ^ **PE** (Parallel Environment) ^ Réseau ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ | ^ File d'attente ^ Groupe de serveurs ^ **PE** (Parallel Environment) ^ Réseau ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ |
| E5_test | [[documentation:clusters:hardware&#groupe_c8220v2deb128|c8220v2deb128]] | test_debian | Infiniband | de 2 à 48, 48 disponibles au total | **5mn** | E5 | | | h6-E5-2667v4deb128 | [[documentation:clusters:hardware&#groupe_c6320deb128v4|c6320deb128v4]] | mpi16_debian | Infiniband | de 16 à 96 | **6 h** | E5 | |
| | h48-E5-2670deb128 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | mpi16_debian | Infiniband | de 16 à 192 | **48 h** | E5 | |
| | h48-CLG6226Rdeb192 | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | mpi16_debian et mpi32_debian | Infiniband | de 16 à 384 | **48 h** | Lake | |
| |
==== Tests parallèles mono-serveur ==== | ==== Tests parallèles mono-serveur ==== |
| |
Il est possible de lancer des tests multiprocesseurs (OpenMP, multithreads ou équivalents) jusqu'à deux maximum. | Il est possible de lancer des tests multiprocesseurs (**OpenMP**, **multithreads** ou équivalents) jusqu'à deux maximum. |
| |
^ File d'attente ^ Groupe de serveurs ^ **PE** (Parallel Environment) ^ Réseau ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ | ^ File d'attente ^ Groupe de serveurs ^ **PE** (Parallel Environment) ^ Réseau ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ |
| h6-E5-2667v4deb128 | [[documentation:clusters:hardware&#groupe_c6320deb128v4|c6320deb128v4]] | openmp8, openmp16 | sans objet | 8, 16 | **6 h** | E5 | | | h6-E5-2667v4deb128 | [[documentation:clusters:hardware&#groupe_c6320deb128v4|c6320deb128v4]] | openmp8, openmp16 | sans objet | 8, 16 | **6 h** | E5 | |
| h48-E5-2670deb128 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp8, openmp16 | sans objet | 8, 16 | **48 h** | E5 | | | h48-E5-2670deb128 | [[documentation:clusters:hardware&#groupe_c8220deb128|c8220deb128]] | openmp8, openmp16 | sans objet | 8, 16 | **48 h** | E5 | |
| | h48-CLG6226Rdeb192 | [[documentation:clusters:hardware&#groupe_c6420deb192|c6420deb192]] | openmp8, openmp16 et openmp32 | sans objet | 8, 16 et 32 | **48 h** | Lake | |
| |
===== Les files monoprocesseur ===== | ===== Les files monoprocesseur ===== |
^ File d'attente ^ Groupe de serveurs ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ | ^ File d'attente ^ Groupe de serveurs ^ Nb de cpus utilisables ^ Temps maximal ^ Scratch ^ |
| monointeldeb96 (4Go par coeur) | [[documentation:clusters:hardware#groupe_c6420deb96|c6420deb96]] | 192 au maximum | 168 h | Lake | | | monointeldeb96 (4Go par coeur) | [[documentation:clusters:hardware#groupe_c6420deb96|c6420deb96]] | 192 au maximum | 168 h | Lake | |
| monointeldeb128 (16Go par coeur) | [[documentation:clusters:hardware#groupe_r730gpgpu|r730gpgpu]] | 16 au maximum | 168 h | Lake | | | monointeldeb128 (16Go par coeur) | [[documentation:clusters:hardware#groupe_r730gpgpu|r730gpgpu]] | 32 au maximum | 168 h | Lake | |
| | monointeldeb192 (12Go par coeur) | [[documentation:clusters:hardware#groupe_r740gpgpu|r740gpgpu]] | 64 au maximum | 168 h | Lake | |
| Matlab (8Go par coeur) | [[documentation:clusters:hardware#machine_c6525amd7542|c6525amd7542]] | 32 au maximum | 168 h | Lake | | | Matlab (8Go par coeur) | [[documentation:clusters:hardware#machine_c6525amd7542|c6525amd7542]] | 32 au maximum | 168 h | Lake | |
| |