Le système de batch

Le système de batch actuellement utilisé par le PSMN est GridEngine (SGE).

Utilisation optimale des ressources

Pour utiliser au mieux les ressources, il convient de bien remplir les serveurs de calculs. Pour cela, nous disposons de deux moyens :

  • remplir “au mieux” (best effort),
  • remplir par multiple de n coeurs (ou n est le nombre de coeurs physiques par serveurs de calcul).

Remplir “au mieux” mène rapidement à un morcellement, entre les serveurs de calcul, des applications parallélisées via OpenMPI.

Le remplissage “au mieux” n'est donc mis en place pour les applications parallèles OpenMPI que sur certaines queues ; sur les autres le remplissage par multiple d'un serveur de calcul entier est privilégié.

Allocation des ressources

L'allocation automatique se fait selon deux critéres :

  • Le groupe de serveurs de calcul cible (la file d'attente, ou queue),
  • le nombre de coeurs demandé (nombre de slots).

La règle de calcul qui guide l'allocateur de ressource est le PE (parallel environment) qui indique si les coeurs doivent être :

  • dans le même serveur de calcul (ex: openmp),
  • dans des serveurs de calcul complets (ex: mpiX_debian, avec X le nombre de coeurs par serveur),
  • n'importe où (ex: mpi_debian) Ceci est une mauvaise idée et ne devrait être utilisé que pour des petits tests.

Priorités

Une priorité :

  • inversement proportionnelle au temps de calcul déjà consommé,
  • proportionnelle au temps d'attente et au nombre de coeurs demandé,

est appliqué par le système de batch. Ceci afin de répartir plus équitablement les ressources disponibles.

Les serveurs de soumission

Dans la configuration actuelle du système de batch, les serveurs de compilation/frontales sont tous des serveurs de soumission.

Le système de scratch

Les files d'attente

:!: Attention : Dans le cas d'un code compilé par l'utilisateur, l'architecture processeur et la version de système d'exploitation (OS) déterminent le choix du serveur de compilation et donc, des files d'attente utilisables. Toutes nos machines fonctionnent actuellement en OS Debian 9.

Un certain nombre de files d'attentes sont spécifiques (et réservées) à un programme, un groupe d'utilisateurs, un projet, etc. Ces files sont créés et supprimées en fonction des besoins exprimés auprès du Staff PSMN et ne sont pas documentées.

Les files courtes

Ces files d'attente acceptent les jobs séquentiels, parallèles (openMP, multithreads, etc.) et multi-serveurs (OpenMPI) pour des durées courtes.

File d'attente Groupe de serveurs PE (Parallel Environment) Réseau Nb de cpus utilisables Temps maximal Scratch
h48-E5-2670deb128 c8220deb128 mpi16_debian Infiniband de 16 à 192 (par 16) ouverture à la demande 48 h E5
h6-E5-2667v2deb128 c6320deb128v2 mpi16_debian Infiniband de 16 à 192 (par 16) 6 h E5
h48-E5-2670deb128 c8220deb128 openmp8, openmp16 sans objet 8 ou 16 par serveur ouverture à la demande 48 h E5
h6-E5-2667v2deb128 c6320deb128v2 openmp8, openmp16 sans objet 8 ou 16 par serveur 6 h E5

Les files parallèles multi-serveurs (OpenMPI)

Le walltime (temps maximum d'éxecution) est de 168 h, sauf précision.

File d'attente Groupe de serveurs PE (Parallel Environment) Réseau Nb de cpus utilisables Temps maximal Scratch
SG5118deb96 (avec autorisation) c6420deb96 mpi24_debian Infiniband de 24 à 480 (par 24) 168 h SG
M6142deb384A c6420deb384 mpi32_debian Infiniband de 32 à 768 (par 32) 168 h E5
M6142deb384B c6420deb384 mpi32_debian Infiniband de 32 à 768 (par 32) 168 h E5
M6142deb384C c6420deb384 mpi32_debian Infiniband de 32 à 384 (par 16) 168 h E5
E5-2667v2deb128nl c8220deb128v2 mpi16_debian Infiniband de 16 à 384 (par 16) sans limite de temps E5
E5-2667v2deb128nl c8220deb128v2 mpi8_debian Infiniband de 8 à 384 (par 8) sans limite de temps E5
E5-2667v4deb256A c6320deb256v4 mpi16_debian Infiniband de 16 à 256 (par 16) 168 h E5
E5-2667v4deb256A c6320deb256v4 mpi8_debian Infiniband de 8 à 256 (par 8) 168 h E5
E5-2697Av4deb256A c6320deb256Av4 mpi32_debian Infiniband de 32 à 384 (par 32) 168 h E5
E5-2670deb128A c8220deb128 mpi16_debian Infiniband de 16 à 384 (par 16) 168 h E5
E5-2670deb128B c8220deb128 mpi16_debian Infiniband de 16 à 384 (par 16) 168 h E5
E5-2670deb128C c8220deb128 mpi16_debian Infiniband de 16 à 384 (par 16) 168 h E5
E5-2670deb128D c8220deb128 mpi16_debian Infiniband de 16 à 384 (par 16) 168 h E5
E5-2670deb128E c8220deb128 mpi16_debian Infiniband de 16 à 384 (par 16) 168 h E5
E5-2670deb128F c8220deb128 mpi16_debian Infiniband de 16 à 384 (par 16) 168 h E5
E5-2670deb128D c8220deb128 mpi8_debian Infiniband de 8 à 384 (par 16) 168 h E5
E5-2670deb128E c8220deb128 mpi8_debian Infiniband de 8 à 384 (par 16) 168 h E5
E5-2670deb128F c8220deb128 mpi8_debian Infiniband de 8 à 384 (par 16) 168 h E5
SSD-E5-2670deb256A c8220deb256 mpi16_debian Infiniband de 16 à 128 (par 16) 192 h E5
SSD-E5-2670deb256B (avec autorisation) c8220deb256 mpi16_debian Infiniband de 16 à 128 (par 16) sans limite de temps E5
SSD-E5-2670deb256C (avec autorisation) c8220deb256 mpi16_debian Infiniband de 16 à 128 (par 16) sans limite de temps E5
r820deb768 (avec autorisation) r820deb768 mpi16_debian Infiniband de 16 à 32 (par 16) sans limite de temps E5
x5650lin24ibA, x5650lin24ibB, x5650lin24ibC sl390lin24 et c6100lin24 mpi12_debian Infiniband de 12 à 288 (par 12) 168 h X5
x5650lin24ibB, x5650lin24ibC sl390lin24 et c6100lin24 mpi_debian Infiniband de 2 à 288 168 h X5
x5650lin24ibA, x5650lin24ibB, x5650lin24ibC sl390lin24 et c6100lin24 namd24 Infiniband de 24 à 288 (par 12) 168 h X5
x5650lin24ibA, x5650lin24ibB, x5650lin24ibC sl390lin24 et c6100lin24 namd12 Infiniband 12 168 h X5
x5570deb24A, x5570deb24B, x5570deb24C r422 mpi8_debian Infiniband de 8 à 192 (par 8) 168 h X5
x5570deb48A, x5570deb24B r422 mpi8_debian Infiniband de 8 à 192 (par 8) 168 h X5
r815lin128ib r815lin128 mpi32_debian Infiniband de 32 à 384 (par 32) 168 h X5

Les files parallèles mono-serveur (OpenMP)

File d'attente Groupe de serveurs PE (Parallel Environment) Réseau Nb de cpus utilisables Temps maximal Scratch
SG5118deb96 (avec autorisation) c6420deb96 openmp24, openmp12 sans objet 1 x 24 ou 2 x 12 168 h SG
M6142deb384A c6420deb384 openmp32, gaussian32 sans objet 32 par serveur 168 h E5
M6142deb384B c6420deb384 openmp32, gaussian32 sans objet 32 par serveur 168 h E5
M6142deb384C c6420deb384 openmp32, gaussian32 sans objet 32 par serveur 168 h E5
E5-2667v2deb128nl c8220deb128v2 openmp16, gaussian16 sans objet 16 par serveur sans lmite de temps E5
E5-2667v4deb256 c6320deb256v4 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
E5-2697Av4deb256 c6320deb256Av4 openmp32, gaussian32 sans objet 32 par serveur 168 h E5
E5-2670deb128A c8220deb128 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
E5-2670deb128B c8220deb128 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
E5-2670deb128C c8220deb128 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
E5-2670deb128D c8220deb128 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
E5-2670deb128E c8220deb128 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
E5-2670deb128F c8220deb128 openmp16, gaussian16 sans objet 16 par serveur 168 h E5
SSD-E5-2670deb256A c8220deb256 openmp16, gaussian16, openmp8, gaussian8 sans objet 1 x 16 ou 2 x 8 192 h E5
SSD-E5-2670deb256B (avec autorisation) c8220deb256 openmp16, gaussian16, openmp8, gaussian8 sans objet 1 x 16 ou 2 x 8 sans limite de temps E5
SSD-E5-2670deb256C (avec autorisation) c8220deb256 openmp16, gaussian16, openmp8, gaussian8 sans objet 1 x 16 ou 2 x 8 sans limite de temps E5
r820deb768 (avec autorisation) r820deb768 openmp32, gaussian32, openmp16, gaussian16, openmp8, gaussian8 sans objet 1 x 32 ou 2 x 16 ou 4 x 8 sans limite de temps E5
x5650lin24ibA, x5570deb48B, x5570deb48C sl390lin24 et c6100lin24 openmp12, gaussian12 sans objet 12 168 h X5
x5570deb24A, x5570deb48B, x5570deb48C r422 openmp8, gaussian8 sans objet 8 168 h X5
x5570deb48A, x5570deb48B r422 openmp8, gaussian8 sans objet 8 168 h X5
r815lin128ib r815lin128 openmp32, gaussian32, openmp16, gaussian16, openmp8, gaussian8 sans objet 1 x 32 ou 2 x 16 ou 4 x 8 sans limite de temps X5

Les files d'attente GPGPU

NVidia drivers 418.43. Cuda is now available as module : cuda/9.0 and cuda/9.2

outdated documentation
File d'attente Groupe de serveurs PE (Parallel Environment) Réseau Nb de cpus utilisables Temps maximal Scratch
r7x0deb128gpu (avec autorisation) r720gpgpu+GTX780, r730gpgpu+GTX980 sans objet sans objet 2 par serveur 168 h E5
E5-2670gpuK20deb128 c8220deb128+K20 sans objet sans objet 2 par serveur 168 h E5
E5-2670gpuM2070deb128 c8220deb128+M2070 sans objet sans objet 2 par serveur 168 h E5

Les files tests multiprocesseurs

Tests parallèles multi-serveurs

Dédiées aux tests de type MPI (Message Passing Interface) : OpenMPI, MPICH ou équivalents (distribution, communication, lectures et écritures parallèles).

Ces files ne fonctionnent pas en OpenMP. Elles servent exclusivement aux tests MPI

File d'attente Groupe de serveurs PE (Parallel Environment) Réseau Nb de cpus utilisables Temps maximal Scratch
E5_test c8220v2deb128 test_debian Infiniband de 2 à 48, 48 disponibles au total 5mn E5

Tests parallèles mono-serveur

Il est possible de lancer des tests multiprocesseurs (OpenMP, multithreads ou équivalents) jusqu'à deux maximum.

File d'attente Groupe de serveurs PE (Parallel Environment) Réseau Nb de cpus utilisables Temps maximal Scratch
h6-E5-2667v4deb128 c6320deb128v4 openmp8, openmp16 sans objet 8, 16 6 h E5
h48-E5-2667v2deb128 c8220deb128v2 openmp8, openmp16 sans objet 8, 16 48 h E5

Les files monoprocesseur

File d'attente Groupe de serveurs Nb de cpus utilisables Temps maximal Scratch
monoamddeb32 (2,6Go par coeur) dl175lin32 132 au maximum 168 h pas de scratch
monointeldeb24 (2Go par coeur) c6100lin 64 au maximum 168 h X5
monointeldeb48 (4Go par coeur) sl390lin48 184 au maximum 168 h X5
monointeldeb128 (16Go par coeur) r720gpgpu, r730gpgpu,c8220deb128 108 au maximum 168 h E5
matlab (2Go par coeur) r815lin192 20 au maximum 336 h X5
matlabbig (12Go par coeur) r815lin192 4 au maximum 744 h X5
r820deb768 (24Go par coeur) r820deb768 32 au maximum 744 h E5

Les files tests monoprocesseurs

Il n'y a pas de files spécifiques pour les tests monoprocesseurs. Utilisez les frontales (dans les limites du raisonnable).

Les files spécifiques

Un certain nombre de files d'attentes sont spécifiques à un programme, un groupe d'utilisateurs, un projet, etc. Ces files sont créés et supprimées en fonction des besoins exprimés auprès du Staff PSMN et ne sont pas documentées. De même certaines queues peuvent voir leur nombre de coeurs utilisables diminué pour cause de maintenance ou d'usage spécifique.

documentation/clusters/batch.txt · Dernière modification: 2019/04/29 15:57 par gilquin