GridEngine

Le gestionnaire de jobs (ou système de batch) actuellement utilisé par le PSMN est GridEngine (anciennement Sun Grid Engine, d'où SGE).

Utilisation optimale des ressources

Pour utiliser au mieux les ressources, il convient de bien remplir les serveurs. Pour cela, nous disposons de deux moyens :

  • remplir “au mieux” (best effort) ,
  • remplir par multiple de n coeurs (ou n est le nombre de coeurs physiques par serveur).

Remplir au mieux mène rapidement à un morcellement, entre les serveurs, des applications parallélisées via mpi.

Le remplissage au mieux n'est donc mis en place pour les applications parallèles que sur certaines queues; sur les autres le remplissage par multiple d'un serveur entier est utilisé.

Priorités

Une priorité :

  • inversement proportionnelle au temps de calcul déjà consommé,
  • proportionnelle au temps d'attente et au nombre de coeurs demandé,

est appliqué par GridEngine. Ceci afin de répartir plus équitablement les ressources disponibles.

GridEngine : Soumettre un job

qsub programme <input >output
qsub -V -e /path/to/workdir/ -o /path/to/workdir/ -q $QUEUE script
 
-V : export environment variables
-e : where to put error files
-o : where to put output files
-q : queue (file d'attente)

Il est plus simple de soumettre un script à GridEngine, qui contiendra plus d'options.

Certaines options ne fonctionnent pas directement en CLI, il faut passer par un script (exemple : envoie des mails début et fin)

Voir la documentation complète pour soumettre un job, ainsi que la liste des files d'attente.

Comment choisir les files d'attente, de test ou de productions, adaptées ?

De par les achats successifs de nœuds de calcul avec des architectures de génération différente, il n'était pas possible de définir une seule file d'attente. Il est préférable d'avoir des files d'attentes différentes pour chaque architecture, afin d'atteindre des performances intéressantes pour chaque file d'attente.

Concrètement le choix de la file d'attente de “production” devrait se faire en fonction de l'objectif voulu :

  • si le critère principal est la rapidité de l'exécution, il faut regarder quelles sont les files d'attentes disponibles pour recevoir le job. L'utilisation des commandes du type qstat -g c devraient être la base de ce choix.
  • si le critère principal est le grand nombre de ressources (p.ex. un job avec beaucoup de cœurs, un job avec beaucoup de mémoire RAM), alors il faut plutôt s'orienter vers les files d'attentes qui possèdent un grand nombre de ressources (au moins les ressources demandées par le job), même si le temps d'attente dans la file d'attente est plus important.

Évidemment, la commande ci-dessus et la liste des files d'attente devraient guider votre choix.

Et bien sur, pour la mise au point du code, il faut choisir une file d'attente de test qui soit la plus proche de la file d'attente de “production” envisagée (i.e. même type de nœuds de calcul). P.ex. r815lin128ib a été choisie pour la file d'attente de production, il faut choisir r815_ib_test pour les tests.

GridEngine : Les autres commandes utiles

Surveiller les jobs

  • Voir tous les jobs d'un utilisateur :
qstat -u login 
  • Voir l'état des files d'attente (et la liste des files d'attente) :
qstat -g c 
  • Voir l'état des machines d'une queue
qstat -q <queue_name> -f
  • Voir tous les jobs de tous les utilisateurs en exécution (running) :
qstat -u "*" -s r 
  • Voir tous les jobs de tous les utilisateurs en attente (pending ou waiting) :
qstat -u "*" -s p 
  • Voir l'état d'un job en cours :
qstat -j 87584 | less 
  • Voir l'état d'un job en cours avec plus de détails (long) :
qstat -j 87584 -g t | less 
  • Voir l'état d'un job en cours avec encore plus de détails (long) :
qstat -j 87584 -g t -s r | less 
  • Voir les informations d'un job après son achévement (long) :
qacct -j 87584 -f /gridware/psmn/accounting | less
  • Supprimer un job :
qdel 85903 
  • Supprimer un job (forcer) :
qdel -f 109383 

Cliquez pour afficher ⇲

Cliquez pour masquer ⇱

Ces commandes ne fonctionnent plus depuis la migration 2018!

  • Voir l'état d'une queue (commande interne PSMN) : ne fonctionne plus
qstatqueue c6100lin24ib 
  • Voir l'état de toutes les queues (commande interne PSMN) : ne fonctionne plus
qstatall 
  • Voir l'état d'un job en cours :
qstat -j 87584 | less 
  • Enlever (clear) l'état Error d'un job : ne fonctionne plus
qmod -cj <job_id> 

Accounting

Le fichier d'accounting est diffusé sur /gridware/psmn/accounting
  • Détails des jobs sur les 30 derniers jours :
qacct -f /gridware/psmn/accounting -d 30 -o <login> -j 
  • Consommation d'heures CPU (utime sur les 30 derniers jours) :
qacct -f /gridware/psmn/accounting -d 30 -o <login> | tail -1 | awk '{print $3/3600}'

ou

qacct -f /gridware/psmn/accounting -q "*" -o <login> -d 30 | awk '{ SUM += $5} END {print SUM/3600}'
  • Consommation d'heures CPU (utime de date à date, dans cet exemple, l'année 2012) :
qacct -f /gridware/psmn/accounting -b 201201010000 -e 201212312359 -o <login> | tail -1 | awk '{print $3/3600}'

Jobs qui ont des problèmes :

Lancer la commande suivante :

qstat -g c 

et regarder les deux dernières colonnes :

  • aoACD : Nombre de coeurs qui sont au moins dans un des états suivants :
    • a Load threshold alarm
    • o Orphaned
    • A Suspend threshold alarm
    • C Suspended by calendar
    • D Disabled by calendar
  • cdsuE : Nombre de coeurs qui sont au moins dans un des états suivants :
    • c Configuration ambiguous
    • d Disabled
    • s Suspended
    • u Unknown
    • E Error

Status (etats) de jobs possibles :

  • d(eletion),
  • E(rror),
  • h(old),
  • r(unning),
  • R(estarted),
  • s(uspended),
  • S(uspended),
  • t(ransfering),
  • T(hreshold),
  • w(aiting).

GridEngine : Variables d'environnement

#$ est réservé à GridEngine pour effectuer des transmissions de paramètres (ex: #$ -cwd ou #$ -V).
  • SGE_O_WORKDIR : répertoire d'où à été soumis le job, utilisable dans les scripts
  • NSLOTS : nombre de coeurs demandé
  • JOB_ID : ID du job (unique) assigné par GridEngine
  • JOB_NAME : nom du job (-N)
  • PE_HOSTFILE : fichier de hosts

Références :

documentation/tools/sge.txt · Dernière modification: 2019/12/09 15:58 par ltaulell