Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
| en:documentation:tools:sge [2018/09/04 09:25] – [Priorités] cpetit | en:documentation:tools:sge [2023/12/12 12:55] (Version actuelle) – supprimée ltaulell | ||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| - | ====== GridEngine ====== | ||
| - | |||
| - | <WRAP center round todo 60%> | ||
| - | Under contruction... | ||
| - | </ | ||
| - | |||
| - | The job scheduler (or batch-queuing system) used in PSMN cluster is SGE, | ||
| - | |||
| - | ● __Infrastructure__: | ||
| - | |||
| - | |||
| - | * the **compilation servers** are described [[documentation: | ||
| - | * the **cluster hardware configuration** is described [[documentation: | ||
| - | * the **queues for job submission** are described [[documentation: | ||
| - | {{ : | ||
| - | ==== Utilisation optimale des ressources ==== | ||
| - | |||
| - | Pour utiliser au mieux les ressources, il convient de bien remplir les serveurs. Pour cela, nous disposons de deux moyens : | ||
| - | |||
| - | * remplir "au mieux" (best effort) , | ||
| - | * remplir par multiple de n coeurs (ou n est le nombre de coeurs physiques par serveur). | ||
| - | |||
| - | Remplir au mieux mène rapidement à un morcellement, | ||
| - | |||
| - | Le remplissage au mieux n'est donc mis en place pour les applications parallèles que sur certaines queues; sur les autres le remplissage par multiple d'un serveur entier est utilisé. | ||
| - | |||
| - | ==== Priorities ==== | ||
| - | |||
| - | Job priority is: | ||
| - | |||
| - | * inversely proportional to the calculation time already consumed, | ||
| - | * proportional to waiting time and number of hearts requested. | ||
| - | |||
| - | This is to distribute the available resources more equitably. | ||
| - | |||
| - | ===== GridEngine : Submitting jobs ===== | ||
| - | |||
| - | The normal way to submit jobs to the cluster is using the '' | ||
| - | |||
| - | <code bash> | ||
| - | qsub myscript.sh | ||
| - | </ | ||
| - | |||
| - | The many options to the '' | ||
| - | |||
| - | For example a more complex submission: | ||
| - | <code bash> | ||
| - | qsub -V -m b -m e -e / | ||
| - | |||
| - | -V : export environment variables | ||
| - | -m b : mail @begin | ||
| - | -m e : mail @end | ||
| - | -e : where to put error files | ||
| - | -o : where to put output files | ||
| - | -q : queue (file d' | ||
| - | </ | ||
| - | |||
| - | ** Nevertheless, | ||
| - | |||
| - | ==== Comment choisir les files d' | ||
| - | |||
| - | De par les achats successifs de nœuds de calcul avec des architectures de génération différente, | ||
| - | |||
| - | Concrètement le choix de la file d' | ||
| - | |||
| - | * si le critère principal est la rapidité de l' | ||
| - | * si le critère principal est le grand nombre de ressources (p.ex. un job avec beaucoup de cœurs, un job avec beaucoup de mémoire RAM), alors il faut plutôt s' | ||
| - | |||
| - | Évidemment, | ||
| - | |||
| - | Et bien sur, pour la mise au point du code, il faut choisir une file d' | ||
| - | ===== GridEngine : Les autres commandes utiles ===== | ||
| - | |||
| - | ==== Surveiller les jobs ==== | ||
| - | |||
| - | * Voir tous les jobs d'un utilisateur : | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir l' | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir tous les jobs de tous les utilisateurs en exécution (running) : | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir tous les jobs de tous les utilisateurs en attente (pending ou waiting) : | ||
| - | |||
| - | < | ||
| - | |||
| - | * < | ||
| - | |||
| - | < | ||
| - | |||
| - | * < | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir l' | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir l' | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir l' | ||
| - | |||
| - | < | ||
| - | |||
| - | * < | ||
| - | |||
| - | < | ||
| - | |||
| - | * Voir les informations d'un job après son achévement (long) : | ||
| - | |||
| - | < | ||
| - | |||
| - | * Supprimer un job : | ||
| - | |||
| - | < | ||
| - | |||
| - | * Supprimer un job (forcer) : | ||
| - | |||
| - | < | ||
| - | |||
| - | ==== Accounting ==== | ||
| - | |||
| - | <note important> | ||
| - | |||
| - | |||
| - | * Détails des jobs sur les 30 derniers jours : | ||
| - | |||
| - | < | ||
| - | |||
| - | * Consommation d' | ||
| - | |||
| - | < | ||
| - | |||
| - | ou | ||
| - | |||
| - | < | ||
| - | |||
| - | * Consommation d' | ||
| - | |||
| - | < | ||
| - | |||
| - | ==== Jobs qui ont des problèmes : ==== | ||
| - | |||
| - | Lancer la commande suivante : | ||
| - | < | ||
| - | |||
| - | et regarder les deux dernières colonnes : | ||
| - | |||
| - | * aoACD : Nombre de coeurs qui sont au moins dans un des états suivants : | ||
| - | * a Load threshold alarm | ||
| - | * o Orphaned | ||
| - | * A Suspend threshold alarm | ||
| - | * C Suspended by calendar | ||
| - | * D Disabled by calendar | ||
| - | |||
| - | * cdsuE : Nombre de coeurs qui sont au moins dans un des états suivants : | ||
| - | * c Configuration ambiguous | ||
| - | * d Disabled | ||
| - | * s Suspended | ||
| - | * u Unknown | ||
| - | * E Error | ||
| - | |||
| - | ==== Status (etats) de jobs possibles : ==== | ||
| - | |||
| - | * d(eletion), | ||
| - | * E(rror), | ||
| - | * h(old), | ||
| - | * r(unning), | ||
| - | * R(estarted), | ||
| - | * s(uspended), | ||
| - | * S(uspended), | ||
| - | * t(ransfering), | ||
| - | * T(hreshold), | ||
| - | * w(aiting). | ||
| - | |||
| - | ===== GridEngine : Variables d' | ||
| - | |||
| - | <note important>''# | ||
| - | |||
| - | * SGE_O_WORKDIR : répertoire d'où à été soumis le job, utilisable dans les scripts | ||
| - | * NSLOTS : nombre de coeurs demandé | ||
| - | * JOB_ID : ID du job (unique) assigné par GridEngine | ||
| - | * JOB_NAME : nom du job (-N) | ||
| - | * PE_HOSTFILE : fichier de hosts | ||
| - | |||
| - | |||
| - | ===== Références : ===== | ||
| - | |||
| - | * http:// | ||
| - | * http:// | ||
| - | * http:// | ||
| - | * http:// | ||
| - | * https:// | ||
| - | * https:// | ||
| - | * https:// | ||
| - | * https:// | ||
| - | * http:// | ||
| - | * http:// | ||
| - | * https:// | ||
| - | * http:// | ||