Ceci est une ancienne révision du document !
SGE: Sun Grid Engine, est un gestionnaire de travaux (batch scheduler).
Depuis 2011, est remplacé par 2 projets libres qui partent des sources de la dernière version publiée libre:
Installation
Tout est installé dans /local/export/sge (chemin utilisé sur les machines de l'IUSTI). Ce dossier est partagé sur toutes les machines de calcul, puisqu'il contient entre autres les spoolers.
Configuration
les files
Les machines de calcul sont organisées en files de travaux. Le nom des files doit permettre de se faire une idée des caractéristiques de la file, en terme de ressources disponibles (le but étant de partager le maximum de ressources entre chaque utilisateur).
En cas de doute, utiliser la queue “small” par défaut
queue | procs | memory/procs | slots | commentaires |
---|---|---|---|---|
small | 8 | 3Go | 5 | machine octopus |
big | 8 | 3Go | 1 | |
long | 8 | 2Go | 8 | 2 machines, charybde et scylla, à réserver au parallèle MPI |
latp | 32 | 8Go | 30 | cette queue est soumise à restriction |
Soumettre un job
séquentiel
parallèle
Voici un exemple de script, pour lancer un job parallèle (limité à 8 instances) sur la queue long
#!/bin/sh # #$ -S /bin/sh #$ -N "calcul_qsub" #$ -j y #$ -M me@cmi.univ-mrs.fr #$ -m be #$ -cwd # queue Long #$ -q long #$ -pe mpi_labo 8 PATHINIT=$PWD cd ~/pelicans/trunksource pel_env_new cd $PATHINIT module add mpi/sunhpc821c pel run -np $NSLOTS $EXE0 data.pel resu
- on peut mettre moins que 8 pour la ligne -pe
- dans la commande mpirun (ou son équivalent), ne pas mettre le nombre de procs, mais la varaible $NSLOTS
- on peut tester si la soumission sera acceptée, en tapant:
qsub -w v ./script.sh
modifier les propriétes de la queue de soumission
un seul job à la fois:
qstat -f queuename qtype resv/used/tot. load_avg arch states --------------------------------------------------------------------------------- all.q@octopus BIP 0/1/1 1.00 lx24-amd64
sinon:
[root@octopus ~]# source /local/export/sge/default/common/settings.sh [root@octopus ~]# qconf -mq all.q
et changer le nombre de slots
Check my job status
qstat -s prs -u $USER #check jobs that are pending, running, or suspended qstat -t -u $USER #display the nodes where the job is running qstat -ext -s p -u $USER #display extended information for my pending jobs
To switch jobs waiting in the queue from one queue to another:
qalter -l <short,long,medium,debug> <job>
or to modify all jobs submitted
qalter -l <short,long,medium,debug> -u $USER
qalter -l q=all.q <job> --> to switch to default low priority queue.
qstat -s h #jobs in hold status qstat -s r #jobs in running status qstat -s r -u $USER #jobs that are mine and running qstat -s s -u $USER #jobs that are mine and suspended
Fichiers
- voir installation
- sur fury, voir /donnees/provisoire/logiciels/SGE
- dernière version gratuite: 6u5
- depuis rachat par Oracle de SGE, plusieurs forks: