calcul

Ceci est une ancienne révision du document !


Moyens pour le calcul scientifique au LATP

Nom de la machine Os processeur nombre de coeurs fréquence processeur mémoire
slatp arrêtée depuis sept 10 1) Linux Xeon 32 bits 2 3.06GHz 2 Go
shrek arrêtée depuis sept 10 Linux Xeon 32 bits 2 3.06GHz 2 Go
nemocharybde et scylla 2) SolarisCentOS Amd 848 64 bits 4 2.4 GHz 8 Go
octopus Linux Xeon X5570 (2 quadri-coeurs) 8 (hyper threading désactivé) 2.93 Ghz 24 Go

Un coup d'oeil sur la charge des ressources de calcul (en local seulement, merci de signaler tout problème à calcul@latp.univ-mrs.fr)

voir détails

Le plus simple (et recommandé) est d'utiliser le système de soumission de batches, ce qui fait qu'au lieu de se connecter sur un serveur particulier, et lancer son programme, on soumet une “tâche” dans une file d'attente (ou queue), par exemple:

qsub -q small ./script.sh
  • qsub est la commande pour soumettre la tâche. Lorsque la tâche est terminée, on reçoit un mail
  • small est le nom d'une des queues disponibles (voir qconf -sql ou status -a pour la liste des queues disponibles)
  • le troisième argument est un script contenant le programme à exécuter (programme fortran, C, etc… ou scilab, matlab, …)

Cette commande doit être lancée depuis nemo

nom ressources choix
small 3 slots à utiliser en priorité, le temps d'exécution est limité à 24h
big 1 slot à réserver aux jobs gros consommateurs de ressources, mémoire limitée à 22Go
long 1 slot à réserver aux jobs longs

Il est possible de changer de queue, si le job est en attente, et qu'une autre queue est libre:

$ status -a
Running jobs:
job-ID  # name                      owner      start time          running in
-----------------------------------------------------------------------------
...
Waiting 
jobs:
job-ID  # name                      owner      submit time         Queue
------------------------------------------------------------------------
...   
 14893  1 OptiCTAA_CI               userA   01/26/2012 21:20:35 small      

...
 queue   used   free 
--------------------------
   big     0      1
  long     0      8
 small     5      0

il faut utiliser la commande qalter:

qalter -q big 14893

Un exemple avec scilab:

#!/bin/sh
#
#$ -S /bin/sh
#$ -N "sujet_du_message"
#$ -M moi@cmi.univ-mrs.fr
#$ -m be

/local/apps/scilab-5.2.0/bin/scilab -nwni -f /home/henry/Simulations/monprog.sce

ou avec matlab (mais ne fonctionnera pas sur holopherne car il n y a pas licence sur ce serveur)

#!/bin/sh
#
#$ -S /bin/sh
#$ -N "sujet_du_message"
#$ -M moi@cmi.univ-mrs.fr
#$ -m be

export LC_ALL=en_US.UTF-8 
/net/fury/donnees/provisoire/logiciels/linux/local/matlab-r2012a/bin/matlab -nodesktop -nodisplay -nojvm < /home/henry/Simulations/monprog.m
Quand SGE lance le script, il est dans le homedir (i.e. /home/henry). Il faut donc donner le chemin des fichiers, en absolu comme ici, ou en relatif par rapport au homedir

Une description plus des détaillées des commandes disponibles pour surveiller l'exécution des tâches

  • l'utilisateur moi@cmi.univ-mrs.fr reçoit un message dès que le job se termine
  • tant que le job n'est pas terminé, on peut regarder les messages éventuels dans deux fichiers, s'ils sont présents:
sujet_du_message.o<jobid> pour les sorties du programme
sujet_du_message.e<jobid> pour les erreurs éventuelles

1)
car machine 32 bits obsolète, consommation inutile
2)
nemo est utilisé pout le SGD
  • calcul.1368428716.txt.gz
  • Dernière modification : 2017/08/25 09:55
  • (modification externe)