Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révisionLes deux révisions suivantes |
calcul [2013/05/13 09:05] – [Executer] gerard | calcul [2023/04/25 09:38] – chabrol |
---|
====== Moyens pour le calcul scientifique au LATP ====== | ====== Moyens pour le calcul scientifique à l'I2M ====== |
| |
| |
===== Informations ===== | |
| |
* Une [[http://www.latp.univ-mrs.fr/mailman/listinfo/calcul|liste]] de diffusion pour poser des questions, et se tenir au courant des évolutions sur les serveurs du LATP | |
* Exemple d'[[http://www.mhpcc.edu/training/workshop/parallel_intro/|introduction à la programmation parallèle]] | |
* Notes pour le [[http://www.latp.univ-mrs.fr/~henry/doku.php?id=master2|Master2]] EDP-AN | |
| |
===== Le matériel ===== | ===== Le matériel ===== |
==== Ressources locales ==== | ==== Ressources locales ==== |
| |
^ Nom de la machine ^ Os ^ processeur ^ nombre de coeurs ^ fréquence processeur ^ mémoire ^ | ^ Nom de la machine ^ Os ^ processeur ^ nombre de coeurs ^ fréquence processeur ^ mémoire ^ IP ^ |
| <del>slatp</del> arrêtée depuis sept 10 (( car machine 32 bits obsolète, consommation inutile )) | Linux | Xeon 32 bits | 2 | 3.06GHz | 2 Go | | | [[reserve:gm1ybb2|signal]] | Ubuntu 22.04 | E5-2698 v3 (2 hexa-coeurs) | 32 | 2.3GHz | 192 Go | signal.i2m.univ-amu.fr | |
| <del>shrek</del> arrêtée depuis sept 10 | Linux | Xeon 32 bits | 2 | 3.06GHz | 2 Go | | | [[reserve:5STZGD2|t630-2]] | Ubuntu 20.04 | E5-2680 v4 (2* 14 coeurs) | 28 | 2.4GHz | 256 Go | | |
| <del>nemo</del>charybde et scylla (( nemo est utilisé pout le [[sgd|SGD]] )) | <del>Solaris</del>CentOS | <del>Amd 848</del> 64 bits | 4 | 2.4 GHz | 8 Go | | | [[reserve:serveurs:core2|core2]] | Ubuntu 18.04 | E5-2683 v4 (28 cœurs) | 28 | 3GHz | 256 Go | | |
| [[reserve:octopus]] | Linux | Xeon X5570 (2 quadri-coeurs) | 8 (hyper threading désactivé) | 2.93 Ghz | 24 Go | | | [[reserve:serveurs:core3|core3]] | Ubuntu 20.04 | Intel(R) Xeon(R) Gold 6230R (2 x 26 cœurs) | 52 | 2.10GHz | 256 Go | | |
| | [[reserve:serveurs:core4|core4]] | Ubuntu 20.04 | Intel(R) Xeon(R) Gold 6230R (2 x 26 cœurs) | 52 | 2.10GHz | 256 Go | | |
| | [[reserve:serveurs:core5|core5]] | Ubuntu 20.04 | Intel(R) Xeon(R) Gold 6230R (2 x 26 cœurs) | 52 | 2.10GHz | 256 Go | | |
| | [[reserve:serveurs:gpu1|gpu1]] | Ubuntu 20.04 | Intel(R) Xeon(R) Bronze 3204 (2 x 6 cœurs) + [[https://www.nvidia.com/fr-fr/data-center/tesla-v100/|Tesla V100S PCIe 32GB]]| 12 | 1.9GHz | 188 Go | | |
| |
| Ancienne marchine qui ne marchent plus : octopus et holopherne |
| |
| ==== Répertoire personnel ==== |
| HOME_DIR monté, sur le serveur signal est le même que celui sur www.i2m.univ-amu.fr, pour récupérer vos "anciennes" données se connecter sur protis.i2m.univ-amu.fr et faire un scp. |
| |
| |
Un [[https://www2/ganglia|coup d'oeil]] sur la charge des ressources de calcul (en local seulement, merci de signaler tout problème à [[calcul@latp.univ-mrs.fr]]) | /* |
| Un [[https://www2/ganglia|coup d'oeil]] sur la charge des ressources de calcul (en local seulement, merci de signaler tout problème à [[i2m-support@univ-amu.fr]]) |
| |
==== Ressources complémentaires ==== | ==== Ressources complémentaires ==== |
* [[http://mmg.cnrs-mrs.fr|Marseille Meso-grille]] | * [[http://mmg.cnrs-mrs.fr|Marseille Meso-grille]] |
* [[grille]] accès depuis le LATP | * [[grille]] accès depuis le réseau du laboratoire |
| * [[http://www.cpu-world.com/Compare_CPUs/Intel_CM8064401438110,Intel_CM8063501454002,Intel_AT80604004869AA/?|comparaison sur les processeurs]] |
| |
| |
* //small// est le nom d'une des queues disponibles (voir ''qconf -sql'' ou ''status -a'' pour la liste des queues disponibles) | * //small// est le nom d'une des queues disponibles (voir ''qconf -sql'' ou ''status -a'' pour la liste des queues disponibles) |
* le troisième argument est un script contenant le programme à exécuter (programme fortran, C, etc... ou scilab, matlab, ...) | * le troisième argument est un script contenant le programme à exécuter (programme fortran, C, etc... ou scilab, matlab, ...) |
Cette commande doit être lancée depuis nemo | Cette commande peut être lancée depuis une des machinées citées plus haut, ou penelope. |
| |
| __Mode paramétrique__ |
| Si on veut lancer plusieurs fois le même programme en faisant varier un paramètre, il faut lancer la commande suivante: |
| <code> |
| qsub -t 40-100:10 -q big calculs/test-schroedinger-first-order.sh |
| </code> |
| Ici, on va avoir un paramètre qui varie de 40 à 100 par pas de 10. Ce paramètre est récupéré dans le script de lancement de la façon suivante: |
| <code> |
| #!/bin/sh |
| # |
| #$ -S /bin/sh |
| #$ -N "Schroedinger" |
| #$ -M bradji@cmi.univ-mrs.fr,henry@cmi.univ-mrs.fr |
| #$ -m be |
| /local/apps/scilab-5.4.0/bin/scilab -nwni -f /home/bradji/calculs/test-schroedinger-first-order.sce -args "N=$((SGE_TASK_ID))" |
| </code> |
| le script Scilab contient la ligne (la ligne de commandes contient 6 items): |
| <code> |
| args = sciargs(); |
| disp(args(6)); |
| N=sscanf(args(6), 'N=%d'); |
| disp(N); |
| </code> |
| d'autres possibilités avec SGE sur [[http://arc.liv.ac.uk/SGE/howto/sge-array.html]] |
==== les queues ==== | ==== les queues ==== |
^ nom ^ ressources ^ choix ^ | ^ nom ^ ressources ^ choix ^ |
#$ -m be | #$ -m be |
| |
/local/apps/scilab-5.2.0/bin/scilab -nwni -f /home/henry/Simulations/monprog.sce | . /etc/profile.d/modules.sh |
| module purge scilab |
| module load scilab/5.4.0 |
| scilab -nwni -f /home/henry/Simulations/monprog.sce |
</code> | </code> |
ou avec matlab (mais ne fonctionnera pas sur holopherne car il n y a pas licence sur ce serveur) | ou avec matlab (mais ne fonctionnera pas sur holopherne car il n y a pas licence sur ce serveur) |
| |
export LC_ALL=en_US.UTF-8 | export LC_ALL=en_US.UTF-8 |
/net/fury/donnees/provisoire/logiciels/linux/local/matlab-r2012a/bin/matlab -nodesktop -nodisplay -nojvm < /home/henry/Simulations/monprog.m | . /etc/profile.d/modules.sh |
| module purge matlab |
| module load matlab/7.13 |
| |
| matlab -nodesktop -nodisplay -nojvm < /home/henry/Simulations/monprog.m |
</code> | </code> |
| |
<note important>Quand SGE lance le script, il est dans le homedir (i.e. /home/henry). Il faut donc donner le chemin des fichiers, en absolu comme ici, ou en relatif par rapport au homedir</note> | <note important>Quand SGE lance le script, il est dans le homedir (i.e. /home/henry). Il faut donc donner le chemin des fichiers, en absolu comme ici, ou en relatif par rapport au homedir</note> |
| |
| On soumet le job: |
| <code> |
| qsub -q small -v a=0 -v fa=-5 script.sh |
| </code> |
| (ici en passant deux variables d'environnement voir [[http://www.mathworks.com/matlabcentral/answers/101717-is-it-possible-to-pass-a-matlab-file-that-requires-an-input-argument-to-matlab-in-batch-mode-under-u]]) |
| \\ |
| Le système répond: |
| <code> |
| Your job NNNN ("sujet_du_message") has been submitted |
| </code> |
| et crée 2 fichiers sujet_du_message.oNNNN et sujet_du_message.eNNNN dans votre homedir |
| |
Une [[http://iusti.polytech.univ-mrs.fr/~jobic/dokuwiki/doku.php?id=sge|description]] plus des détaillées des commandes disponibles pour surveiller l'exécution des tâches | Une [[http://iusti.polytech.univ-mrs.fr/~jobic/dokuwiki/doku.php?id=sge|description]] plus des détaillées des commandes disponibles pour surveiller l'exécution des tâches |
</code> | </code> |
| |
| |
| ===== Informations ===== |
| |
| * Exemple d'[[http://www.mhpcc.edu/training/workshop/parallel_intro/|introduction à la programmation parallèle]] |
| * Notes pour le [[https://www.i2m.univ-amu.fr/~henry/doku.php?id=master2|Master2]] EDP-AN |
| */ |