Kontakt
Helpdesk
Telefon: 0345 55 21 888
helpdesk@itz.uni-halle.de
Kurt-Mothes-Str. 1
06120 Halle (Saale)
Sie erreichen uns
Montag - Freitag von
9:00 Uhr - 15:00 Uhr
3. OS, Filesystem, Batch, MPI, Compiler, ... und Software des IBM-575 Clusters in Halle
Betriebsystem Powerlinux/SLES 11 on Power
- Bitte prüfen sie vorab ob Ihre Anwendung auf dieser Plattform lauffähig ist: Power-Linux=SLES11_on_Power auf IBM-Power Prozessor
Login, Paralleles Filesystem GPFS, Home und Scratch:
- login via ssh userkz@ibm575.urz.uni-halle.de
- home_user und „alles Andere“ ist „automatisch“ im gpfs:
- userkz@ibm575:~>pwd -> /gpfs/home/userkz
- Jobstart via: userkz@ibm575:~> llsubmit name_LL_startscript
- Beachte: userkz@ibm575: ~> urzgpfsquota
die angezeigten quota gelten für /home_user + alle files
des users im gpfs - Backup der Daten im /home~ „automatisch“ via TSM in ATL
werktags jede Nacht außer: .../WORK und .../scratch = kein
Backup !!!
Batchverarbeitung via IBM-LoadLeveler:
- Jobs sind generell via IBM-LoadLeveler zu starten, um die Computenodes im Cluster nutzen zu können (statt der SGE im „galaxy“ Sun-Opteron-Cluster)
- Jobstart: : ~@ibm575:~>llsubmit in_name_LL_startscript
- Beispiele für LoadLeveler Startscripts der typischen
Jobklassen siehe: ~@ibm575:/gpfs/usrurz/loadleveler_start_scripts> ls –l
mpi+hybrid serial+openmp - Bitte lesen Sie die README’s:
~@ibm575:/gpfs/usrurz/loadleveler_start_scripts> ls –l
README_loadlevler_urz* - Konfig IBM-LoadLeveler in Halle inkl. automatische
Generierung von MPI-Hostfiles, Füllen von „Lücken“ via
Backfill Scheduler, fair-share scheduling, ... - via LoadLeveler Startscript Optionen steuert der Nutzer für
den aktuellen Job: - Festlegen ob Job mit CPU-SMT oder Core rechnen soll,
dynam. Zuweisung der Ressourcen für den Job (CPU-SMT
oder Core und Memory pro Job bzw. MPI-Task) unabhängig
vom Node, - Binding/allocation von Core oder CPU und Memory oder
nicht ... - - ...
MPI
- IBM MPI (PE) und LoadLeveler sind so aufeinander abgestimmt, daß das für die Performance vorteilhafte Binding von Core/CPU und Memory an die MPI-Tasks des Jobs nur damit realsiert werden kann, so dass die Nutzung von evtl. Alternativen wie OpenMPI usw. sich verbieten.
- Nutzung siehe Beispiele o. gen. LoadLeveler
Startscript-Bsp. und README’s
Compiler und Software
- Eigene Codes sind zunächst neu zu kompilieren, für beste Performance vorzugsweise mit den IBM-Compilern: xlf, xlc, x...
- - ~@ibm575:~> ls -l /usr/bin/x*
- - ...
- - ~@ibm575:~>man xlf
- - ...
- - Software:
- - Welche Software ist aktuell installiert – siehe:
- ls -l /gpfs/usrurz ....
- Hier wird nach Rücksprache gern ein Verzeichnis für Ihre
lizenzierte ggf. noch zu installierende Applikation
eingerichtet.
einige nützliche Kommandos: ~@ibm575:~>
- urzgalaxyhome ### mount /galaxy-home-nfs/user_home via UNI_LAN=Ethernet
- urzgpfsquota ### show limit und reserven /home_user
- urzllq ### show alle running und wait jobs Cluster
- urzllq –u mein_userKZ ### show nur meine running und
wait jobs Cluster - urzllstatus ### show load nodes und freie ressourcen
- - ...
- - siehe auch z. Bsp.
- - ~@ibm575:~>man llq
- - ~@ibm575:~>man llstatus