Nutzung
5. Hinweise zur Nutzung
Auf dem Computer werden solche Aufgaben abgearbeitet, die entweder eine Parallelisierung erfordern oder besonders CPU-intensiv sind. Der Supercomputer steht damit allen Anwendern der Universität Halle zur Verfügung, die parallele Programme entwickeln oder parallele Applikationen nutzen möchten sowie für eine entsprechende Ausbildung. Um ein Login-Kennzeichen für die Maschine zu erhalten, ist ein Antrag an das ITZ auf den dafür vorgesehenen Formblättern zu stellen.
Diese sind im ITZ im HelpDesk (helpdesk@itz.uni-halle.de) oder auch online erhältlich.
5.1. Subcomplexe und CPU's; Batch (NQS+)
Die SPP2000 ist zur Zeit in fuenf Subcomplexe aufgeteilt:
1. Subcomplex "System" mit 2 CPU's ( node0 nur fuer System !!)
2. Subcomplex "default" mit 6 CPU's ( node0 login-SC !!!)
3. Subcomplex "sub1" mit 8 CPU's ( node0 )
4. Subcomplex "sub2" mit 9 CPU's ( node1 )
5. Subcomplex "sub3" mit 7 CPU's ( node1 privat-SC )
Der laufende Betrieb kann Aenderungen erforderlich machen!
Subcomplex default:
Nach Login befinden Sie sich je nach Nutzerprofil
im Subcomplex "default"
(der fuer kleinere Dialogaufgaben reserviert ist.)
Subcomplexe sub1 und sub2:
Mit dem Kommando "mpa -sc sub1"
bzw. "mpa -sc sub2"
setzen sie sich bitte zum Ausfuehren besonders lastintensiver und paralleler Jobs
auf einen der Subcomplexe sub1 oder sub2.
!!!!! Fuer laenger laufende Aufgaben ist die Batchverarbeitung
NQS+ (sub1 + sub2) zu nutzen !!!!
ACHTUNG !!: "nice-Prioritaeten" beachten !!!!!
Die Subcomplexe sub1 und sub2 sind Vorrangig fuer die Nutzung mit NQS+
vorgesehen! Jobs, die mit NQS (qsub) gestartet werden, laufen mit
der hohen "nice"-Prioritaet 20 !
Um ein Vordraengeln von Dialogjobs in diesen SC's zu vermeiden,
duerfen diese dort nur mit niedrigeren Prioritaeten ab "nice" 24
in den Hintergrund geschickt werden (Standard in ksh).
Nutzer, die dies umgehen, werden in sub1 und sub2 durch den Sysadmin
mind. auf die nice Prioritaet 24 zurueckgesetzt.
Sondervereinbarungen in begruendeten Ausnahmefaellen nur nach
Ruecksprache mit dem Sysadmin (Tel. 5521864) !!!!!!!!!!!
Subcomplex System:
Der Subcomplex System ist fuer Systemaufgaben reserviert!!!!
Private Subcomplexe:
Es ist moeglich in einem speziell angelegten privaten Subcomplex zu testen !
Diesen beantragen Sie bitte beim Systemadministrator (Tel. 55-21864).
Die dafuer benoetigten Prozessoren (max. 8 ) werden temporär den
Subcomplexen sub1 bzw. sub2 entzogen !!!!
Batch (NQS+)
Fuer laenger dauernde Rechnungen ist auf der SPP2000
das Batchsystem NQS+ zu nutzen!
Sondervereinbarungen in begruendeten Ausnahmefaellen nur nach
Ruecksprache mit dem Sysadmin (Tel. 5521864) !!!!!!!!!!!
Fuer Einzelheiten siehe Manpages zu qsub, qdel und qstat
bzw.im Pinpoint "NQS User's Guide ..."
Einfachstes Aufrufbeispiel (es soll das Kommando sleep 30 als
NQS-Job ausgefuehrt werden)
$ qsub
sleep 30 # an dieser Stelle koennen sie eine Kommandofolge,
# die Sie ausfuehren wollen eingeben!!!!!
# Abgeschlossen mit ^D
# Diese Kommandofolge wird dem NQS als Shellscript
# uebergeben !
^D
Oder Sie haben z.B. ein Shellscript "job" in Ihrem Subdir. "nqsjobs" stehen
und dieses ist ausfuehrbar !!! :
$ cd nqsjobs
$ qsub job
5.2. IO-performance
Um allen Nutzern der SPP2000 die Möglichkeit zu geben, die I/O Performance positiv zu beeinflussen wurden folgende "Scratch"-Filesysteme für die allgemeine Nutzung bereitgestellt:
Name Groesse NODE
/scratch0 4,5 GB 0 (largefiles)
/scratch0s 12 GB 0 (largefiles,3-fach-Stripe)
/scratch2 2,5 GB 0
/scratch1 9 GB 1 (largefiles,2-fach-Stripe)
/priv-scratch1 16 GB 1 (largefiles,4-fach-Stripe, private)
Die "Scratch"-Filesysteme werden nicht gesichert und im Problemfall gelöscht !
subcomplexe (SC) node0: sub1 (SCID=2); default (SCID=3);
subcomplexe node1: sub2 (SCID=4); z.Z. private: sub3 (SCID=5);
home-dirs node0: home0; home01;
home-dirs node1: home1;
Durch die Auswahl geeigneter Workingdirectories wird die I/O-Performance wesentlich beeinflusst.
Die niedrigste I/O-Performance wird bei Zugriff auf NFS-gemountete Filesysteme erreicht.
Bessere I/O-Performance wird i.d.R. bei localen Filesystemen erzielt.
Bei localen Filesystemen spielt noch die physische Lage des Filesystems und des aktuellen Subcomplexes eine Rolle,
wobei das aktuelle Filesystem und der benutzte SC am gleichen Node liegen sollten! Außerdem minimiert dieses Verhalten
die interne Kommunikation zwischen den (Hyper-)nodes ueber den CTI.
Die beste I/O-Performance kann man bei besonders I/O-intensiven Jobs durch die Nutzung von "Stripes" erreichen,
wobei in 64k-Blöcken das File zyklisch auf die Partitionen (bzw. Platten) innerhalb des Stripes verteilt werden.
Zusammenfassend kann man also sagen, daß bei I/O-intensiven-Jobs folgende Zuordnung zwischen Subcomplexen und "Scratch"-Filesystemen angestrebt werden sollte:
sub1 & default ---> /scratch2 , /scratch0 und /scratch0s
sub2 ---> /scratch1
Am Node 0 sollte man noch je nach Auslastung und Größe der eigenen Files ein geeignetes "Scratch"-Filesystem auswaehlen!!!
Das Kommando "bdf -l" liefert die dazu benötigten Informationen!
Im Interesse der Allgemeinheit werden alle Nutzer gebeten sofort nach Beendigung des jeweiligen Jobs,
die "Scratch"-Filesysteme fuer die Nutzung durch andere Nutzer freizugeben!!!!
( z.B. mit cp --> cluster-Filesystem )
Nur so kann vermieden werden irgendwelche Restriktionen einfuehren zu muessen !
5.3. Wo ist was?
Bitte beachten Sie die Aenderungen im Filesystem-layout, die sich durch
die Umstellung auf SPP-UX 5.x ergeben !!!!!!!
1. Die Suchpfade haben sich geaendert !!!!!!
Sie werden systemweit in den Files
/etc/PATH
und /etc/MANPATH
voreingestellt !!!!!!!
Bitte im .cshrc bzw. .profile nur ergaenzen !!!!!!
2. Es wurde ein Verzeichnis /opt eingefuehrt !!!!!!!!
Dort befinden sich folgende wichtige Produktverzeichnisse:
Fortran77 /opt/fortran
Fortran90 /opt/fortran90
C /opt/ansic
C++ /opt/CC
CXdb /opt/cxdb
CXperf /opt/cxperf
CXtrace /opt/cxtrace
Mlib /opt/mlib
MPI /opt/mpi
PVM /opt/pvm3
VAST90 /opt/vast90
Eingetragene Nutzer finden die aktuellen RELEASE-NOTES in folgenden Verzeichnissen:
/opt/ansic/newconfig/RelNotes
/opt/CC/newconfig/RelNotes
/opt/cxdb/newconfig/RelNotes
/opt/cxperf/newconfig/RelNotes
/opt/cxtrace/newconfig/RelNotes
/opt/fortran/newconfig/RelNotes
/opt/fortran90/newconfig/RelNotes
/opt/pvm3/newconfig/RelNotes
/opt/mpi/newconfig/RelNotes
/opt/mlib/newconfig/RelNotes
/opt/vast90/newconfig/RelNotes
3. vom URZ installierte Produkte finden Sie unter
/usrurz0/{product-name}
bzw. /usrurz1/{product-name}
Dort koennen auf Antrag auch Verzeichnisse fuer weitere
Softwareprodukte, die von Nutzern bereitgestellt werden
zugeeignet werden !!!!!!!!!!
Damit besteht die Moeglichkeit die relativ kleinen HOME-Directories
zu entlasten !!!!!!!!!!!!
4. Nutzerdokumentationen
Nutzerdokumentationen koennen sie sich mit Hilfe von Pinpoint ansehen
das Kommando pinpoint wurde in den durch "/etc/PATH" bereitgestellten
Suchpfad aufgenommen !!!!!!!
Aufruf aus einem xterm heraus : pinpoint&
Bei Fragen und Problemen wenden sie sich bitte an gerald.moebius@itz.uni-halle.de