---

3. OS, Filesystem, Batch, MPI, Compiler, ... und Software des IBM-575 Clusters in Halle

---

Betriebsystem Powerlinux/SLES 11 on Power

• Bitte prüfen sie vorab ob Ihre Anwendung auf dieser Plattform lauffähig ist: Power-Linux=SLES11_on_Power auf IBM-Power Prozessor

Login, Paralleles Filesystem GPFS, Home und Scratch:

• login via ssh userkz@ibm575.urz.uni-halle.de
• home_user und „alles Andere“ ist „automatisch“ im gpfs:
• userkz@ibm575:~>pwd -> /gpfs/home/userkz
• Jobstart via: userkz@ibm575:~> llsubmit name_LL_startscript
• Beachte: userkz@ibm575: ~> urzgpfsquota
  die angezeigten quota gelten für /home_user + alle files
  des users im gpfs
• Backup der Daten im /home~ „automatisch“ via TSM in ATL
  werktags jede Nacht außer: .../WORK und .../scratch = kein
  Backup !!!

Batchverarbeitung via IBM-LoadLeveler:

• Jobs sind generell via IBM-LoadLeveler zu starten, um die Computenodes im Cluster nutzen zu können  (statt der SGE im „galaxy“ Sun-Opteron-Cluster)
• Jobstart: : ~@ibm575:~>llsubmit in_name_LL_startscript
  - Beispiele für LoadLeveler Startscripts der typischen
  Jobklassen siehe: ~@ibm575:/gpfs/usrurz/loadleveler_start_scripts> ls –l
  mpi+hybrid serial+openmp
• Bitte lesen Sie die README’s:
  ~@ibm575:/gpfs/usrurz/loadleveler_start_scripts> ls –l
  README_loadlevler_urz*
• Konfig IBM-LoadLeveler in Halle inkl. automatische
  Generierung von MPI-Hostfiles, Füllen von „Lücken“ via
  Backfill Scheduler, fair-share scheduling, ...
• via LoadLeveler Startscript Optionen steuert der Nutzer für
  den aktuellen Job:
• Festlegen ob Job mit CPU-SMT oder Core rechnen soll,
  dynam. Zuweisung der Ressourcen für den Job (CPU-SMT
  oder Core und Memory pro Job bzw. MPI-Task) unabhängig
  vom Node,
• Binding/allocation von Core oder CPU und Memory oder
  nicht ...
• - ...

MPI

• IBM MPI (PE) und LoadLeveler sind so aufeinander abgestimmt, daß das für die Performance vorteilhafte  Binding von Core/CPU und Memory an die  MPI-Tasks des Jobs nur damit realsiert werden kann, so dass die Nutzung von evtl. Alternativen wie OpenMPI usw. sich verbieten.
• Nutzung siehe Beispiele o. gen. LoadLeveler
  Startscript-Bsp. und README’s

Compiler und Software

• Eigene Codes sind zunächst neu zu kompilieren, für beste Performance vorzugsweise mit den IBM-Compilern: xlf, xlc, x...
• - ~@ibm575:~> ls -l /usr/bin/x*
• - ...
• - ~@ibm575:~>man xlf
• - ...
• - Software:
• - Welche Software ist aktuell installiert – siehe:
• ls -l /gpfs/usrurz ....
• Hier wird nach Rücksprache gern ein Verzeichnis für Ihre
  lizenzierte ggf. noch zu installierende Applikation
  eingerichtet.

einige nützliche Kommandos: ~@ibm575:~>

• urzgalaxyhome ### mount /galaxy-home-nfs/user_home via UNI_LAN=Ethernet
• urzgpfsquota ### show limit und reserven /home_user
• urzllq ### show alle running und wait jobs Cluster
• urzllq –u mein_userKZ ### show nur meine running und
  wait jobs Cluster
• urzllstatus ### show load nodes und freie ressourcen
• -  ...
• - siehe auch z. Bsp.
• -  ~@ibm575:~>man llq
• -  ~@ibm575:~>man llstatus



Zum Seitenanfang