Was gibt`s Neues auf dem Sun Fire Cluster?
Transcrição
Was gibt`s Neues auf dem Sun Fire Cluster?
Was gibt‘s Neues auf dem Sun Fire Cluster? Dieter an Mey – Rechen-und Kommunikationszentrum der RWTH Aachen Cisco Cisco Catalyst Catalyst 6500 6500 Gbit-Switch Gbit-Switch SunFire E25K CPU and IO boards SunFire E25K Cluster FC -AL Switch FC-AL SunFire E6900 Cluster 1 Neues auf dem Sun Fire Cluster SunFire V40z Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Inhalt • • • • • • 2 Das Sun Fire Cluster im Überblick Neu: Solaris auf Opteron Neu: Windows auf Opteron Software Portfolio Beispiel einer Portierung und Parallelisierung Verschiedenes Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Das Sun Fire Cluster im Überblick 3 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Sun Fire Cluster - Prozessoren 288 1. 2. 3. 4. Memory (GB) 240 SPARC-Solaris Opteron-Solaris Opteron-Linux Opteron-Windows 192 4 SunFire E25K 72 UltraSPARC IV 1050 GHz 144 16 SunFire E6900 24 UltraSPARC IV 1200 GHz 96 8 SunFire E2900 12 UltraSPARC IV 1200 GHz 64 SunFire V40z 4 Opteron 848 2200 GHz 48 0 0 144 288 432 576 720 864 1008 1152 Processors (Cores) 4 Neues auf dem Sun Fire Cluster 1296 1440 1584 1728 C C C Ce nter fo r Co mputing an d C omm unic ation Sun Fire Cluster – Peak Performance 288 1. 2. 3. 4. Memory (GB) 240 192 4 SunFire E25K 72 UltraSPARC IV 1050 GHz 144 16 SunFire E6900 24 UltraSPARC IV 1200 GHz SPARC-Solaris Opteron-Solaris Opteron-Linux Opteron-Windows 8 SunFire E2900 12 UltraSPARC IV 1200 GHz 96 64 SunFire V40z 4 Opteron 848 2200 GHz 48 0 0 500 1000 1500 2000 2500 3000 Peak Performance (Gflop/s) 5 Neues auf dem Sun Fire Cluster 3500 4000 4500 C C C Ce nter fo r Co mputing an d C omm unic ation Sun Fire Cluster – Peak Performance 64 x Sun Fire V40z Solaris / Linux / Windows 1126,4 GFlop/s 4 x Sun Fire E25K Solaris 1209,6 GFlop/s Opteron 848 2200 GHz UltraSPARC IV 1050 GHz 8 x Sun Fire E2900 Solaris 460,8 GFlop/s UltraSPARC IV 1200 GHz 16 x Sun Fire E6900 Solaris 1843,2 GFlop/s 6 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Neu: Solaris auf Opteron Dokumentation: Neuer Primer V6.0 7 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Solaris auf Opteron • Operating system Solaris 10 – Similar to Sparc Systems (Solaris 9 and 10) • Hardware – – – – Currently 5 Sun Fire V40z (sunoc35/60/61/62/63) 4 Opteron 848 processors (2.2 GHz) 8 GB main memory about 2-4 times faster than one UltraSparc IV processor core • Porting programs from Sparc to Opteron is easy – basically same tools, compiler and operating system • Login – cluster-sun-x86.rz.rwth-aachen.de 8 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Compiler • Sun Studio 10 Compilers – same flags as on the Sparc systems, except CPU specific options – by default the compiler will generate 32bit code – use the option -fast -xarch=sse2 for high optimization with 32 bit addressing – use the option -fast -xarch=amd64 for high optimization with 64 bit addressing – this will expand to -xarch=sse2|amd64 -xchip=opteron -xcache=64/64/2:1024/64/16 – Caution: Opteron uses little endian representations. Use f90 ... –xfilebyteorder=... 9 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation MPI • Sun HPC ClusterTools (SunMPI) – not available (yet) • mpich – public domain implementation of MPI-1.2.6 – initialize with: module load mpich-[32|64] – use mpirun instead of mprun • mpich2 – public domain implementation of MPI2-1.0.2 – initialize with: module load mpich2-[32|64] • Compiler drivers are available with mpich and mpich2 – mpif90, mpicxx, mpicc 10 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Debugger • Totalview – not available • DDT – use instead of Totalview – version 1.8.1 – usage: see new Primer V6.0 • Sun Studio IDE – part of the Sun compiler suite • dbx – comand line debugger 11 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Batchjobs • submitting batchjobs – specify -l ostype=sunos and -l platform=x86 in the qsub configuration file. – submitting an mpi program -pe mpi_sunos_amd64_v40z – start the MPI program with mpirun -v -machinefile ${SGE_MACHINES}.mpich -np $NSLOTS a.out – Example scripts for submitting batchjobs can be found here: http://www.rz.rwth-aachen.de/computing/hpc/batch/beispiele/ see new Primer V6.0 12 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Neu: Windows auf Opteron Dokumentation: Neuer Primer V6.0 13 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Windows auf Opteron • Hardware: – 4 Sun Fire V40z mit 4 Opteron Prozessoren (2.2 GHz), 8 GB Speicher – 1 PC mit 2 Intel Xeon Prozessoren (2.7 GHz) und 4 GB Speicher • Betriebssystem – Windows 2003 Enterprise, 64bit (Opteron) resp. 32 Bit (Xeon) • In Vorbereitung: – Windows 2003 Compute Cluster, 64bit • Benutzerverwaltung: – Bisher: mit HPC-Gruppe Kontakt aufnehmen – In Zukunft: selbstständig über TIM 14 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Zugang, Software • Zugang: – von Windows: “Zubehör” → “Kommunikation” → “Remote Desktop Verbindung” – von Linux: “rdesktop” – Login auf: cluster-win.rz.rwth-aachen.de (winoc45) • Software: – – – – – – 15 Microsoft Visual Studio 2003 Microsoft Visual Studio 2005, beta (CTP Aug 2005) Intel Software Tools (C++ und Fortran, 32-bit Compiler in VS2003) Microsoft Office 2003 Microsoft Platform SDK Cygwin, X-Win32, SSH (UNIX-Umgebung) Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Parallelverarbeitung • HPC-Entwicklung: – Intel Software Tools (C++ und Fortran) in Version 9.0 unterstützen OpenMP – Microsoft Visual C++ 2005 (noch Beta) unterstützt OpenMP – winc1: Intel VTune Performance Analyse (nach Absprache mit HPCGruppe) + Intel ThreadingTools – mit Linux als Client: Intel ThreadingTools – mpich-2 Version 1.0.2 Umgebung • In Vorbereitung – Microsoft MPI-Umgebung auf Windows Compute Cluster Systemen – Sun GridEngine oder Microsoft Job Scheduler 16 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Intel Tools • Intel VTune Performance Analyzer (auf Xeon): – Detaillierte Performance-Analyse: Funktionsebene, Call-Graph Darstellung, Multithreading • Intel ThreadingTools (auf Xeon): – ThreadChecker: Verifikation von OpenMP und PThreads Programmen – ThreadProfiler: Analyse von OpenMP Programmen hinsichtlich der Skalierung 17 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Software Portfolio 18 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Overview over HPC Tools on SPARC and Opteron Platforms • Current program development environment for HPC on the Sun SPARC and Opteron systems at the RWTH – 4 platforms : 1. SPARC/Solaris (in production) 2. Opteron/Solaris (in preparation) 3. Opteron/Linux (Fedora in production) 4. Opteron/Windows (in preparation) – serial programming, shared memory parallelization, message passing – compilers / MPI libraries, debugging tools, performance analysis tools 19 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Compiler / Library Serial Sun Studio F95/C/C++1,2,3 Intel F95/C++ 3,4 MS Visual Studio C++ 4 GNU C/C++ 1,2,3,4 PGI F77/F90/C/C++ 3 Sun Perform. Analyzer 1,2,3 Sun gprof 1,2 GNU gprof 3,4 PGI pgprof 3 Intel VTune 3,4 Intel Guide F77/F90/C/C++1 MS Visual Studio C++ 4 PGI F77/F90/C/C++3 Intel F95/C++3,4 Etnus TotalView 1,3 Sun IDE 1,2 Sun dbx 1,2 Intel Assure 1 Intel Thread Checker3,4 (Allinea DDT 1,3) Sun Perform. Analyzer 1,2 Intel GuideView 1 Intel Thread Profiler 3,4 Sun MPI 1 mpich 1,2,3,4 mpich21,2,3,4 Windows HPC 4 Etnus TotalView 1,3 Sun Prism 1 Allinea DDT 1,2,3 Windows HPC 4 OpenMP Sun Studio F95/C/C++1,2,3 MPI 20 Analysis / Tuning Etnus TotalView 1,3 Sun IDE 1,2,(3) Sun dbx 1,2 GNU gdb 3,4 GNU ddd 3 PGI pgdbg 3 Intel idb 3 MS Visual Studio 4 Allinea DDT 1,3 most important tools (bold) less important tools (regular) installation/test planed (italic) Autopar Debugging Neues auf dem Sun Fire 1. 2. 3. 4. SPARC-Solaris Opteron-Solaris Opteron-Linux Opteron-Windows Intel Trace Collector and Analyzer (Vampir)1,3 Sun Perform. Analyzer 1 Sun mpprof 1 GNU jumpshot 1,2,3,4 Cluster Allinea OPT1,2,3 C C C Ce nter fo r Co mputing an d C omm unic ation Beispiel einer Portierung und Parallelisierung 21 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Fortranprogramm zur Zahnkontaktanalyse (WZL) Ziel • Pentium/Windows/Intel → Opteron/Windows/Intel + OpenMP + Tuning Weg • Pentium/Windows/Intel → Opteron/Windows/Intel : kein Problem • Opteron/Windows/Intel → UltraSPARC IV/Solaris/SunStudio: TotalView: Dateinamen, Zeitmessung, <CR>,… ( ~ 2x2 Std) • Fortran77 → Fortran 90 + Bereinigung mit Foresys (90,000 Zeilen) • Laufzeitanalyse mit Sun Analyzer • OpenMP-Parallelisierung (~ 2 Tage inkl. Tuning) • UltraSPARC/Solaris/SunStudio → Opteron/Linux/Intel: kein Problem • Verifizierung mit ThreadChecker (GUI unter Windows) • Opteron/Linux/Intel → Opteron/Windows/Intel : kein Problem 22 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Geschwindigkeit (Mflop/s) Testfall mit mittlerem Gitter (100x100) Opteron/Windows derzeit Faktor 7.5 ... 3500 Opteron/Solaris Faktor 14 1 thread 2 threads 3 threads 4 threads 8 threads 16 threads 24 threads 3000 MFlop/s 2500 2000 Ausgangspunkt 1500 1000 500 0 Proz. Takt P4 1,8 US IV 1,2 Opt 2,2 Opt 2,2 Opt 2,2 Linux Windows Solaris BetrSyst Windows Solaris Intel Sun Intel Intel Sun Compiler Opt 2,2 Linux Sun Xeon 2,7 Linux Intel 387 322 224 743 677 1019 740 2 threads 444 1219 1066 1776 671 3 threads 525 1620 1370 2479 676 4 threads 681 1983 1654 3083 8 threads 1148 1 thread 16 threads 23 24 threads 220 Opt 2,2 Linux PGI 1829auf dem Sun Fire Neues 2144 470 C C C Sun Studio auf Linux ! - alpha release Cluster- keine Optim. f. Opteron - kein OpenMP Ce nter fo r Co mputing an d C omm unic ation Verschiedenes 24 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation modules • module command (replacement for init scripts) – help • list all available commands • print help for specific module file – avail • list all available module files – list • list loaded module files – load | unload file • loads | unloads a module file – switch fileold filenew • unload fileold and load filenew – use • add an additional path with module files – whatis • print short info to a module file 25 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Questions? Problems? HPC, Programmierung und Parallelisierung: [email protected] Software and Licensing: [email protected] Batch system: [email protected] Support inquiries: [email protected] 26 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Der Neue Primer http://www.rz.rwth-aachen.de/computing/info/sun/primer Neu: Primer V6.0 für Solaris, Linux und Windows 27 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation Sun HPC Workshop und Consortium Meeting 13.-17. März 2006 Neu: Videos der letzten Veranstaltung unter http://www.rz.rwth-aachen.de/computing/events/2005/sunhpc_2005/ 28 Neues auf dem Sun Fire Cluster C C C Ce nter fo r Co mputing an d C omm unic ation