High-Performance Computing

Das Gauß-IT-Zentrum betreibt lokale Hochleistungsrechner zur Abdeckung des Grundbedarfs der Universitätsangehörigen an HLR-Kapazität und -Funktionalität. Für darüber hinaus gehende Anforderungen betreibt es für die Universitäts-Institute zusätzliche Hochleistungsrechner, die von den nutzenden Instituten finanziert werden. Das Gauß-IT-Zentrum führt dazu die Installation und den Betrieb der Rechner durch und leistet Benutzerunterstützung im gleichen Rahmen wie für die selbst beschafften Systeme.

Um möglichst großen Nutzen aus den beschafften Systemen zu erhalten, sollen die einzelnen Systeme in einen lokalen Grid-Verbund aufgenommen werden, um so zusätzliche Überlaufkapazität und Ausgleich von Nutzungsspitzen abzufangen.

Nutzung durch den Benutzer

• Kontaktaufnahme mit dem Gauß-IT-Zentrum, sobald Mittel für eine HLR-Beschaffung in Aussicht gestellt sind, wünschenswert bereits vor der Antragsstellung.
• Absprache und Planung der Aufstellung im Maschinensaal Campus Nord.

Randbedingungen und Voraussetzungen

• Die Rechner stehen im Maschinensaal Campus Nord und sind den Gegebenheiten der dortigen Infrastruktur unterworfen.
• Die Übernahme der Folgekosten (Strom, etc.) ist im Einzelfall mit GB3 abzuklären.
• Die für die Betreuung erforderlichen Personalkapazitäten sind durch das Institut zu erstatten.
• Die Einzelheiten der Dienstleistung sind mit dem Institut abzustimmen.
• Freie Rechenkapazitäten kann das Gauß-IT-Zentrum anderen Nutzern zuordnen.
• Das System sollte in einen lokalen Grid-Verbund integriert werden.

• Performance: 244,5 TFLOPS (CPU) + 339,2 TFLOPS (GPU)
• Anzahl Knoten: 304 Rechenknoten, 8 FAT-Knoten, 8 GPU-Knoten, 6 Visualisierungsknoten
• Speicherplatz (BeeGFS): ~576TB
• Bandwidth: 10 GBit/s Ethernet + 58 GBit/s Infiniband

Die Beantragung und Beschaffung des DFG-Großgerätes erfolgte federführend durch das Institut für rechnergestützte Modellierung im Bauingenieurwesen (IRMB) mit Unterstützung des Gauß-IT-Zentrums. Weiterhin waren die Institute für Füge‐ und Schweißtechnik, Wissenschaftliches Rechnen, Strömungsmechanik, Flugantriebe und Strömungsmaschinen, Partikeltechnik, Konstruktionstechnik, Angewandte Mechanik, Medizinische und Pharmazeutische Chemie, Thermodynamik sowie Energie‐ und Systemverfahrenstechnik an der Antragstellung und Finanzierung des Systems beteiligt. Die Administration des Systems erfolgt gemeinsam durch IRMB und Gauß-IT-Zentrum. Darüber hinaus unterstützt und berät das GITZ die Nutzer bei der Weiterentwicklung ihrer parallelen Forschungssoftware.

Um einen Nutzeraccount für den Phoenix zu beantragen, füllen Sie das entsprechende Formular aus und senden es eingescannt als pdf per E-Mail an phoenix-support@tu-braunschweig.de. Bitte geben Sie auch die Nutzerkennung und E-Mail-Adresse explizit in der E-Mail mit an.

Antrag Nutzeraccount

English

"This work used the supercomputer Phoenix and was supported by the Gauß-IT-Zentrum of the University of Braunschweig (GITZ). We are grateful to the GITZ supercomputer staff, especially [name of the person]."

Inspired by: https://www.hlrn.de/doc/display/PUB/Acknowledge+HLRN

German

"Die Arbeiten wurden durch die Technische Universität Braunschweig (TUBS) gefördert. Die Autoren danken [Name der HPC Person] für die Unterstützung bei der Implementierung unseres Codes auf dem TUBS-System Phoenix."

Inspiriert durch: https://www.hlrn.de/doc/display/PUB/Acknowledge+HLRN

Kontakt

Bei Problemen, Fragen, Verbesserungsvorschlägen und für generellen Support erreichen Sie uns unter: phoenix-support(at)tu-braunschweig.de.

Ticketsystem

Ihre Anfragen werden direkt als Ticket in unserem zentralen Ticketsystem (OTRS) aufgenommen und können dann von unseren Mitarbeitern bearbeitet werden. Den Status ihrer Tickets können Sie hier nachverfolgen.

In unserem Doku-Wiki finden Sie weitere Informationen zur Nutzung des Clusters.

Unter anderem haben wir dort eine Kurzanleitung veröffentlicht. Eine englische Version ist am Ende der Seite ebenfalls verfügbar.

Server/Knoten (Details)

Dies ist eine detaillierte Auflistung aller Knoten und Server, die im Phoenix verbaut sind.

2x Administrationsserver: (s[01-02] / XCAT + Clustware + NFS (Pacemaker) ):

• CPU: 2x CPU INTEL Xeon E5-2640v4
• RAM: 8x DDR4-2400 8GB ECC (Samsung M393A1G43EB1-CRC)
• Festplatten: 2x Seagate 2TB ST2000NM0033 (System / RAID1), 2x Samsung SSD SM863 240GB (/var/log / RAID1)
• Motherboard: Supermicro X10DRH-C (Geh. Supermicro 825TQ-R740LPB)
• Interconnect: eth1 onboard 1GB (corosync), eth2 10 GB Ethernet (Internes Clusternetz), eth3 10 GB Ethernet (Außenanbindung GITZ), ipmi dediziert, ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

1x Externes RAID-System für Administrationsserver:

• Model: Infortrend ESDS-1012RC
• Festplatten: 2x HDD Seagate ST4000NM0115 4TB (Controller Software RAID 1)

2x Zugangsknoten: (login[01-02]):

• CPU: 2 x CPU INTEL Xeon E5-2640v4
• RAM: 8 x DDR4-2400 8GB ECC (Samsung M393A1G43EB1-CRC)
• Festplatte: 2x Micron SSD 5100 240GB 2,5" ( System / RAID1), 2x HDD Toshiba 1TB MG03ACA100 (/scratch / RAID1)
• Motherboard: Supermicro X10DRT-H (Supermicro BB 6028TR-D72R)
• Interconnect: eth0 onboard 1GB Ethernet (service),  eth1 onboard 1GB Ethernet (ungenutzt), eth2 10 GB Ethernet (Außenanbindung GITZ), ipmi dediziert, ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

2x Metadaten-Server: (mds[01-02])

• CPU: 1x INTEL Xeon E5-1630v4
• RAM: 8x DDR4-2133 16GB (Samsung M393A2G40DB0-CPB)
• Festplatten: 2x Samsung SSD SM863 240GB (system / RAID 1), 11x Samsung SSD SM863A 480GB (/beegfs/meta / Raid 10 + HS)
• Motherboard: Supermicro X10SRH-CLN4F (Supermicro BB 5028R-E1CR12L)
• Interconnect: eth0 onboard 1GB Ethernet (service), eth1 onboard 1GB Ethernet (ungenutzt), ipmi dediziert, ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

2x Object-Storage-Server: (ods[01-02] Pacemaker)

• CPU: 2x CPU INTEL Xeon E5-2630v4
• RAM: 8x DDR4-2400 32GB (Samsung M393A4K40BB1-CRC)
• Festplatten: 2x Samsung SSD SM863 240GB (system / RAID 1)
• Motherboard: Supermicro X10DRT-H (Supermicro BB 6028TR-D72R)
• Interconnect: eth0 onboard 1GB Ethernet (service), eth1 onboard 1GB Ethernet (corosync), ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

2x MEGWARE Object-Storage-Target:

• Model: HGST JBOD 4U60 Storage
• Festplatten: 60x 6TB SAS 7200 (ZFS 4×14 Raidz2 + 4 HS)

304x Rechenknoten: (node[001-304]):

• CPU: 2x CPU INTEL Xeon E5-2640v4
• RAM: 8 x DDR4-2400 8GB
• Festplatten: diskless
• Motherboard: Intel S2600KPR (Module HNS2600KPR / Geh H2000G)
• Interconnect: eth0 onboard 1GB Ethernet (service), eth1 onboard 1GB Ethernet (ungenutzt), ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

8x fat nodes(fat[001-008]):

• CPU: 2x CPU INTEL Xeon E5-2640v4, RAM8 x DDR4-2400 32GB
• Festplatten: diskless
• Motherboard. Intel S2600KPR (Module HNS2600KPR / Geh H2000G)
• Interconnec: eth0 onboard 1GB Ethernet (service), eth1 onboard 1GB Ethernet (ungenutzt), ipmi dediziert, ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

8x gpu nodes (gpu[01-08]):

• CPU: 2x CPU INTEL Xeon E5-2640v4
• RAM: 8 x DDR4-2400 8GB (Samsung M393A1G40EB1-CRC)
• Festplatten: diskless
• Motherboard: Intel X10DGQ (Supermicro BB 1028GQ-TXR)
• GPU: 4x NVIDIA Tesla P100 16GB HBM2
• Interconnect: eth0 onboard 1GB Ethernet (service), eth1 onboard 1GB Ethernet (ungenutzt), ipmi dediziert, ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

6x Visualisierungs-Knoten (vis[01-06]):

• CPU: 2x CPU INTEL Xeon E5-2640v4
• RAM:16x DDR4-2400 32GB
• Festplatten: 1x HDD Seagate ST4000NM0115 4TB (system)
• Motherboard: SuperMicro X10DRU-i+ (Supermicro BB 6028U-TR4+)
• GPU: GK PNY Geforce GTX1080 8GB
• Interconnect: eth0 onboard 1GB Ethernet (service), eth1 onboard 1GB Ethernet (ungenutzt), ipmi dediziert, ib0 Intel Omni-Path HFI Adapter 100 Series (Infinibandnetzwerk)

Eine detailierte Liste installierter Software finden Sie auf der entsprechenden Seite in unserem Doku-Wiki.

Da sich die installierte Software sowohl von der Anzahl her als auch von der Version regelmäßig ändert, ist die Liste unter Umständen nicht vollständig.

Gerne können Sie uns dazu auch eine Anfrage an phoenix-support(at)tu-bs.de stellen.