„Benutzerdefinierter“ Dell PowerEdge R760 Server

Wie das Sprichwort sagt: Das dritte Mal ist ein Zauber. Dies ist nicht unser erstes Rodeo, bei dem wir mit Pi Rekorde brechen; Wir haben aus unseren ersten beiden Iterationen gelernt, um die beste Pi-Plattform zu entwickeln. Unser erster Build nutzte einen 2U-Server mit 16 NVMe-Schächten und drei internen SSD-Schlitten. Mit Solidigm P5316 SSDs mit 30,72 TB haben wir den Auslagerungsspeicher für Y-Cruncher bereitgestellt, für die Ausgabedatei mussten wir jedoch einen HDD-basierten Speicherserver nutzen. Es war nicht optimal, insbesondere am Ende der Ausschreibphase. Unsere zweite Plattform nutzte denselben Server mit angeschlossenem externen NVMe-JBOF, was uns zusätzlichen NVMe-Schacht verschaffte – allerdings auf Kosten empfindlicher Verkabelung und unausgewogener Leistung. Der Nachteil beider Plattformen bestand darin, dass sie während des gesamten Y-Cruncher-Laufs auf externe Hardware angewiesen waren, was auf Kosten zusätzlicher Leistung und zusätzlicher Fehlerquellen ging.

Für diesen Lauf wollten wir einen All-Direct-NVMe-Einzelserver nutzen und genügend Platz für unseren Y-Cruncher-Swap-Speicher und Ausgabespeicher unter einem Blechdach haben. Betreten Sie den Dell PowerEdge R760 mit der 24-Bay-NVMe-Direct-Drives-Backplane. Diese Plattform nutzt einen internen PCIe-Switch, um alle NVMe-Laufwerke gleichzeitig mit dem Server kommunizieren zu lassen, ohne dass zusätzliche Hardware oder RAID-Geräte erforderlich sind. Anschließend haben wir in unserer Laborumgebung eine PCIe-Riser-Konfiguration aus mehreren R760 zusammengestellt und so vier PCIe-Steckplätze auf der Rückseite für zusätzliche U.2-montierte NVMe-SSDs erhalten. Ein Bonus war die Entfernung größerer Kühlkörper von einem anderen R760, um uns so viel Turbo-Boost-Spielraum wie möglich zu geben. Die direkte Flüssigkeitskühlung kam einen Monat zu spät in unser Labor, um in diesem Lauf implementiert zu werden.

„Die Berechnung des Pi durch das StorageReview Lab-Team auf über 202 Billionen Stellen, erreicht mit 5^ThDer Intel Xeon-Prozessor der Generation unterstreicht die Leistung und Effizienz dieser CPUs. Nutzen Sie die erhöhte Kernanzahl und die erweiterten Leistungsfunktionen des 5^ThMit dem Gen Xeon-Prozessor setzt dieser Meilenstein einen neuen Maßstab in der Computermathematik und ebnet weiterhin den Weg für Innovationen bei verschiedenen wissenschaftlichen und technischen Arbeitslasten.“sagteSuzi Jewett, Intel General Manager für 5^ThGen Intel Xeon Prozessorprodukte

Obwohl man technisch gesehen eine Dell-Konfiguration genauso bestellen konnte wie die in diesem Test verwendete, lag sie nicht herum und musste zusammengesetzt werden. (Vielleicht wird Michael eine limitierte „Pi“-Serie von R760 mit genau dieser Konfiguration, individueller Lackierung und dem SR-Logo betreiben.)

Auch die Größe des Netzteils war bei diesem Lauf von entscheidender Bedeutung. Während die meisten sofort denken würden, dass die CPUs den größten Teil der Leistung verbrauchen, bedeutet die Unterbringung von 28 NVMe-SSDs unter einem Dach eine erhebliche Auswirkung auf die Leistung. Unser Build nutzte die 2400-W-Netzteile, die, wie sich herausstellte, nur knapp funktionierten. Wir hatten ein paar Momente mit nahezu kritischem Stromverbrauch, in denen wir unterversorgt gewesen wären, wenn das System eine Verbindung zur Stromversorgung unterbrochen hätte. Das schlug schon früh ein; Der Stromverbrauch stieg sprunghaft an, während die CPU-Auslastung ihren Höhepunkt erreichte, und das System erhöhte die I/O-Aktivität auf allen SSDs. Wenn wir dies noch einmal tun müssten, wären die 2800-W-Modelle vorzuziehen gewesen.

Leistungsdaten

Technische Highlights

• Gesamtzahl der berechneten Ziffern: 202.112.290.000.000
• Verwendete Hardware: Dell PowerEdge R760 mit 2x Intel Xeon 8592+ CPUs, 1 TB DDR5 DRAM, 28x Solidigm 61,44 TB P5336
• Software und Algorithmen: y-cruncher v0.8.3.9532-d2, Chudnovsky
• Datenspeicherung: 3,76 PB geschrieben pro Laufwerk, 82,7 PB auf den 22 Festplatten für Swap-Array
• Berechnungsdauer: 100,673 Tage

Y-Cruncher-Telemetrie

• Logisch größter Kontrollpunkt: 305.175.690.291.376 (278 TiB)
• Logische maximale Festplattennutzung: 1.053.227.481.637.440 (958 TiB)
• Gelesene Bytes der logischen Festplatte: 102.614.191.450.271.272 (91,1 PiB)
• Geschriebene Bytes der logischen Festplatte: 88.784.496.475.376.328 (78,9 PiB)
• Startdatum: Dienstag, 6. Februar, 16:09:07 Uhr 2024
• Enddatum: Montag, 20. Mai, 05:43:16 Uhr 2024
• Pi: 7.272.017,696 Sekunden, 84,167 Tage
• Gesamtrechenzeit: 8.698.188,428 Sekunden, 100,673 Tage
• Wandzeit von Anfang bis Ende: 8.944.449,095 Sekunden, 103,524 Tage

Die größte bekannte Ziffer von Pi ist 2 an Position 202.112.290.000.000 (zweihundertzwei Billionen, einhundertzwölf Milliarden, zweihundertneunzig Millionen).

Weitere Implikationen

Während die Berechnung von Pi auf eine so große Anzahl von Ziffern wie eine abstrakte Herausforderung erscheint, haben die im Rahmen dieses Projekts entwickelten praktischen Anwendungen und Techniken weitreichende Auswirkungen. Diese Fortschritte können verschiedene Rechenaufgaben verbessern, von der Kryptographie bis hin zu komplexen Simulationen in Physik und Technik.

Die aktuelle 202-Billionen-stellige Pi-Berechnung verdeutlicht erhebliche Fortschritte bei der Speicherdichte und den Gesamtbetriebskosten (TCO). Unser Setup erreichte erstaunliche 1.720 Petabyte NVMe-SSD-Speicher in einem einzigen 2U-Gehäuse. Diese Dichte stellt einen Sprung nach vorn bei den Datenspeicherkapazitäten dar, insbesondere wenn man bedenkt, dass der Gesamtstromverbrauch bei voller CPU- und Laufwerkslast bei nur 2,4 kW lag.

Diese Energieeffizienz steht im Gegensatz zu herkömmlichen HPC-Rekordläufen, die deutlich mehr Strom verbrauchen und übermäßige Wärme erzeugen. Der Stromverbrauch steigt exponentiell, wenn Sie zusätzliche Knoten für Scale-Out-Speichersysteme berücksichtigen, wenn Sie gemeinsam genutzten Speicher mit geringer Kapazität im Vergleich zu lokalem Speicher mit hoher Dichte erweitern müssen. Das Wärmemanagement ist besonders für kleinere Rechenzentren und Serverschränke von entscheidender Bedeutung. Die Kühlung herkömmlicher HPC-Record-Systeme ist keine Kleinigkeit und erfordert Kältemaschinen für Rechenzentren, die mehr Strom aufnehmen können als die allein laufenden Geräte. Durch die Minimierung des Stromverbrauchs und der Wärmeabgabe bietet unser Setup eine nachhaltigere und überschaubare Lösung für kleine Unternehmen. Als Bonus wurde der Großteil unseres Laufs mit Frischluftkühlung durchgeführt.

Um dies ins rechte Licht zu rücken, stellen Sie sich die Herausforderungen vor, mit denen diejenigen konfrontiert sind, die mit vernetztem Shared Storage und nicht optimierten Plattformen arbeiten. Für diese Konfigurationen wären ein oder mehrere Kühlaggregate im Rechenzentrum erforderlich, um die Temperaturen unter Kontrolle zu halten. In diesen Umgebungen bedeutet jedes eingesparte Watt weniger Kühlbedarf und geringere Betriebskosten, was unseren Ansatz mit hoher Dichte und geringem Stromverbrauch zur idealen Wahl macht. Ein weiterer entscheidender Vorteil beim Betrieb einer schlanken und effizienten Plattform für einen Rekordlauf ist der Schutz des gesamten Setups durch Batterie-Backup-Hardware. Wie bereits erwähnt, benötigen Sie Batterie-Backups für Rechenserver, Switches, Speicherserver, Kältemaschinen und Wasserpumpen, um den Betrieb für einen guten Teil des Jahres aufrechtzuerhalten.

Insgesamt zeigt diese rekordverdächtige Leistung das Potenzial aktueller HPC-Technologien und unterstreicht die Bedeutung von Energieeffizienz und Wärmemanagement in modernen Computerumgebungen.

Genauigkeit sicherstellen: Die Bailey-Borwein-Plouffe-Formel

Die Berechnung von Pi auf 202 Billionen Ziffern ist eine monumentale Aufgabe, aber die Sicherstellung der Genauigkeit dieser Ziffern ist ebenso wichtig. Hier kommt die Bailey-Borwein-Plouffe-Formel (BBP) ins Spiel.

Mit der BBP-Formel können wir die Binärziffern von Pi im Hexadezimalformat (Basis 16) überprüfen, ohne alle vorhergehenden Ziffern berechnen zu müssen. Dies ist besonders nützlich für die Gegenprüfung von Abschnitten unserer umfangreichen Berechnung.

Hier ist eine vereinfachte Erklärung:

1. Hexadezimale Ausgabe: Während der Hauptberechnung generieren wir zunächst die Ziffern von Pi im Hexadezimalformat. Mit der BBP-Formel kann jede beliebige einzelne Ziffer von Pi zur Basis 16 direkt berechnet werden. Sie können dies mit anderen Programmen wie GPUPI tun, aber Y-Cruncher verfügt auch über eine integrierte Funktion. Wenn Sie einen Open-Source-Ansatz bevorzugen, sind die Formeln bekannt.
2. Gegenüberprüfung: Wir können diese Ergebnisse mit unserer Hauptberechnung vergleichen, indem wir bestimmte Positionen der Hexadezimalziffern von Pi unabhängig mit der BBP-Formel berechnen. Wenn sie übereinstimmen, ist dies ein starker Hinweis darauf, dass unsere gesamte Sequenz korrekt ist. Wir haben diese Gegenprüfung mehr als sechs Mal durchgeführt; hier sind zwei davon.

Wenn unsere Primärberechnung beispielsweise an verschiedenen Stellen dieselben hexadezimalen Ziffern liefert wie die aus der BBP-Formel erhaltenen, können wir die Genauigkeit unserer Ziffern mit Sicherheit behaupten. Diese Methode ist nicht nur theoretisch; Es wurde in allen wichtigen Pi-Berechnungen praktisch angewendet und gewährleistet Robustheit und Zuverlässigkeit der Ergebnisse.

R=Offizielles Laufergebnis, V=Verifizierungsergebnis

• R: f3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 37088*
• V: *3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 370888

Aufmerksame Leser werden feststellen, dass die Überprüfungen aus den Screenshots und dem obigen Vergleich etwas verschoben sind(*). Obwohl dies nicht notwendig ist, da das Hex am Ende betroffen sein würde, haben wir auch einige andere Stellen (z. B. 100 Billionen und 105 Billionen Ziffern) stichprobenartig überprüft, um sicherzustellen, dass der Lauf übereinstimmt. Obwohl es theoretisch möglich ist, mit einer ähnlichen Methode jede Dezimalstelle von Pi zu berechnen, ist unklar, ob dies eine Genauigkeit von mehr als 100 Millionen Stellen hätte oder überhaupt recheneffizient wäre, anstatt die Chudnovsky-Rechnung durchzuführen und alle zu erhalten. (Wenn Eric Weisstein das sieht, melden Sie sich bitte; ich würde es gerne ausprobieren.)

Durch die Integration dieses mathematischen Gegenprüfungsprozesses können wir die Integrität unserer rekordverdächtigen 202-Billionen-stelligen Pi-Berechnung sicherstellen und damit unsere Rechengenauigkeit und unser Engagement für wissenschaftliche Genauigkeit unter Beweis stellen.

Der Weg voraus