Die für diese Arbeit gewählte Plattform war unser Dell PowerEdge R760 mit Ubuntu 22.04.02 LTS. Wir haben die DLIO-Benchmark-Version 2.0 aus der Veröffentlichung vom 13. August 2024 verwendet. Unsere Systemkonfiguration ist unten aufgeführt:

• 2 x Intel Xeon Gold 6430 (32 Kerne, 2,1 GHz)
• 16 x 64 GB DDR5-4400
• 480 GB Dell BOSS SSD
• Serielle Kabel Gen5 JBOF
  • 7,68 TB Solidigm D7-PS1010
  • 61,44 TB Solidigm D5-P5336

Um sicherzustellen, dass unser Benchmarking reale Szenarien widerspiegelt, haben wir unsere Tests auf der LLAMA 3.1 405B Modellarchitektur basiert und das Checkpointing über torch.save() implementiert, um Modellparameter, Optimiererzustände und Schichtzustände zu erfassen. Unsere Einrichtung simulierte ein 8-GPU-System, das eine hybride Parallelitätsstrategie mit 4-Wege-Tensorparallelität und 2-Wege-Pipeline-Parallelverarbeitung implementierte, die über die acht GPUs verteilt war. Diese Konfiguration führte zu Checkpoint-Größen von 1.636 GB, repräsentativ für moderne Anforderungen an das Training großer Sprachmodelle.

Unser Testprozess für die DLIO-Checkpoint-Workload bestand darin, jedes Laufwerk bis zu einem ähnlichen Auslastungsgrad zu füllen. Für das 61,44 TB Solidigm D5-P5336 umfasste jeder Durchlauf 33 Checkpoint-Intervalle mit insgesamt 54 TB. Das kleinere 7,68 TB D7-PS1010 passte bequem drei Checkpoint-Intervalle mit einer Gesamtgröße von 4,9 TB. Ein zusätzlicher Checkpoint hätte in das D7-PS1010 gepasst, obwohl dies die Auslastung etwas höher als gewünscht brachte.

Die DLIO-Checkpoint-Workload lieferte interessante Ergebnisse, als wir die Gen4 QLC-basierte 61,44 TB D5-P5536 mit der Gen5 TLC-basierten 7,68 TB D7-PS1010 verglichen. Während des ersten Durchlaufs, als sich die Laufwerke füllten, beobachteten wir eine größere Leistungslücke zwischen den beiden SSD-Modellen. Das schnellere Gen5 PS1010 schloss jeden Checkpoint im Durchschnitt in 464 Sekunden ab, verglichen mit 623 Sekunden vom Gen4 P5336. In den Durchläufen zwei und drei verringerte sich die Lücke auf 579 und 587 Sekunden für das PS1010 und 676 und 680 Sekunden für das P5336.

Für Unternehmen, die den kleinstmöglichen Abstand zwischen Checkpointing-Intervallen wünschen, bietet das TLC-basierte Gen5 PS1010 einen Vorteil bei der schnellsten Abschlusszeit. Wenn das Ziel darin besteht, viele Checkpoints kostengünstig zu speichern, kann das QLC-basierte Gen4 P5336 dies tun. Wir maßen einen Unterschied bei den durchschnittlichen Checkpoint-Zeiten von weniger als 17 % zwischen beiden Laufwerken während der Durchläufe zwei und drei.

GPUDirect Storage Bandbreite

Während DLIO die Flash-Leistung in einem KI-Workflow zeigt, ist die Workload bis zur Wiederherstellung eines Checkpoints vollständig schreibbasiert. Um ein vollständigeres Bild der Solidigm D7-PS1010 und D5-P5336 in KI-Workloads zu zeichnen, haben wir Lese-Bandbreitenmessungen mit GDSIO aufgenommen.

Wie GPU Direct Storage funktioniert

Traditionell, wenn eine GPU Daten verarbeitet, die auf einem NVMe-Laufwerk gespeichert sind, müssen die Daten zuerst über die CPU und den Systemspeicher reisen, bevor sie die GPU erreichen. Dieser Prozess führt zu Engpässen, da die CPU als Vermittler fungiert, Latenz hinzufügt und wertvolle Systemressourcen verbraucht. GPU Direct Storage eliminiert diese Ineffizienz, indem es der GPU ermöglicht, direkt über den PCIe-Bus auf Daten vom Speichergerät zuzugreifen. Dieser direkte Pfad reduziert den Overhead, der mit der Datenbewegung verbunden ist, und ermöglicht schnellere und effizientere Datentransfers.

KI-Workloads, insbesondere solche, die Deep Learning beinhalten, sind hochgradig datenintensiv. Das Training großer neuronaler Netze erfordert die Verarbeitung von Terabytes an Daten, und jede Verzögerung bei der Datenübertragung kann zu unterausgelasteten GPUs und längeren Trainingszeiten führen. GPU Direct Storage adressiert diese Herausforderung, indem es sicherstellt, dass Daten so schnell wie möglich an die GPU geliefert werden, wodurch Leerlaufzeiten minimiert und die Recheneffizienz maximiert wird.

Ähnlich wie beim DLIO-Test ist das Ziel, die Unterschiede zwischen Hochgeschwindigkeits-Gen5-SSDs und QLC-Laufwerken mit hoher Kapazität besser zu verstehen und zu charakterisieren. Nicht jeder KI-Workflow ist gleich, und jedes Laufwerk bietet je nach Bedarf unterschiedliche Vorteile.

Testkonfigurationsmatrix

Wir haben systematisch jede Kombination der folgenden Parameter mit einer NVIDIA L4 auf unserer Testplattform getestet:

• Blockgrößen: 1M, 128K, 64K, 16K, 8K
• Thread-Anzahl: 128, 64, 32, 16, 8, 4, 1
• Job-Anzahl: 16
• Batch-Größen: 16

Unser erster Blick galt der QLC-basierten D5-P5336, die bei einer Übertragungsgröße von 1M und einer IO-Tiefe von 128 maximal 4,2 GiB/s erreichte. Der Effekt von Blockgrößen führte zu einer erheblichen Steigerung der Bandbreite, von 8K auf 1M. Der Vorteil einer erhöhten IO-Tiefe begann bei 32 abzuklingen, wo sich die Workloads zu stabilisieren begannen.

Als nächstes betrachten wir die Gen5 PS-1010, die bei einer Blockgröße von 1M und einer IO-Tiefe von 128 bis zu 6,2 GiB/s skalieren kann. Durchweg übertraf sie die Gen4-basierte P5336, wobei bestimmte Workloads eine erhebliche Steigerung zeigten. Ein bemerkenswerter Verbesserungsbereich war die Blockgröße von 128K, wo bei einer IO-Tiefe von 64 und 128 die PS1010 die doppelte Lesebandbreite der P5336 bot.

Es ist wichtig zu beachten, dass beide SSDs mit der NVIDIA L4 getestet wurden. Während die Gen4 D5-P5336 an ihrer Obergrenze liegt oder nahe daran ist, zeigten High-End-NVIDIA-GPUs wie die H100 eine höhere Leistung mit der D7-PS1010. Die Geschwindigkeit eines Laufwerks ist für einige Kunden der entscheidende Faktor, während andere die Gesamtdichte priorisieren.Solidigmbietet Lösungen fürbeide, mit seinenQLC- und TLC-SSD-Angeboten.

Schlussfolgerung

Da das Ausmaß und die Komplexität des KI-Trainings weiter zunehmen, muss die zugrunde liegende Speicherinfrastruktur nicht nur Schritt halten, sondern auch das Tempo vorgeben. Unsere Tests mit zwei deutlich unterschiedlichen SSDs unterstreichen die Bedeutung der Abstimmung von Speicherlösungen auf spezifische Trainingsprioritäten – sei es die Minimierung der Checkpoint-Latenz oder die Maximierung der Checkpoint-Dichte für kostengünstige Skalierbarkeit.

 

In unserer Auswertung haben wir die Solidigm D5-P5336 (61,44 TB) und die D7-PS1010 (7,68 TB) unter realistischen KI-Trainingsbedingungen getestet, wobei wir den DLIO-Benchmark und einen umfangreichen hybriden parallelen LLM-Checkpointing-Workflow nutzten. Wir haben Metriken erfasst, die die Checkpoint-Schreibleistung über mehrere Testläufe hinweg widerspiegeln, während sich die Laufwerke füllten, und die Leistungsunterschiede bei den Abschlusszeiten zwischen der Gen4 QLC-basierten D5-P5336 und der Gen5 TLC-basierten D7-PS1010 hervorgehoben.

 

 

Während die D7-PS1010 die schnellsten möglichen Checkpoint-Schreibvorgänge lieferte, zeigte die D5-P5336 überzeugende Kosteneffizienz und Kapazitätsvorteile mit nur einem moderaten Leistungsabstrich. Wir untersuchten weiter die Lesebandbreiten von GPU Direct Storage (GDS) mit GDSIO und einer NVIDIA L4 GPU. Unsere Ergebnisse zeigten, dass die Solidigm D5-P5336 bis zu 4,2 GiB/s Lesebandbreite mit einer Übertragungsgröße von 1M lieferte, während die D7-PS1010 eine deutliche Steigerung auf 6,2 GiB/s bot. Die Leistung wäre noch beeindruckender, wenn leistungsstärkere GPUs wie die NVIDIA L40s oder H100/H200 genutzt würden.

 

Mit Blick auf die Zukunft wird die beispiellose Kapazität der Solidigm D5-P5336 122 TB SSD das KI-Training und die KI-Bereitstellung neu gestalten. Da die Modellgrößen und die Anforderungen an das Checkpointing weiter wachsen, eröffnen diese Laufwerke mit hoher Kapazität neue Ebenen der Effizienz und Flexibilität und ermöglichen Trainingsstrategien, die zuvor unerreichbar waren. Solidigms Führungsposition bei SSD-Lösungen mit hoher Kapazität ermöglicht es Unternehmen, mehr Daten und Checkpoints auf weniger Laufwerken zu speichern und gleichzeitig ihre Infrastrukturen für die nächste Welle der KI-Komplexität zukunftssicher zu machen.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Geschäftsschwerpunkt:
ICT-Produktvertrieb/Systemintegration & Services/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
"Technologie nutzen, um eine intelligente Welt aufzubauen" Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!