Vollständige Spezifikationen:

Dell PowerEdge XE9680 Aufbau und Design

Der PowerEdge XE9680 ist ein imposantes Stück Hardware mit einer Höhe von 10,36 Zoll (263,20 mm), einer Breite von 18,97 Zoll (482,00 mm) und einer Tiefe von 39,71 Zoll (1008,77 mm) mit angebrachter Blende. Vollständig bestückt wiegt er 251,44 Pfund (114,05 kg). Die GPU-Auswahl hat das letzte Wort beim Gewicht, wobei das NVIDIA H100/H200-Modell 238 Pfund wiegt, während die AMD MI300X-Einheit 251 Pfund auf die Waage bringt.

Dies war der erste Server, der sorgfältige Überlegungen zur richtigen Beladung in unserer Testumgebung erforderte. Wenn man das Servergewicht und die Anzahl der Personen bedenkt, die für das Racken von Hardware benötigt werden, gibt es etwas Spielraum, um die Grenzen zu überschreiten, aber ab einem bestimmten Punkt werden ein oder zwei Personen ihn nicht alleine heben. Dell stellt freundlicherweise eine "Hubtabelle" zur Verfügung, die Ihnen hilft zu verstehen, wie diese Plattform passt. Für alle, die sich fragen: Kevin hat den XE9680 selbst in das Rack geladen.

Trotz seiner Komplexität und Dells Empfehlung für spezialisierte Servicetechniker verfügt der XE9680 über bemerkenswert benutzerfreundliche Serviceelemente. Die Gehäuse des Servers enthalten detaillierte Serviceanleitungen und klare Grafiken, die Wartungsverfahren für erfahrenes IT-Personal überraschend zugänglich machen. Diese visuellen Anleitungen erwiesen sich während unserer praktischen Arbeit mit dem System als unschätzbar wertvoll und ermöglichten es uns, verschiedene Komponenten sicher zu warten.

Nachdem die Abdeckung des PowerEdge XE9680 geöffnet war, sah er, sobald man die zahlreichen Stromkabel vom kleinen Stromversorgungsmodul oben hinter sich gelassen hatte, dem PowerEdge R760 sehr ähnlich. Unser Gerät wurde von zwei Intel Xeon Platinum 8468 Prozessoren mit jeweils 48 Kernen bei 2,1 GHz betrieben. Jeder Prozessor bietet 80 PCIe-Lanes, die über eine ganze Reihe von PCIe-Switches in diesem Gerät laufen, um die GPUs, NICs und andere in den XE9680 geladene Hardware zu unterstützen.

Eines der beeindruckendsten Ingenieursmerkmale ist das Design der PCIe Switch Board (PSB). Diese Boards bieten Konnektivität für bis zu 10 zusätzliche Full-Height, Half-Length PCIe-Karten (zwei davon können mehr als 75 W Strom verbrauchen) und sind direkt mit der GPU-Baseboard integriert. Diese direkte Integration ermöglicht die GPU-Direct-Technologie, wodurch SSDs und Netzwerkkarten direkt mit den GPUs kommunizieren können, die CPU umgehen und die Latenz für I/O-intensive KI-Workloads reduzieren.

Jeder Erweiterungssteckplatz unterstützt eine vollständige PCIe Gen5 x16-Schnittstelle, einschließlich der beiden unteren Steckplätze ganz links und rechts im Layout. Während die oberen acht Steckplätze über ihre eigenen PSB verbunden sind, sind die beiden unteren Steckplätze direkt mit dem PCIe Base Board (PBB) verbunden. Diese beiden Steckplätze unterstützen auch Karten mit hohem Stromverbrauch. Darüber hinaus ist zu beachten, dass das PCIe-Layout je nach gewählter GPU für den PowerEdge XE9680 leicht variiert. Die mit AMD ausgestatteten Modelle unterstützen keine SmartNIC/DPUs, und die Intel Gaudi3-Modelle haben aufgrund von Luftstromproblemen zwei Steckplätze blockiert.

Die Kühlung ist ein weiterer Bereich, in dem sich Dells Ingenieurskompetenz zeigt. Das System verwendet bis zu 16 Hochleistungs-Lüfter der Gold-Klasse – sechs im mittleren Einschub und zehn im hinteren Bereich. Der PowerEdge XE9680 unterstützt eine breite Palette von Installationsszenarien mit Umgebungstemperaturen von 10 bis 35 °C (30 °C mit den Intel Gaudi3 GPUs). Bei voller Leistung bewegt der Server beeindruckende 1.200 CFM in den Heißgang.

Diese robuste Kühllösung bewältigt selbst die anspruchsvollsten thermischen Lasten, einschließlich der AMD MI300X, Intel Gaudi3 oder NVIDIA H100 GPUs, und hält dabei optimale Betriebstemperaturen aufrecht. Der PowerEdge XE9680 singt unter Last in Bezug auf die Geräuschentwicklung ziemlich laut. Dell bietet ein vollständiges Datenblatt zu den akustischen Eigenschaften des XE9680 unter verschiedenen Bedingungen, aber es ist ziemlich einfach zu sagen, dass er unter Last eine laute Plattform sein wird.

Management

Die Managementfunktionen des XE9680 basieren auf Dells bewährtem Enterprise-iDRAC9, das ein umfassendes Server-Lifecycle-Management und Monitoring bietet. Diese Iteration von iDRAC bringt mehrere KI-optimierte Funktionen mit, darunter detaillierte GPU-Telemetrie, Stromverbrauchsanalysen und umfassendes thermisches Monitoring, das für KI-Workloads mit hoher Dichte entwickelt wurde.

Der Management-Stack der Plattform ist besonders bemerkenswert für KI-Infrastruktur-Implementierungen. Über die RESTful API von iDRAC9 mit Redfish-Unterstützung können Organisationen die GPU-Auslastung, den Speicherbandbreite und die thermischen Bedingungen programmatisch überwachen und verwalten – kritische Metriken zur Aufrechterhaltung optimaler KI-Trainings- und Inferenzleistung. Die Integration des Systems mit OpenManage Enterprise ermöglicht die unternehmensweite Verwaltung mehrerer XE9680 über eine einheitliche Konsole, was für KI-Cluster im großen Maßstab unerlässlich ist.

Sicherheit und Compliance sind grundlegende Elemente der Managementarchitektur. Die Plattform implementiert Silicon Root of Trust und Secured Component Verification, um die Hardware-Integrität vom Booten bis zum Betrieb zu gewährleisten. Diese Funktionen sind besonders wertvoll beim Ausführen sensibler KI-Workloads oder beim Umgang mit proprietären Modellgewichten.

Die prädiktive Fehleranalysefunktion, die durch die CloudIQ-Integration unterstützt wird, nutzt maschinelles Lernen, um potenzielle Hardwareprobleme vorherzusagen, bevor sie Workloads beeinträchtigen. Dieser proaktive Ansatz ist besonders entscheidend für langlaufende KI-Trainingsjobs, bei denen unerwartete Ausfallzeiten zu Tagen verlorener Rechenleistung führen können. In Kombination mit Dells ProSupport Plus Service löst diese prädiktive Funktion die automatische Erstellung von Fällen und den Versand von Teilen aus, was oft zu präventiven Wartungsarbeiten führt, bevor eine Systemverschlechterung eintritt.

Für Organisationen, die eine Integration mit bestehenden Management-Tools benötigen, unterstützt der XE9680 verschiedene Management-Frameworks über OpenManage-Integrationen, darunter ServiceNow und BMC TrueSight, was eine nahtlose Einbindung in etablierte IT-Service-Management-Workflows ermöglicht.

Die iDRAC9-Oberfläche bietet detaillierte Echtzeitüberwachung kritischer Komponenten über ein intuitives Dashboard. Die GPU-Überwachung zeigt umfassende Metriken an, darunter Temperatur, Stromverbrauch und Auslastungsraten über alle acht Beschleuniger hinweg, was für die Optimierung der KI-Workload-Verteilung unerlässlich ist.

Die Speicherüberwachungsoberfläche bietet sofortige Einblicke in den Zustand, die Temperatur und die Leistungskennzahlen der Laufwerke im NVMe-Array, was besonders wertvoll für die Verwaltung von Hochdurchsatz-Inferenz-Caches und Trainingsdatensätzen ist.

Speicher, Speicher und Skalierung

Die acht AMD MI300X GPUs im Dell PowerEdge XE9680 stellen einen bedeutenden Sprung in der GPU-Speicherkapazität dar und bieten 192 GB HBM3-Speicher pro Karte im Vergleich zu den 141 GB der NVIDIA H200. Diese 36%ige Erhöhung der Speicherkapazität ist nicht nur eine Zahl auf einem Datenblatt – sie ist entscheidend für die Bereitstellung großer Sprachmodelle.

Dieser massive Speicherpool, gepaart mit der Speicherbandbreite von 5,3 TB/s des MI300X, ermöglicht es Organisationen, mehrere Instanzen kleinerer Modelle auszuführen oder größere Modelle über GPUs zu partitionieren, während ein hoher Durchsatz und eine niedrige Latenz beibehalten werden.

Um dies zu veranschaulichen: Metas Llama 3.1 405B-Modell, das über 1 TB VRAM in BF16 benötigt, kann bequem auf einem einzigen XE9680 mit MI300X-GPUs ohne Quantisierung und mit voller 128k-Kontextlänge verteilt werden. Dies eliminiert potenzielle Qualitätsverluste, die mit Quantisierungstechniken verbunden sind, und ermöglicht mehr Tokens/Sekunde im Vergleich zur Verteilung des Modells auf zwei Server.

Um unseren Speicher-Footprint zu maximieren, haben wir die Solidigm 61,44 TB-Laufwerke als hochentwickelte Erweiterung des Speichers verwendet, die die Lücke zwischen Hochgeschwindigkeits-GPU-Speicher und traditionellem Speicher schließt. Die SSDs eignen sich hervorragend zum Speichern von Key-Value-Cache-Paaren während der Inferenz und erweitern effektiv den GPU-Speicher für die Generierung langer Kontexte. Ihre massive Kapazität und NVMe-Leistung machen sie ideal für den schnellen Zugriff auf Modellgewichte und ermöglichen effiziente Modellwechsel und Warmstarts.

In Anwendungen wie der Metrum AI-Bereitstellung, die wir unten detailliert beschreiben, leisten die SSDs doppelte Arbeit als Speicher-Backend für Vektordatenbanken und liefern die Leistung, die für Echtzeit-Ähnlichkeitssuchen erforderlich ist, während sie gleichzeitig die Kapazität für umfangreiche Embedding-Speicherung aufrechterhalten.

Der Wert dieser hochkapazitiven Laufwerke reicht über die Inferenz hinaus bis hin zu Trainings-Workflows. Sie bieten idealen lokalen Speicher für das Queuing von Trainings-Batches und reduzieren den Netzwerk-Overhead, indem sie die Daten näher an den Rechenressourcen halten. Während des Trainings eignen sich diese Laufwerke hervorragend zum lokalen Speichern von Modell-Checkpoints, was für die Aufrechterhaltung des Trainingsfortschritts und die Ermöglichung einer schnellen Wiederherstellung unerlässlich ist. Diese lokale Speicherstrategie hilft auch, die Netzwerkauslastung zu optimieren, indem der sofortige Netzwerkverkehr nach jeder verarbeiteten Schicht und jedem Batch reduziert wird.

Während die 61,44 TB Kapazität über acht Schächte im XE9680 vielversprechend klingt, kommt noch viel mehr Kapazität. Mit Solidigms neu angekündigtem 122,88 TB Laufwerk kann die Speicherdichte im XE auf fast ein Petabyte verdoppelt werden, für weitere Trainingsoptimierungen und längerfristige Inferenz-Caches.

Metrum AI Healthcare Assistant – Revolutionierung der Patientenversorgung

Der Gesundheitssektor steht konsequent vor der Herausforderung, zeitaufwändige Patienten-Dokumentation und -Aktenverwaltung zu bewältigen, was oft von der direkten Patientenversorgung ablenkt. Metrum AIs Healthcare Assistant, der auf Dell PowerEdge XE9680 Servern mit AMD-Beschleunigern eingesetzt wird, ist ein Beispiel dafür, wie fortschrittliche KI-Infrastruktur Gesundheits-Workflows transformieren, die Effizienz steigern und die Patientenergebnisse verbessern kann.

Das System nutzt Llama 3.1 70B Instruct als primäres Sprachmodell, das für sein Verständnis medizinischer Kontexte bekannt ist. Dies ermöglicht die einfache Verarbeitung komplexer Patientendaten. Dieses Sprachmodell ist mit dem gte-v1.5 Embedding-Modell und Milvus Vector DB gekoppelt und bietet eine robuste Grundlage für natürliche Sprachverarbeitung und kontextuelles Verständnis, das für die Verarbeitung medizinischer Daten unerlässlich ist.

Metrum AIs Healthcare Assistant umfasst auch einen multimodalen Ansatz, der HistoGPT für die Analyse von Histopathologie-Bildern und OpenAI Whisper für die Echtzeit-Transkription von Arztnotizen integriert. Zusammen optimieren diese Modelle klinische Arbeitsabläufe, sodass Ärzte natürlich sprechen können, während das System Informationen in Echtzeit transkribiert, kategorisiert und in Patientenakten integriert.

Metrum AI erkennt an, dass selbst wenn einzelne Patientendaten relativ klein sind, die kombinierten Speicheranforderungen von stark frequentierten Krankenhäusern auf Hunderte von Terabytes ansteigen können. Der Dell PowerEdge XE9680 kann dies mit seinem lokalen Onboard-NVMe-Speicher bewältigen. Unsere Konfiguration bietet acht 2,5-Zoll-U.2-NVMe-Speicherschächte, die mit PCIe Gen4-Geschwindigkeiten arbeiten. Während wir den XE9680 mit 61,44 TB Soldigim D5-P5336 QLC SSDs getestet haben, kann diese Kapazität noch weiter skaliert werden. Soldigim hat kürzlich seine neuen D5-P5336 122,88 TB QLC-Modelle auf den Markt gebracht, die die Kapazität seiner bereits riesigen SSDs verdoppeln, während die gleiche Leistung beibehalten wird.

Metrum lieferte Schätzungen, wie sich Patientendaten im Laufe der Zeit in verschiedenen Szenarien entwickeln. Wenn man dies in die gesamte Speicherkapazität umrechnet, kann man sehen, wie viele zusätzliche Patienten eine Einheit mit den hochkapazitivsten SSDs unterstützen könnte. Wenn man den geschätzten Daten-Footprint pro Patient und die nutzbare Kapazität jeder SSD (57 TB für die 61 TB SSD und 114 TB für die 122 TB SSD) betrachtet, kann man sehen, dass dichte SSDs die Speichermenge auf dem Server pro Jahr erheblich erhöhen.

Obwohl die anfänglichen 1-Jahres-Schätzungen ziemlich hoch erscheinen, ist es wichtig zu beachten, dass Patientendaten nicht statisch sind. Es werden neue Daten erfasst und neue Besuche geplant, was den Speicherbedarf erhöht. Hier spielt der Speicher im Bereich der medizinischen Bildgebung eine wichtige Rolle. Zusätzliche Speicherkapazität wirkt sich direkt darauf aus, wie viele Patienten eine Lösung effektiv unterstützen kann.

Der Dell PowerEdge XE9680, ausgestattet mit AMD MI300X-Beschleunigern und integriert mit Metrum AIs Healthcare Assistant, bietet eine skalierbare und effiziente Lösung für Gesundheitsdienstleister. Durch die Automatisierung zeitaufwändiger Aufgaben und die Ermöglichung eines schnellen Zugriffs auf kritische Erkenntnisse ermöglicht dieses Setup Klinikern, sich stärker auf die Patientenversorgung zu konzentrieren und gleichzeitig wachsende Anforderungen zu bewältigen. Durch die nahtlose Integration von KI-Komponenten über Sprach-, Bild- und Stimmmodalitäten hinweg stellt der Healthcare Assistant einen bedeutenden Fortschritt bei KI-gesteuerten Gesundheitslösungen dar, der den administrativen Aufwand reduziert und die allgemeinen Patientenergebnisse verbessert.

Fazit