CoreWeave hat einen Multi-Rack NVIDIA Vera Rubin NVL72-Cluster in der CoreWeave Cloud bereitgestellt, der Hunderte von Rubin-GPUs zu einer einheitlichen Scale-Out-Umgebung verbindet, die für agentenbasierte KI-Workloads optimiert ist. Jeder von Dell gefertigte Rack enthält 72 Rubin-GPUs und 36 Vera-CPUs und verwendet NVLink 6 als Scale-Up-Interconnect-Fabric, gepaart mit zwei ConnectX-9 SuperNICs pro GPU. Die Racks sind über NVIDIA Spectrum-X Ethernet innerhalb einer zweistufigen, nicht blockierenden Fabric verbunden, die laut CoreWeave auf etwa 128.000 GPUs skaliert werden kann. CoreWeave ist der erste Cloud-Anbieter, der ein Vera Rubin NVL72-System erfolgreich validiert und aktiviert hat, und der erste, der seine gemessene Leistung veröffentlicht hat. Seine ersten begutachteten Benchmark-Ergebnisse wurden letzte Woche auf der Grundlage einer GB300 NVL72-Einreichung veröffentlicht. Neben dem Compute-Upgrade fügt CoreWeave AI Object Storage eine regionsübergreifende Schreibbeschleunigung und eine brandneue Archiv-Schicht hinzu.

Multi-Rack NVIDIA Vera Rubin NVL72-Architektur

Diese Multi-Rack-Bereitstellung zielt auf agentenbasierte Ausführungsworkflows ab, bei denen sequentielle Schlussfolgerungsschleifen und externe Toolaufrufe die Datenzugriffslatenz über verteilte Infrastrukturen hinweg verstärken. Die beiden ConnectX-9 SuperNICs, die an jeder Rubin-GPU angebracht sind, liefern bis zu 1,6 Tbit/s Backend-Netzwerkbandbreite pro GPU über Multi-Rail-, Multi-Plane-Verbindungen. Die Fabric verwendet ein modulares Design, das es neuen NVL72-Racks ermöglicht, der gleichen nicht blockierenden Topologie beizutreten, wenn die Kapazität erweitert wird. Die Racks arbeiten mit 45°C Flüssigkeitskühlung.

CoreWeave vereinheitlicht diese Racks mit seiner Mission Control Software-Suite. Ein Rack LifeCycle Controller kümmert sich um die Rack-Bereitstellung und das Lifecycle-Management, einschließlich Hardwareerkennung durch Firmware-Flashing, Validierung sowie Strom- und Temperaturüberwachung. Das Rack-Management-Modul Racky steuert Strom und Infrastruktur, während der programmierbare Kühlungscontroller Valvey softwaredefinierte Sichtbarkeit und Verwaltung für Flüssigkeitskühlkreisläufe und Umweltsensoren bietet.

Racks gehen erst nach phasenweisen Validierungstests in die Produktion. Auf Knotenebene umfasst dies stundenlange wiederholte GPU-Diagnosen, Überprüfung der CPU-GPU-Übertragung, Interconnect- und thermische Lasttests sowie realistische Trainings-Workloads. Auf Rack-Ebene validieren synchronisierte Jobs über alle 72 GPUs hinweg den NVLink GPU-zu-GPU-Durchsatz; jede Hardware, die unter den Leistungsschwellenwerten liegt, wird zur Fehlerbehebung weitergeleitet. Für die übergreifende Rack-Verifizierung führt CoreWeave verteilte Workloads aus, deaktiviert absichtlich NVLink, um den Datenverkehr über das Backend-Netzwerk zu erzwingen, und überwacht die physische Fabric auf instabile Verbindungen, steigende Fehlerraten, überhitzende Komponenten und unausgeglichenen Datenverkehr. Testlasten ahmen agentenbasierte Anwendungen nach, mit plötzlichen Nachfragespitzen, variabler Nebenläufigkeit und bursty Kommunikationsmustern.

Aktualisierungen von AI Object Storage: Regionsübergreifende Schreibvorgänge und Archiv-Schicht

Die Speichererweiterung baut auf dem Local Object Transport Accelerator (LOTA) auf, einem Caching-Proxy, der auf jedem GPU- und CPU-Knoten innerhalb des CoreWeave Kubernetes Service bereitgestellt wird und Objektdaten auf dem Knotenspeicher NVMe speichert. CoreWeave berichtet von Cache-Lesevorgängen mit bis zu 7 GB/s pro GPU und einer p99-Leselatenz, die 8x niedriger ist als bei direktem Bucket-Zugriff. Ein führender Modell-Anbieter betreibt LOTA über mehr als 15.000 GPUs und 20 PB Cache und erzielt eine Trefferquote von 99,7 %, wobei LOTA kostenlos angeboten wird.

Regionsübergreifende Schreibbeschleunigung ermöglicht es Anwendungen, mit lokaler Latenz in einen Bucket in einer entfernten Region zu schreiben, ohne APIs oder SDKs zu ändern. Anwendungen senden Standard-S3-Schreibvorgänge an den LOTA-Endpunkt; Objektdaten werden lokal persistent gespeichert, während Metadaten in der entfernten Region committet werden. Das Objekt ist sofort lesbar, auch für den Schreibvorgang, und die Daten werden im Hintergrund in die entfernte Region migriert. Anwendungen sehen einen einzigen Bucket-Namespace, der alle Regionen überspannt, mit konsistenten IAM-Richtlinien, Lebenszyklusregeln und Zugriffskontrollen, wodurch separate regionale Buckets und Replikationspipelines, die typischerweise für die verteilte Checkpoint-Verteilung über Standorte hinweg erforderlich sind, entfallen.

„Unsere Datensätze erstrecken sich über mehrere Regionen, und wir können es uns nicht leisten, dass unser Trainingsplan durch Verzögerungen bei der regionsübergreifenden Abfrage diktiert wird“, sagte Cécile Robert-Michon, Director of Internal Infrastructure bei Cohere. „CoreWeave AI Object Storage bietet uns einen einheitlichen Datensatz-Footprint über Regionen hinweg mit lokal gecachten Lesevorgängen, sodass nichts auf dem Netzwerk wartet.“

Die Archiv-Schicht ist die vierte Speicherklasse neben Hot, Warm und Cold, die für Daten konzipiert ist, die einmal geschrieben und selten gelesen werden, wie z. B. historische Trainings-Checkpoints und Rohdatensätze. Sie bietet niedrigere Grundkapazitätspreise und verzichtet auf Abruf-, Cache-, pro-Anfrage-, Frühzeitige-Löschungs-, Tiering- und Egress-Gebühren. CoreWeave empfiehlt, aktuelle Checkpoints für schnelle Neustarts auf schnelleren Schichten zu belassen, mit automatischem Tiering ins Archiv nach 60 Tagen ohne Lesevorgänge. Regionsübergreifende Schreibvorgänge und die Archiv-Schicht sind jetzt allgemein verfügbar.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
ICT-Produktvertrieb/Systemintegration & Services/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Technologie nutzen, um eine intelligente Welt aufzubauen“ Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!