Unternehmensnachrichten über Huawei OceanStor KV-Cache-Speicher für Hyper-Skala-KI-Rechenzentren

Huawei hat den OceanStor M900 angekündigt, einen Scale-out All-Flash-Speichercluster, der eine KV-Cache-Basisschicht von bis zu 64 PB für seine Atlas 960 SuperPoDs liefert; Rack-Scale-KI-Beschleuniger, die mit den SuperPODs von Nvidia vergleichbar sind.

Nvidia hat ein Referenzdesign definiert, das seine GPUs, BlueField NICs, Spectrum-X Switches und KI-Software mit Speichersystemen integriert und GPUDirect, RDMA und KV-Cache-Erweiterung über seine Dynamo-Software und das CMX-Schema unterstützt. Diese mehrstufige Architektur nutzt den High-Bandwidth Memory (HBM) der GPU als schnellste oberste Schicht, gefolgt vom DRAM der zugehörigen X86-Server als Stufe 2, den lokalen SSDs des Servers als L3 und intelligenten, über BlueField-4 NIC verbundenen NVMe-SSDs innerhalb eines Flash-Speicherservers als L3.5. Diese können mit einer Latenz im Mikrosekundenbereich mit einem einzigen Netzwerk-Hop auf den HBM einer GPU zugreifen.

Huawei fordert nun das SuperPOD-Design von Nvidia mit seinen eigenen SuperPODs heraus, die für Hyperscale-KI-Rechenzentren entwickelt wurden. Die Systeme zielen auf Modelle mit 10 Billionen Parametern und Kontextfenster mit über einer Million Tokens ab, was bedeutet, dass der High-Bandwidth Memory eines einzelnen Beschleunigers nicht alle erforderlichen Schlüssel-Wert-Tokens aufnehmen kann, was einen Caching-Mechanismus erforderlich macht.

Das Unternehmen gibt an, dass ein Atlas 960E SuperPoD auf bis zu 4.096 NPUs (Neural Processing Units) skaliert werden kann und eine FP8-Rechenleistung von 8 EFLOPS, eine HBM-Kapazität von bis zu 1 Petabyte und einen einheitlichen Speicherpool von 256 TB liefert. Der Einsatz von 5.500 Hi-ONE-Einheiten, die mit UnifiedBus (NPO) ausgestattet sind, reduziert den Stromverbrauch um über 550 Kilowatt im Vergleich zu den traditionell erforderlichen 48.000 800G-Optikmodulen zur Verbindung aller NPUs. Außerdem verdoppelt sich die fehlerfreie Betriebszeit des Systems und die Systemverfügbarkeit erreicht 99,8 Prozent.

Huawei OceanStor M900
Der SuperPoD verwendet ein mehrstufiges KV-Caching-Framework, bei dem der M900 KV-Cache im Petabyte-Bereich für die L3.5-Schicht liefert. Jeder Cluster liefert bis zu 4 PB gemeinsamen L3.5 KV-Cache-Kapazität und 40 TB/s aggregierte Bandbreite über optische Netzwerke für diese Schicht und bietet mehrere Terabyte KV-Cache-Kapazität pro NPU. Huawei behauptet, dass diese Architektur unter typischen KI-Inferenz-Workloads den Token-Durchsatz des Inferenzclusters verdoppelt und die Zeit bis zum ersten Token (TTFT) halbiert.

Das Unternehmen stellt fest, dass die Bandbreite von 40 TB/s 1,5-mal höher ist als bei konkurrierenden Lösungen, ohne explizit Namen von Anbietern zu nennen. Es wird allgemein angenommen, dass sich dies auf DDN, Everpure, IBM (Storage Scale), MinIO und VAST Data-Systeme bezieht, deren Cluster-Bandbreite zwischen 10 und 25 TB/s liegt.

Der M900 verfügt über ein integriertes Design, das CPU, Netzwerkcontroller und NAND-Controller in einer Einheit kombiniert, wodurch SuperPoD-NPUs eine direkte Ein-Hop-Verbindung zu SSDs herstellen können. Dies reduziert die Zugriffslatenz von Millisekunden auf etwa 60 Mikrosekunden.

David Wang, stellvertretender Vorstandsvorsitzender und rotierender Vorsitzender von Huawei, sagte: „OceanStor M900 verwendet auch hybride Medien und einen optimierten Retention-Algorithmus, der die Lebensdauer von SSD-Lese-/Schreibvorgängen um das 16-fache verlängert. Dies gewährleistet eine höhere KV-Cache-Hitrate sowie langfristige Stabilität und Zuverlässigkeit von Grund auf.“

In weiteren Details gibt Huawei an, dass der M900 eine KV-aware adaptive Speichertechnologie bietet, die die erwartete Lebensdauer und den Wert jedes Segments von KV-Cache-Daten vorhersagt. Basierend auf diesen Vorhersagen plant und verteilt er Daten über verschiedene Medienstufen: On-Chip-Speicher, DRAM und SSDs. Huawei sagt, dass diese optimierte Platzierungs- und Retentionstrategie es SSDs ermöglicht, bis zu 24 Drive Writes pro Tag (DWPD) zu unterstützen, eine bemerkenswert hohe Zahl, und die SSD-Ausdauer um das 16-fache erhöht, was drei Jahre stabilen Betriebs mit weniger Laufwerkswechseln ermöglicht.

Es ist noch zu früh für Huawei, M900-Datenblätter und technische Briefings zu veröffentlichen, daher sind Details wie die Rack-Einheitengröße der Knoten, Controller, Laufwerksanzahl und -kapazität, Cluster-Knotenanzahl und andere Spezifikationen noch nicht verfügbar.

NPU-Fußnote
NPUs sind Huawei Ascend Neural Processing Units, die laut Huawei nativ für KI entwickelt wurden (im Gegensatz zu GPUs, die ursprünglich als Grafikchips entstanden sind). Sie verwenden die Da Vinci-Architektur von Huawei mit Cube- (Matrix-) und Vektor-Kernen und unterstützen niedrigpräzise Formate, einschließlich FP8 und FP4, um die Inferenz und das Training für große Modelle zu beschleunigen. Wenn sie über Huaweis UnifiedBus All-Optical Interconnect zu massiven Systemen zusammengeschaltet werden, können sie auf Tausende oder sogar Hunderttausende von NPUs skaliert werden, die als eine logische Maschine fungieren. Aktuelle Angebote wie der Atlas 350 (mit Ascend 950PR) und die kommenden Atlas 960 SuperPoDs werden als Alternativen zu Nvidia-GPUs auf dem chinesischen Markt positioniert.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
ICT-Produktvertrieb/Systemintegration & Services/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Technologie nutzen, um eine intelligente Welt aufzubauen“ Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!