MinIO hat ein Petabyte-MemKV-Caching-System entwickelt, das für Nvidia-GPUs zugeschnitten ist und auf seiner AIStor-Objektspeicherplattform bereitgestellt wurde.
GPU-Cluster, die Abschlüsse durchführen, benötigen einen High-Bandwidth-Speicher (HBM), um Kontext, vektorisierte Token und zwischengeschaltete Schlüssel-Wert-Paare (KV) zu speichern.Datenkaskaden auf CPU DRAM und NVMe SSDs, verwaltet von Nvidia BlueField-4 (BF4) DPUs. Wenn diese Ebenen Kapazität erreichen, fungiert MinIO AIStor als endgültiges Speichersicherungssystem.und MemKV entspricht dem Standard, um, gemeinsamem Kontext über GPU-Cluster auf höherem Niveau.
AB Periasamy, Mitbegründer und Co-CEO von MinIO, kommentierte: "Die Branche hat seit Jahren über Kontextverlust berichtet, weil man in kleinem Maßstab die Umrechnungsteuer absorbieren kann.Bei der heutigen hohen GPU-Dichte für Hyperscaler und Neoclouds, ist das nicht mehr machbar.
Die Wiederaufbereitung des generierten Kontextes verschwendet Strom; für Cluster mit Tausenden von GPUs führt dies zu grundlegender struktureller Ineffizienz.und MemKV ist speziell für diesen Datenpfad ausgelegt.??
Erstmals ermöglicht MinIO gemeinsame Kontextpools für ganze GPU-Cluster bei Mikrosekunden-Level-Latenz, die Ableitungsworkflows abgleichen,Vermeidung von Millisekundenverzögerungen durch herkömmliche externe SpeicherungOhne ausreichende Cache-Ebenen verschwenden GPUs Ressourcen bei wiederholten Kontext-Wiederberechnungen.
In einer 128-GPU-Bereitstellung mit 128K-Token-Kontextlänge verbesserte MemKV die Zeit bis zum ersten Token unter Produktionsbelastungen und steigerte die GPU-Auslastung von 50% auf über 90%,Erzeugen einer geschätzten jährlichen Einsparung von 2 Millionen US-Dollar an Rechenkosten.
MemKV wurde speziell für die Nvidia STX-Architektur entwickelt und unterstützt Nvidia Dynamo und NIXL Caching-Tools.Entkopplung von Cache-Skalierung von GPU-RechenressourcenDie wichtigsten Merkmale sind nachstehend aufgeführt:
-
Native BF4 STX Unterstützung: läuft als ARM64-Binär in der STX-Infrastruktur, eingebettet in Speicher anstatt separate x86-Speicherserver.
-
End-to-end RDMA-Transport: Überträgt KV-Cache zwischen GPU-Speicher und NVMe über RDMA und umgeht herkömmliche Datei- und Objektspeicherprotokolle.
-
GPU-optimierte Blockgröße: Verwendet für die GPU-Durchsatznachfrage 2 ∼16 MB-Blöcke anstelle der alten 4 KB-Speicherblöcke.
-
Leistung der Drahtgeschwindigkeit: Optimiert für Nvidia Spectrum-X Ethernet und PCIe Gen6 zur Maximierung des physischen Stoffdurchsatzes.
MemKV überträgt Daten direkt von NVMe-SSDs auf KI-Pipelines über RDMA, wodurch HTTP-Overhead, Dateisystemübersetzung und Zwischenspeicherserver eliminiert werden.
MinIO kategorisiert konkurrierende Kontextspeicherlösungen in zwei Typen: nicht freigegebene lokale NVMe (G3) und allgemeine gemeinsame Speicherung (G4).die sich von generischen Lagermitteln unterscheidet.
Das Unternehmen betont, dass ältere Anbieter von G3.5-Angeboten immer noch überflüssige Protokollknoten, Metadatendienste und Dateiübersetzungsschichten behalten.Diese Schichten sorgen für Langlebigkeit und Konsistenz der Trainingsdaten und Modellgewichte, sind jedoch für ephemere, wieder berechnenbare KV-Cache nicht notwendig, die für Datenblöcke von 2 ∼ 16 MB optimiert sind.
Der Hardware-RAID-Anbieter GRAID und die Speicherfirma WEKA bieten ebenfalls STX-kompatible KV-Cache-Lösungen an. Eine breite Palette von Speicherherstellern unterstützt Nvidia STX, darunter Cloudian, Dell, DDN, Everpure,Hammerspace (Schlägerraum), Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops und VAST Daten.
Beibei Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Leiterin der globalen Strategie
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com Die Daten werden auf der Website der chinesischen Regierung gespeichert.
Geschäftsfokus:
Vertrieb von IKT-Produkten/Systemintegration und Dienstleistungen/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
¢Technologie nutzen, um eine intelligente Welt aufzubauen¡Ihr vertrauenswürdiger Dienstleister für IKT-Produkte!
Ihre Nachricht muss zwischen 20 und 3.000 Zeichen enthalten!
German
