Die Software WEKA NeuralMesh und Augmented Memory Grid läuft auf der Oracle Cloud Infrastructure (OCI) und bietet einen zehnmal höheren Token-Durchsatz, zehnmal mehr gleichzeitige Benutzer und siebenmal mehr Token pro GPU im Vergleich zu Standard-OCI-Umgebungen, die ausschließlich auf lokales DRAM angewiesen sind.
Das Augmented Memory Grid von WEKA erweitert den GPU-Serverspeicher für KI-Inferenz, indem es externen Speicher über NeuralMesh nutzt und externe Ressourcen in einen leistungsstarken KV-Cache umwandelt. Es bietet eine Latenz im Mikrosekundenbereich und eine Bandbreite von mehreren GB/s und bietet bis zu Petabyte zusätzlichen Speicheradressraums bei voller Kompatibilität mit der SX KV-Caching-Architektur von NVIDIA. NeuralMesh ist das leistungsstarke KI-Dateisystem von WEKA. Alle Benchmarks wurden auf einem 9-Knoten-OCI-Bare-Metal-H100-Cluster mit 100.000-Token-Kontextfenstern validiert.
Pablo Salem, Senior Director of Software Development bei OCI, kommentierte: „Enterprise AI-Workloads erweitern ständig die Kontextfenster und bringen die GPU-Auslastung auf neue Grenzen. Diese Benchmarks beweisen, dass die Lösung von WEKA GPU-Speicherengpässe bei OCI beseitigt und größere, anspruchsvollere Inferenz-Workloads ohne zusätzliche Investitionen in GPU-Hardware ermöglicht.“
WEKA stellt fest, dass die wachsende Inferenznachfrage die Ineffizienzen der KI-Infrastruktur verstärkt. Häufige KV-Cache-Räumungen verursachen versteckten Overhead, der GPU-Zyklen verschwendet, die Latenz erhöht, das Benutzererlebnis beeinträchtigt und die Betriebskosten pro Token erhöht. Bei Langkontext- und Agenten-KI-Workloads mit mehr als 100.000 Token-Eingaben schadet ein solcher Overhead der Einheitsökonomie von KI-Implementierungen in der Produktion erheblich.
Der Benchmark wurde auf 9 Knoten, 72 H100-GPUs, 100.000-Token-Kontextfenstern und Tausenden gleichzeitigen Benutzern aufgebaut, wobei die deutlichen Leistungslücken unten dargestellt sind:
-
Gleichzeitige Benutzerkapazität: WEKA unterstützte über 5.000 gleichzeitige Benutzer, im Vergleich zu nur 600 bei reinen DRAM-Setups. Es verhindert Cache-Sättigungsfehler, indem der aktive Cache von 8,64 TiB DRAM auf 287 TiB NVMe-Flash-Speicher erweitert wird, wodurch der ROI auf vorhandener GPU-Hardware maximiert wird, ohne dass zusätzliche GPU-Käufe erforderlich sind.
-
Token-Durchsatz: Der WEKA-Stack erreicht rund 2 Millionen Token pro Sekunde, zehnmal schneller als die Basislinie von unter 200.000 Token/Sek. von reinen DRAM-Systemen.
-
Gesamtes Token-Verarbeitungsvolumen: In einem einstündigen Test mit 2.400 gleichzeitigen Benutzern verarbeitete WEKA 5 Milliarden Token, während das reine DRAM-Setup nur 700 Millionen Token verarbeitete.
Bei Agenten-KI-Workflows führt unzureichender DRAM nach der Cache-Sättigung zu einer ständigen Neuberechnung der GPU, wodurch die Kosten pro Token steigen und der ROI sinkt. Mit der Verarbeitung von 7x Token pro GPU senkt WEKA die Gesamttokenkosten für Produktions-KI-Dienste erheblich.
Für Echtzeit-KI-Dienste, einschließlich Suche, Zusammenfassung, Codeunterstützung und Multi-Turn-Agenten, definiert der Token-Durchsatz Dienstgrenzen für Benutzerkapazität, Reaktionsgeschwindigkeit und Umsatzpotenzial der Infrastruktur. Durch die 10-fache Durchsatzverbesserung wird die native GPU-Rechenleistung innerhalb des OCI-Clusters vollständig freigeschaltet.
Kurz gesagt: Die Speichererweiterungssoftware von WEKA hilft Cloud-Plattformen dabei, mehr Benutzer zu bedienen, mehr Token zu verarbeiten und die Betriebskosten effektiv zu senken.
Liran Zvibel, CEO von WEKA, sagte: „Die Inferenzleistung wird durch den verfügbaren effektiven GPU-Speicher eingeschränkt. Diese Ergebnisse beweisen, dass Hardware-Upgrades allein die wirtschaftlichen Probleme von KI-Token nicht lösen können. Die eigentliche Einschränkung ist die seit langem bestehende Speichermauer, die die GPU-Leistung einschränkt. Die OCI-Lösung von WEKA steigert die Token-Verarbeitungskapazität drastisch bei optimierten Gesamtbetriebskosten.“
OCI hat die vollständige Benchmark-Methodik, Systemkonfigurationen und vollständige Testergebnisse auf seinem offiziellen AI & Data Science-Blog veröffentlicht.
NeuralMesh mit Augmented Memory Grid ist jetzt allgemein für WEKA-Kunden verfügbar und auf dem Oracle Marketplace gelistet, wobei OCI als exklusiver Cloud-Startpartner fungiert. Unternehmen, die Long-Context-Inferenz auf OCI ausführen, können diese produktionsbereite, vollständig validierte Architektur sofort bereitstellen.
Peking Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
IKT-Produktvertrieb/Systemintegration und -dienste/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Mit Technologie eine intelligente Welt aufbauen“ Ihr vertrauenswürdiger IKT-Produktdienstleister!
Ihre Nachricht muss zwischen 20 und 3.000 Zeichen enthalten!
German
