Unternehmensnachrichten über Lightbits und ScaleFlux demonstrieren 100- bis 280-fache KV-Cache-Beschleunigung

„Indem wir nur die Daten vorab abrufen, die wichtig sind, und sie über Hochgeschwindigkeits-RDMA an GPUs liefern, bevor sie benötigt werden, eliminieren wir die Verzögerungen, die traditionell die Leistung bei langen Kontexten einschränken. Das Ergebnis ist eine geringere Time-to-First-Token (TTFT), ein stabilerer Durchsatz unter realer Last und eine deutlich höhere effektive GPU-Auslastung.“

Keith McKay, Senior Director of Solutions Architecture and Technical Partnerships bei ScaleFlux, kommentierte: „Was wir auf der GTC zeigen, ist ein erster Einblick, wie intelligentere Datenplatzierung und persistentes Attention-State-Management Inferenzsysteme reaktionsfähig halten können, wenn die Kontextfenster wachsen. Dies ist eine Zusammenarbeit, die wir gerne gemeinsam mit echten Betreibern gestalten möchten.“

Sowohl Lightbits als auch ScaleFlux zielen darauf ab, Cloud- und Infrastrukturbetreiber zur Übernahme ihrer Software und SSDs zu ermutigen und so kostspielige GPU-Leerlaufzeiten zu eliminieren.

Betrachten wir zunächst den Beitrag von ScaleFlux, bevor wir uns der ausgefeilteren Lightbits-Softwareebene zuwenden.

ScaleFlux bietet NVMe-SSDs und Computational Storage Drives (CSDs) mit hardwarebasierter Write Reduction Technology (WRT). Diese Laufwerke, die durch hardwarebeschleunigte Komprimierung und SoC-gesteuertes Metadatenmanagement unterstützt werden, liefern bis zu viermal mehr logische Kapazität als physischen Speicher, während sie für Host-Systeme vollständig transparent bleiben. Das Unternehmen ist Mitglied des Open Flash Platform (OFP) Konsortiums, das daran arbeitet, die KI-Datenspeichersysteme neu zu definieren, indem es dichte, latenzarme, energieeffiziente Systeme anbietet – mit der 10-fachen Dichte herkömmlicher dateibasierter KI-Speicher und nur einem Zehntel des Stromverbrauchs.

Aufbauend auf diesen Speicherlaufwerken fügt Lightbits das intelligente Vorabrufen von KV-Cache-Daten hinzu bevor GPUs diese benötigen, wodurch Verzögerungen durch unzureichende KV-Kapazität oder kostspielige Neuberechnungen von Token-Vektoren verhindert werden. Seine LightInferra-Software verwendet KV-Cache-optimierte Caching-Algorithmen, um erforderliche Daten mit RDMA-Geschwindigkeiten vor der eigentlichen Nachfrage in den GPU-Speicher zu ziehen.

Die Software läuft auf dem x86-Host, der in GPU-Servern integriert ist, und verfolgt die Zugriffsmuster von KV-Cache-Datenblöcken. Mithilfe dieser Telemetrie betreibt sie eine Sub-Linear Sparse Attention Prefetch (SLSAP)-Engine, um die KV-Blöcke zu identifizieren, die am wahrscheinlichsten als nächstes benötigt werden.

Diese Engine kombiniert Locality-Sensitive Hashing (LSH) mit statistischem Wiederverwendungsmodell – unter Analyse der historischen Zugriffslokalität in Attention-Berechnungen –, um KV-Blöcke zu bewerten und zu priorisieren, und wählt dann diejenigen mit der höchsten Wahrscheinlichkeit aus, von GPUs angefordert zu werden.

Dieser Auswahlprozess nutzt die inhärente Sparsamkeit beim GPU-Datenzugriff: Die meisten Token beziehen sich nur auf eine kleine Teilmenge früherer Token. Durch die Isolierung dieser hochwahrscheinlichen Blöcke reduziert die Lösung drastisch das Volumen der Token-Vektoren, die zurück an GPUs gestreamt werden müssen.

Ein zweiter Algorithmus konzentriert sich auf Wiederverwendungsmuster: Aktuelle Token, semantisch ähnliche Token und strukturelle Muster, die in RAG- oder Multi-Turn-Chat-Szenarien üblich sind, werden häufig wiederverwendet und entsprechend priorisiert.

LightInferra ruft diese Token-Blöcke zuerst aus dem DRAM des x86-Servers oder bei Bedarf von externen ScaleFlux-SSDs ab und lädt sie dann über RDMA-Verbindungen in den HBM der GPU vor.

Lightbits hat diesen Ansatz mit großen Sprachmodellen-Workloads gegen die Neuberechnung von gecachtem Inhalt von Grund auf verglichen und dabei Verbesserungen der Time-to-First-Token (TTFT) gemessen. Die berichteten Beschleunigungsfaktoren von 100x bis 280x stammen direkt aus diesen Testergebnissen.

Natürlich würden wir gerne Benchmark-Ergebnisse sehen, die das Lightbits-ScaleFlux KV-Cache-Beschleunigungsschema mit KV-Cache-Beschleunigern von DDN, Hammerspace, VAST Data, WEKA und anderen vergleichen, aber sie sind nicht verfügbar.

Es gibt Diagramme, die zeigen, wie LightInferra-ScaleFlux die TTFT bei der Cache-Regeneration mit zunehmender Modellgröße schrittweise verbessert hat. Z.B.:

Alle zugehörigen Benchmark-Daten werden in Diagrammen im logarithmischen Maßstab dargestellt, die hauptsächlich für Informatiker bestimmt sind, aber die Klarheit der Sprache erleichtert das Verständnis der realen Auswirkungen erheblich: „Das Ergebnis ist eine anhaltende Time-to-First-Token (TTFT)-Leistung, wenn der Kontext von 100.000 Token auf 1 Million und mehr skaliert.“

Wie Jonmichael Hands von FarmGPU es ausdrückt: Wenn eine Konversation mit 400.000 Token wieder aufgenommen wird und das System den gesamten KV-Cache von Grund auf neu generieren muss, bedeutet dies zwei volle Minuten GPU-Laufzeit ohne produzierte Token. LightInferra verändert das Wirtschaftsmodell vollständig – derselbe Workload generiert seinen ersten Token in weniger als einer halben Sekunde und verwandelt eine nicht tragfähige Produktkategorie in eine profitable.

Lightbits und ScaleFlux haben diese gemeinsame Lösung speziell für die neocloud GPU-Farmen der nächsten Generation entwickelt, auf denen große GPU-Pods Hunderte oder sogar Tausende von gleichzeitigen KI-Modell-Workloads ausführen. Fast jeder dieser Workloads wird die Grenze der KV-Cache-Kapazität im High-Bandwidth Memory (HBM) der GPU erreichen.