Ich habe den vollständigen Text um 8 % Wortanzahl komprimiert, alle Kernfakten, Benchmarks, Zitate und die technische Logik beibehalten und alle Links entfernt:
Die Inferra-Software von Lightbits beschleunigt KV-Cache-Operationen, überwindet die Speicherwand der KI-Inferenz und verbessert die GPU-Auslastung drastisch. Das Hochleistungs-Blockstorage-Unternehmen hat Inferra entwickelt, um den High-Bandwidth Memory (HBM) von GPUs zu virtualisieren. Ein KV-Cache speichert vorab berechnete Aufmerksamkeits-Schlüssel und -Werte während der LLM-Inferenz, vermeidet redundante Neuberechnungen von Sequenzdaten und steigert die Leistung generativer KI.
Standard-KV-Caching beschränkt die gecachten Daten auf den HBM der GPU. Sobald der HBM gesättigt ist, werden vorhandene KV-Paare für neue Daten verdrängt, was bei Wiederverwendung zeitaufwändige Neuberechnungen erfordert. Modernes gestuftes KV-Caching erweitert den Speicher auf den DRAM des Servers, lokale NVMe-SSDs und entfernte vernetzte NVMe-Laufwerke. Während höhere Stufen längere Zugriffszeiten verursachen, ist diese Verzögerung oft kürzer als die Neuberechnung umfangreicher Token-Vektoren.
Inferra adressiert kritische Speicherengpässe, die aus wachsenden KV-Cache-Footprints mit langem Kontext resultieren. Es ermöglicht Cloud- und Unternehmenskunden, schnellere, skalierbarere KI-Inferenz durchzuführen, ohne kostspielige GPU- und HBM-Hardware-Upgrades zur Erweiterung der Cache-Kapazität.
Avigdor Willenz, Mitbegründer und Chairman von Lightbits Labs, wies darauf hin, dass der KI-Inferenzmarkt mit 117 Milliarden US-Dollar im Jahr 2026 Legacy-Anbieter, die sich auf Training konzentrieren, zu einer Neukonstruktion zwingt. Er betonte, dass Legacy-Speicher- und Trainingssysteme nicht für KV-Cache-Engpässe nachgerüstet werden können, da sie für veraltete Workload-Paradigmen entwickelt wurden. Inferra wurde speziell für die Effizienz der GPU-Inferenz entwickelt und hat seinen Wert in Kunden-Beta-Programmen validiert, indem es die NVMe-over-TCP-Innovation des Anbieters erweitert, um moderne Inferenz-Schmerzpunkte zu lösen.
Inferra, das auf KV-Cache-optimierten Pre-Fetching-Algorithmen basiert, lädt proaktiv bevorstehende KV-Cache-Daten vor der GPU-Nachfrage. Es bietet drei Kernvorteile: bis zu 16-mal mehr gleichzeitige Inferenzsitzungen auf vorhandener GPU-Hardware mit strikter SLA-Konformität (keine Hardware-Upgrades erforderlich); bis zu 100-fache Latenzverbesserung und Unterstützung für 10-Millionen-Token-Kontextfenster, wodurch TTFT und TPOT durch prädiktives Attention-State-Prefetching anstelle von Neuberechnungen reduziert werden; und sichere Tenant-Isolation mit intelligentem, einheitlichem KV-Cache-Management für gemeinsame Inferenzcluster.
Inferra definiert die Inferenzökonomie neu, indem es den GPU-Speicher über mehrstufigen Speicher und Speicher virtualisiert und fragmentiertes KV-Caching in eine persistente, intelligente Datenebene verwandelt. Auf den x86-Subsystemen der Server eingesetzt, überwacht es die KV-Cache-Blockaktivität und nutzt eine Sub-Linear Sparse Attention Prefetch (SLSAP)-Engine. Durch die Kombination von Locality-Sensitive Hashing und historischen Aufmerksamkeits-Wiederverwendungsmustern werden häufig wiederverwendete KV-Blöcke, einschließlich aktueller Token, semantisch ähnlicher Inhalte und struktureller Muster in Multi-Turn-Chat- und RAG-Workflows, eingestuft und priorisiert. Das System ruft gezielte Blöcke aus dem DRAM des Servers oder externen SSDs ab und lädt sie über RDMA in den HBM der GPU vor.
Yaniv Fdida, Chief Product & Technology Officer von OVH, bestätigte, dass Inferra erhebliche Steigerungen der GPU-Auslastung liefert und eine skalierbare, kostengünstige Infrastruktur für KI-Agenten und RAG-Workloads ermöglicht.
Öffentliche Benchmark-Ergebnisse bestätigen drastische Leistungssteigerungen: Qwen 2.5-7B (410K Kontext) beschleunigt sich um das 102-fache (72,6 s → 711 ms); DeepSeek-R1-70B (141K Kontext) verbessert sich um das 152-fache (70,8 s → 465 ms); Llama-4-Scout (10 Mio. Kontext) erreicht einen Sprung um das 380-fache (1,5 Stunden → 13 s).
Hardware-agnostisch und kompatibel mit allen gängigen Open-Source-Inferenz-Frameworks unterstützt Inferra Dynamo-, vLLM- und LMCache-Plugins. Einzigartig ist, dass es eine sublineare TTFT-Skalierung relativ zur Kontextlänge bietet, während Wettbewerber wie DDN, VAST Data und WEKA nur eine lineare Skalierung oder reaktives Streaming anbieten. Lightbits hat eine stabile 10-Millionen-Token-Kontextinferenz auf handelsüblichen L40S-GPUs demonstriert, ein Benchmark, der von Konkurrenzherstellern unerreicht ist.
Ramesh Chettuvetty, SVP AI Product and Business bei Lightbits Labs, erklärte, dass Inferra sofortige TCO-Einsparungen liefert, Long-Context-Inferenz-Stalls eliminiert und Unternehmen befähigt, größere Modelle und längere Dialog-Workloads zu geringeren Infrastrukturkosten auszuführen. Benutzer können die Vorteile der Inferenzkostenoptimierung von Inferra über die öffentliche Effizienzbewertungsplattform des Anbieters bewerten. In einer gemeinsamen Demo im März mit ScaleFlux erreichte Inferra eine KV-Cache-Beschleunigung von 100-fach bis 280-fach bei Computational-Storage-SSD-Workloads.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
ICT-Produktvertrieb/Systemintegration & Services/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
“Technologie nutzen, um eine intelligente Welt zu bauen”Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!
Ihre Nachricht muss zwischen 20 und 3.000 Zeichen enthalten!
German
