German
Auf dem RAISE-Gipfel in Paris stellte DDN seine laufende Zusammenarbeit mit Nebul, einem europäischen Anbieter von souveränen Hybrid-Clouds, vor, die sich auf die Steigerung der Effizienz bei groß angelegten KI-Inferenzbereitstellungen konzentriert.Vergangene Woche enthüllt, vereint die gemeinsame Initiative Nebul's Inferenzplattform, DDN's Infinia Data Intelligence Architektur und NVIDIA Accelerated Computing, um einen wichtigen KI-Flaschenhals der Produktion zu lösen:Datenbewegungskosten und Leistungsbeschränkungen bei Schlußarbeit.
DDN bildet die Zusammenarbeit um kritische Produktionsmetriken: GPU-Auslastung, Token-Durchsatz, Kosten pro Token und Latenzzeit.Ableitung definiert seine operativen und kommerziellen RenditenDie zunehmende Einführung von agentenartiger KI, Retrieval-Augmented Generation (RAG),und hochkonkurrenzfähige Schlussfolgerungen bedeuten, dass Speicher- und Dateninfrastrukturen die Effizienz des Beschleunigers und die Reaktionsgeschwindigkeiten der KI direkt beeinflussen.
Dieses aktive Proof-of-Concept-Projekt hat vielversprechende frühe Ergebnisse erzielt.Die Partner haben mit aktiviertem KV-Cache messbare Verbesserungen in der Zeit bis zum ersten Token verzeichnet und die Validierung für RoCE-basierte Infrastruktur abgeschlossen.Das laufende Benchmarking umfasst längere Inferenzsequenzlängen und eröffnet weitere Optimierungspotenziale für die Infinia-Plattform.Die Zusammenarbeit erstreckt sich auch auf die gemeinsamen Bemühungen von NVIDIA bei Benchmarking-Rahmenwerken, Skalierbarkeitsprüfung und künftigen technischen Veröffentlichungen.
Die integrierte Plattform nutzt verteilte KV-Cache-Dienste, GPU-native Datenbewegung, intelligente Datenorchestrierung und eine leistungsstarke Speicherarchitektur.KV-Cache-Beschleunigung liefert bemerkenswerte Schlüsse, indem vorbereitete Aufmerksamkeitszustände erhalten und schnell abgerufen werden, wodurch redundante Berechnungen reduziert und Datenlieferverzögerungen, die zum Leerlauf der GPU führen, beseitigt werden.
Führungskräfte von DDN, Nebul und NVIDIA betonten eine große Veränderung in der Branche: Die Prioritäten der KI-Infrastruktur verlagern sich von der Bereitstellung von Roh-GPUs hin zur Betriebseffizienz.Maximierung der Rendite aus bestehender Beschleunigerhardware. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsNVIDIA Cloud Infrastructure VP Rod Evans fügte hinzu, dass groß angelegte agentische Workloads nun den Infrastrukturerfolg anhand der GPU-Auslastung und Latenzmenge messen, anstatt nur anhand der Rechenleistung.
DDN betont, dass sich die KI-Infrastruktur über grundlegende Speicherfunktionen hinaus entwickeln muss, um die Ausführung von KI-Workflows aktiv zu unterstützen.Die Infrastrukturplattformen des Unternehmens betreiben derzeit weltweit mehr als eine Million GPUs., die Hyperscaler, Cloud-Anbieter, Unternehmen, Regierungen und Forschungseinrichtungen bedienen.
Moderne KI-Infrastrukturteams setzen nun diese Kernproduktionsmetriken an:
GPU-Auslastung: Messen wirksame Beschleunigeraktivität während der Ableitung, Maximierung des Wertes der High-End-GPU-Hardware.
Kosten pro Token: Verknüpft die Infrastrukturleistung direkt mit den Betriebskosten des KI-Modells.
Token pro Watt: Bewertet die Energieeffizienz der KI-Inferenzleistung.
Zeit zum ersten Token: Bestimmt die Reaktionsfähigkeit interaktiver KI-Anwendungen und die Benutzererfahrung.
Zeit bis zur Produktion: Quantifiziert die operativen Anstrengungen zur Migration von KI-Diensten von Tests zu skalierbarem kommerziellem Einsatz.
Da Inferenz die dominierende KI-Workload wird, die Cache-Kontext- und Unternehmensdaten an GPUs mit niedrigemStabile Latenzzeit wird entscheidend sein, um eine hohe GPU-Auslastung aufrechtzuerhalten und langfristige Betriebskosten zu kontrollieren.
Beibei Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Leiterin der globalen Strategie
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com Die Daten werden auf der Website der chinesischen Regierung gespeichert.
Geschäftsfokus:
Vertrieb von IKT-Produkten/Systemintegration und Dienstleistungen/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
¢Technologie nutzen, um eine intelligente Welt aufzubauen¡Ihr vertrauenswürdiger Dienstleister für IKT-Produkte!
Sandy Yang, Leiterin der globalen Strategie
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com Die Daten werden auf der Website der chinesischen Regierung gespeichert.
Geschäftsfokus:
Vertrieb von IKT-Produkten/Systemintegration und Dienstleistungen/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
¢Technologie nutzen, um eine intelligente Welt aufzubauen¡Ihr vertrauenswürdiger Dienstleister für IKT-Produkte!