Das Groq 3 LPX-Rack, das Nvidia auf der GTC vorgestellt hat, wird neben den NVL72-Racks eingesetzt und bietet dedizierte Kapazitäten für KI-Inferenzen und agentic AI-Workloads.Das Groq 3 LPX-Rack kann bis zu 256 LPU-Beschleuniger aufnehmen., mit 128 GB SRAM und einer erstaunlichen Bandbreite von 40 Petabytes pro Sekunde SRAM-Speicher ausgestattet.und Nvidia stellt fest, dass es schließlich skalieren könnte, um mehr als 11.000 LPUs.
Durch die Kombination eines Groq 3 LPX Racks mit einem Rubin NVL72 System können Kunden eine Million Token für nur 45 Dollar auf einem 1 Billionen-Parameter-GPT-Modell mit einem 400k-Token-Kontextfenster generieren.Nach NvidiaDiese Zahl entspricht 35 mal mehr Token als das Rubin NVL72-System alleine erzeugen kann.
Groq 3 LPUs sind nicht die einzigen neuen Chips, die Nvidia nutzt, um die KI-Inferenzkapazität zu steigern.Das Unternehmen kündigte außerdem ein eigenes Rack für seine Vera-CPUs an. Die ARM-basierten Prozessoren wurden mit zwei Rubin-GPUs gekoppelt, um die Superchips im Kern der NVL72- und NVL8-Systeme von Nvidia zu bauen..
Da sich CPUs als ein wichtiger Engpass für KI-Inferenz und agentenartige KI-Worklasten herausgestellt haben, verlangen Unternehmen zunehmend größere CPU-Ressourcen.Nvidia hat ein eigenständiges, nur CPU-basiertes Rack eingeführt, benannt Vera CPU Rack, das 256 Vera CPUs mit 400 TB LPDDR5x-Speicher mit 300 TBps ausgestattet.
Das Vera-CPU-Rack ist auch mit einem Spectrum-X-Ethernet-Spin und 64 BlueField-4-Datenverarbeitungseinheiten (DPUs) ausgestattet.Diese DPUs koordinieren mit GPUs in NVL72-Systemen über die NVLink-C2C-Verbindung von Nvidia, die pro Unternehmen 1,8 TBps kohärenter Bandbreite ¢ siebenmal die Bandbreite von PCIe Gen 6 liefert.
Nvidia gibt an, dass das Vera-Rack 22.500 gleichzeitige CPU-Umgebungen unterstützen kann, was der massiven CPU-Nachfrage entspricht, die erforderlich ist, um KI-Inferenz und agentische Workloads reibungslos auszuführen.Das Rack verwendet Flüssigkeitskühlung und basiert auf der MGX-Referenzarchitektur von Nvidia, die von 80 Ökosystempartnern unterstützt wird, und wird über das globale Partnernetzwerk von Nvidia verbreitet.
Nvidia kündigte auch ein neues Rack voller BlueField-4 DPUs an, einen der sieben neuen Chips, die Nvidia als den neuen KI-Supercomputer bezeichnete.Der BlueField-4 STX ist die erste Rack-Skala-Implementierung der neuen CMX-Plattform von Nvidia, die GPU-Speicher von HBM in primären NVMe-Speicher erweitert. Es stellte CMX im Januar vor, und Nvidia's Speicherpartner, wie VAST Data,Das ist ein sehr gutes Beispiel., beginnen, sie über die Nvidia STX Referenzarchitektur zu übernehmen.
Die STX ist eine hochbandbreite, freigegebene Schicht, die für die Speicherung und das Abrufen der massiven Key-Value-Cache-Daten optimiert wurde, die durch agentische Workflows generiert werden, sagte Buck.Während Nvidia es nicht direkt zur Verfügung stellen wird, we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt, verdoppeln die Seiten pro Sekunde für Unternehmensdaten und liefern das 5-fache der Token pro Sekunde des Kontextspeichers, die für KI-Fabriken erforderlich sind, die agentische Workflows ausführen.
Cloudian, DDN, Dell Technologies, Everpure (früher Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix,und WEKA bauen alle neue Speicher auf der BlueField-4 STX Referenzarchitektur, sagte Nvidia, während Unternehmen wie CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) und Vultr es übernehmen.
Insgesamt präsentiert Nvidia auf der GTC sieben neue Chips, die jeweils eine Rolle für die Unterstützung der KI in der Vera Rubin-Plattform spielen.BlueField-4 DPU, Groq 3 LPU und SpectrumX CPO, der neue co-packaged Optics Ethernet Switch, der eine 200 Gbps Konnektivität über Siliziumphotonik liefert.und es ist jetzt in Produktion., sagte CEO Jensen Huang in seiner Keynote.
Beibei Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Leiterin der globalen Strategie
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com Die Daten werden auf der Website der chinesischen Regierung gespeichert.
Geschäftsfokus:
Vertrieb von IKT-Produkten/Systemintegration und Dienstleistungen/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
¢Technologie nutzen, um eine intelligente Welt aufzubauen¡Ihr vertrauenswürdiger Dienstleister für IKT-Produkte!
Ihre Nachricht muss zwischen 20 und 3.000 Zeichen enthalten!
German
