German
DeepInfra hat offiziell ein neues KI-Rechenzentrum in Toronto gestartet, was die erste Auslandseinführung des Unternehmens außerhalb der USA und seine neunte Einrichtung weltweit darstellt. Diese am 8. Juli enthüllte neue Anlage erweitert die globale Inferenzinfrastruktur von DeepInfra inmitten eines weit verbreiteten Branchenwandels der KI-Nachfrage von der Modellschulung hin zu kommerziellen Inferenz-Workloads.
Das Rechenzentrum in Toronto verfügt über eine Leistungskapazität von 1,7 MW und wird über 1.000 NVIDIA Blackwell B300 GPUs beherbergen. Nach vollständiger Inbetriebnahme wird der neue Rechencluster die globale Inferenzskalierung von DeepInfra erhöhen und die Netzwerklatenz für Endbenutzer in Kanada und anderen globalen Regionen reduzieren.
Diese Expansion steht im Einklang mit einem klaren branchenweiten Übergang. Da Unternehmen die Produktionsauslieferung von generativen KI-Tools beschleunigen, konzentriert sich die Nachfrage nach Rechenzentrumsinfrastruktur zunehmend auf Inferenz-Workloads anstelle von Schulungsaufgaben. Die Inferenz großer Sprachmodelle erfordert eine konsistente GPU-Verfügbarkeit, ein Netzwerk mit geringer Latenz und geografisch verteilte Infrastruktur, um interaktive Anwendungen, intelligente KI-Agenten und API-Dienste mit hohem Durchsatz zu betreiben. Laut einer in der Ankündigung zitierten Forschung von McKinsey & Company werden Inferenz-Workloads bis 2030 über 40 % der gesamten Rechenzentrumsnachfrage ausmachen, mit einer jährlichen Wachstumsrate von 35 %.
DeepInfra gibt an, dass die Bereitstellung in Toronto speziell darauf ausgelegt ist, diese sich entwickelnden Bedürfnisse zu erfüllen, indem GPU-Rechenressourcen näher an Endbenutzer und lokale Datenquellen gebracht werden, während der Gesamtdurchsatz der Plattform erweitert wird. Das Unternehmen besitzt und betreibt seinen gesamten GPU-Infrastruktur-Stack unabhängig und unterstützt über 200 Open-Source-KI-Modelle. Seine verwaltete Inferenzplattform verarbeitet wöchentlich fast fünf Billionen Token und deckt sowohl Open-Source- als auch proprietäre Modellbereitstellungen ab.
Der Start unterstreicht auch die zunehmende Akzeptanz der NVIDIA Blackwell-Architektur in der Branche für moderne Inferenzinfrastrukturen. Im Vergleich zu früherer Hardware der Hopper-Generation liefern Blackwell-GPUs einen verbesserten Inferenzdurchsatz und eine bessere Energieeffizienz für große Sprachmodelle und multimodale KI-Workloads. Obwohl DeepInfra keine weiteren Details zur Netzwerk- und Speicherarchitektur veröffentlichte, nutzen groß angelegte Bereitstellungen dieser Größenordnung typischerweise Hochgeschwindigkeitsverbindungen und verteilte Speicher, um eine vollständige GPU-Auslastung aufrechtzuerhalten.
Wie von Nikola Borisov, CEO und Mitbegründer von DeepInfra, hervorgehoben, hat sich Enterprise-KI von experimentellen Versuchen zu groß angelegten Produktionsauslieferungen entwickelt, was eine größere Nachfrage nach global verteilten Infrastrukturen mit geringer Latenz und skalierbaren Inferenzfähigkeiten antreibt. Er erklärte, dass der Toronto-Cluster die erste internationale Expansion des Unternehmens über die Grenzen der USA hinaus markiert und Rechenressourcen in der Nähe globaler Kunden und ihrer Datensätze positioniert.
Die Einrichtung in Toronto folgt auf die jüngste Series-B-Finanzierungsrunde von DeepInfra und ist ein wichtiger Bestandteil seiner langfristigen Infrastrukturerweiterungs-Roadmap. Das Unternehmen bestätigt, dass es zusätzliche internationale Rechenzentrumstandorte prüft, um die wachsende Marktnachfrage nach GPU-gestützten Inferenzdiensten zu decken.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
ICT-Produktvertrieb/Systemintegration & Dienstleistungen/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Technologie nutzen, um eine intelligente Welt aufzubauen“ Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
ICT-Produktvertrieb/Systemintegration & Dienstleistungen/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Technologie nutzen, um eine intelligente Welt aufzubauen“ Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!