German
MinIO hat MemKV veröffentlicht, einen dedizierten Kontextspeicher, der entwickelt wurde, um einen kritischen Engpass in groß angelegten KI-Inferenzpipelines zu lösen.Als zweite Flaggschifflösung von MinIO neben AIStor, MemKV erweitert die Dateninfrastruktur des Unternehmens in die Speicherstufe. Es wurde entwickelt, um persistierende, gemeinsame kontextbezogene Daten für agentenartige KI-Workloads zu liefern, die auf verteilten GPU-Clustern ausgeführt werden.
MinIO AIStor
Da KI-Systeme von einmaligen Antworten auf mehrfaches Denken und automatisierte Aufgabendurchführung vorankommen, ist die Aufrechterhaltung eines kontinuierlichen Kontextes über Schlußzyklen hinweg immer wichtiger geworden.Unter bestehenden Architekturen, werden Kontextdaten oft aufgrund der begrenzten Kapazität von GPU-angrenzenden Speicherstufen, einschließlich HBM und DRAM, verworfen. Dies zwingt GPUs, den vorhandenen Kontext wiederholt zu berechnen, was die Latenzzeit erhöht,Berechnungsnutzung und Stromverbrauch. MinIO definiert diese redundante Arbeitsbelastung als die "Wiederberechnungssteuer", eine Ineffizienz, die sich in Hyper-Cloud-Umgebungen exponentiell verschlechtert.
MemKV wurde entwickelt, um diesen Schmerzpunkt durch eine gemeinsame, dauerhafte Speicherschicht zu lindern, die Petabyte-Speicher mit Mikrosekunden-Zugriffslatenz ermöglicht.Durch die Aufbewahrung kontextbezogener Daten während der gesamten Inferenz-Workflows, die Plattform reduziert überflüssige Rechnungen und steigert die Effizienz der gesamten Infrastruktur.Interne Benchmark-Daten von MinIO bestätigen eine verbesserte Time-to-First-Token-Latenz bei ProduktionskonkurrenzBei einer typischen Bereitstellung mit 128 GPUs und 128K-Token-Kontextfenstern stieg die GPU-Auslastung von etwa 50% auf über 90%, was sich in erheblichen jährlichen Rechenkostenreduzierungen niedersetzt.
Die Führungskräfte von MinIO erklärten, dass die Rekompute-Overhead bei kleinen Bereitstellungen unbemerkt bleibt, sich jedoch zu einem grundlegenden strukturellen Fehler im Unternehmensmaßstab entwickelt.Wiederholte Kontextregeneration führt zu höherem Stromverbrauch und höheren Infrastrukturkosten, wodurch spezialisierte Speichersysteme für einen nachhaltigen KI-Betrieb unerlässlich sind.
Wie man den Kompromiss bei der Speicherskala löst
Die veraltete KI-Infrastruktur zwingt die Entwickler, einen Kompromiss zwischen Zugriffsgeschwindigkeit und Speicherkapazität einzugehen.Hochleistungsspeicherstufen wie HBM und DRAM liefern eine Mikrosekunden-Latenzzeit, haben aber enge Kapazitätsbeschränkungen und hohe KostenIm Gegensatz dazu bieten herkömmliche Speichersysteme eine massive Skalierbarkeit, leiden aber unter einer Latenzzeit von Millisekunden, was sie mit Echtzeit-Inferenz- und langkontextuellen Argumentationsaufgaben unvereinbar macht.
Mikron HBM4
MemKV überbrückt diese Branchenlücke durch die Einführung einer mittleren gemeinsamen Speicherschicht, die eine ausgewogene Verzögerungszeit und eine große Skalierbarkeit im Speicher bietet.Nativ kompatibel mit NVIDIA BlueField-4 STX und integriert mit NVIDIA Dynamo neben NIXL-Tools, ermöglicht die Lösung, dass ganze GPU-Cluster auf einheitliche kontextuelle Datenpools mit inferenzgerechten Übertragungsgeschwindigkeiten zugreifen.Dieses Design eliminiert häufige Kontextdatenmigration zwischen isolierten Speicher- und Speicherschichten, was die Latenzzeit senkt und den Systemdurchsatz erhöht.
NVIDIA BlueField-4
Architektur für Inferenz-Workloads optimiert
MemKV ist ausschließlich für Inferenz-Datenpipelines entwickelt und passt in die G3.5-Schicht des MinIOs GPU-Speicherhierarchie-Frameworks.Es erreicht eine Kapazität auf Petabyte-Ebene und behält eine Mikrosekunden-Zugangslatenz bei, erfolgreich die Skalierbarkeit des Speichers von den Rechenressourcen der GPU entkoppelt.
Das System verzichtet auf umständliche traditionelle Speicherabstraktionen und überträgt Daten direkt von NVMe-Laufwerken über End-to-End RDMA-Übertragung an KI-Datenleitungen.Dies schneidet Leistungshöhe durch HTTP-Protokolle gebracht, Dateisystemkonvertierung und Zwischenspeicher-Server gemeinsame Engpässe bei Objekt- und dateibasierten Speicherarchitekturen.
Quelle: Google
Zu den wichtigsten Architekturoptimierungen gehört die native binäre Ausführung von ARM64 auf NVIDIA BlueField-4 STX, die direkt in die Speicherschicht eingebettet ist, um die Abhängigkeit von externen x86-Speicherknoten zu reduzieren.Alle Datenübertragungen zwischen GPU-Speicher und NVMe-Speicher übernehmen RDMA-ÜbertragungAußerdem nutzt MemKV erweiterte Blockgrößen von 2 MB bis 16 MB.die für die GPU-Durchsatzmerkmale anstelle der alten 4 KB-Speicherblöcke optimiert sindEs unterstützt modernste Hochgeschwindigkeits-Verbindungsteile wie NVIDIA Spectrum-X Ethernet und PCIe Gen6 und erleichtert die Datenübertragung in Clustern mit nahezu drahtgeschwindiger Geschwindigkeit.
Verfügbarkeit
MinIO MemKV ist jetzt für die Bereitstellung in Unternehmen kommerziell verfügbar.
Beibei Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Leiterin der globalen Strategie
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com Die Daten werden auf der Website der chinesischen Regierung gespeichert.
Geschäftsfokus:
Vertrieb von IKT-Produkten/Systemintegration und Dienstleistungen/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
¢Technologie nutzen, um eine intelligente Welt aufzubauen¡Ihr vertrauenswürdiger Dienstleister für IKT-Produkte!
Sandy Yang, Leiterin der globalen Strategie
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com Die Daten werden auf der Website der chinesischen Regierung gespeichert.
Geschäftsfokus:
Vertrieb von IKT-Produkten/Systemintegration und Dienstleistungen/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
¢Technologie nutzen, um eine intelligente Welt aufzubauen¡Ihr vertrauenswürdiger Dienstleister für IKT-Produkte!