Komprise, ein Unternehmen für die Verwaltung unstrukturierter Daten, hat eine patentierte Technologie entwickelt, mit der sich riesige unstrukturierte Datensätze dynamisch aufteilen lassen. Diese Lösung verteilt Arbeitslasten während der Datenübertragung an KI-verarbeitende GPUs auf mehrere Rechen-Engines und beschleunigt so die Gesamtverarbeitungsgeschwindigkeit erheblich.
Die Komprise Elastic Shares (KES)-Technologie wurde offiziell als Patent US-12566637-B2 registriert und von Michael Peercy, CTO von Komprise, und seinem Forschungsteam eingereicht. Der offizielle Titel lautet „System und Methoden zur Unterteilung eines unbekannten Baums zur Ausführung von Operationen durch mehrere Rechenmaschinen“.
Peercy erklärte: „Elastic Shares ermöglicht unseren Kunden, wertvolle Rechen-, Speicher- und Netzwerkressourcen voll auszuschöpfen. Die Technologie ermöglicht eine nahezu lineare Leistungsskalierung und hilft Unternehmen dabei, deutliche Wettbewerbsvorteile zu erzielen.“
Für Datensätze im Petabyte-Bereich, die zur Analyse, LLM-Inferenz oder KI-Agentenberechnung an KI-Server übertragen werden, benötigt eine einzelne Rechenmaschine Stunden, um Verzeichnisbäume oder Objektspeicherpräfixe zu durchqueren. Eine Compute Engine kann als unabhängiger Server, einzelner Thread, Thread-Gruppe, Prozess oder Prozesscluster mit konsistenten Betriebsprinzipien in allen Szenarios definiert werden. Obwohl Benutzer im Voraus mehrere Engines für paralleles Computing bereitstellen können, führt die statische Zuweisung häufig zu Ineffizienz. Ungleiche Zweiggrößen führen dazu, dass bestimmte Rechenknoten früher fertig werden und im Leerlauf bleiben, während sie darauf warten, dass langsamere Knoten zugewiesene Aufgaben abschließen.
Komprise-Patent US-12566637-B2.
Peercys Team hat einen intelligenten Job-Scheduler erfunden, der in eine der Rechenmaschinen eingebettet ist, um den Knotenstatus in Echtzeit zu überwachen. Wenn eine Datenverarbeitungsaufgabe initiiert wird, werden Arbeitslasten zunächst auf die verfügbaren Rechen-Engines verteilt. Sobald ein Knoten seine zugewiesene Partition beendet hat, kehrt er zum Ressourcenpool zurück, um ausstehende Aufgaben zu empfangen. Dieser Mechanismus eliminiert Leerlaufzeiten, weist kontinuierlich neue Arbeitslasten freien Rechenknoten zu und verkürzt die Gesamtverarbeitungsdauer.
Laut einem offiziellen Komprise-Blogbeitrag verteilt KES unstrukturierte Daten-Workloads dynamisch und im Streaming-Verfahren auf Servercluster. Die Technologie erreicht eine nahezu lineare Beschleunigung für die Datenverarbeitung in großem Maßstab, ohne dass vorab erfasste Informationen zur Datensatzkapazität, zur internen Struktur oder zur Verarbeitungslatenz erforderlich sind.
Vereinfacht ausgedrückt: Jeder Rechenknoten erhält sofort nach Abschluss aktueller Aufgaben automatisch neue Aufgaben und behält so die volle Ressourcenauslastung bei, bis der gesamte Datenauftrag abgeschlossen ist.
Michael Peercy.
Aus der Patentdokumentation geht hervor, dass umfangreiche Datenmigrationsaufgaben zwischen Dateiservern oder Speichervolumes häufig mit engen Zeitvorgaben verbunden sind. Einem einzelnen Rechenknoten, sei es ein Thread, ein Prozess oder ein eigenständiger Server, fehlt der Durchsatz, um große Arbeitslasten schnell zu erledigen, was die Parallelverarbeitung mit mehreren Engines zu einer unverzichtbaren Lösung macht.
Das Dokument erklärt weiter, dass Verzeichnisbaumstrukturen nur während der rekursiven Durchquerung von Wurzel- zu Blattknoten identifiziert werden können. In einigen Fällen müssen Daten in einer festen Reihenfolge verarbeitet werden, z. B. durch Priorisierung übergeordneter Verzeichnisse vor Unterordnern und Dateien. Dies erfordert eine dynamische Workload-Segmentierung in Echtzeit anstelle einer starren statischen Partitionierung, die sich an verschiedene und unbekannte Datenarchitekturen anpassen muss.
Diese patentierte Technologie gilt für Dateien, Ordner, Speicherobjekte und Objektpräfixe. Obwohl es ursprünglich für unabhängige physische Server konzipiert wurde, ist es mit allen Formen von Compute Engines kompatibel, einschließlich Threads, Prozessen und Backend-Service-Clustern.
Komprise hebt drei Hauptvorteile hervor, die die KES-Technologie mit sich bringt:
-
Dynamische Aufgabenpartitionierung: Hochwertige Computerressourcen werden sofort neuen Aufgaben zugewiesen, sobald sie inaktiv sind.
-
Blinde Datenverarbeitung: Das System unterstützt die Datensatzberechnung ohne vorherige Kenntnis der Datengröße, der internen Struktur und der variablen Verarbeitungslatenz und passt perfekt zu KI-Streaming-Datenübertragungsszenarien.
-
Intelligente Neuausrichtung der Ressourcen: Es optimiert automatisch Zuordnungsstrategien, um sich an unstrukturierte Datenhierarchien mit unvorhersehbaren Zweigdichten anzupassen.
Diese innovative, patentierte Technologie bietet eine praktische und effiziente Optimierung für die groß angelegte Datenverarbeitung unstrukturierter Daten.
Peking Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
IKT-Produktvertrieb/Systemintegration und -dienste/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Mit Technologie eine intelligente Welt aufbauen“ Ihr vertrauenswürdiger IKT-Produktdienstleister!
Ihre Nachricht muss zwischen 20 und 3.000 Zeichen enthalten!
German
