NetApp übernimmt DataPelago, den Entwickler der Nucleus Universal Data Processing Engine (UDPE), die heterogene Datenverarbeitung für Analysen und generative KI beschleunigt.
Nucleus basiert auf den Open-Source-Lösungen Gluten, Velox und Substrait und beschleunigt Spark und Trino drastisch, um ein herausragendes Preis-Leistungs-Verhältnis zu bieten. Es lässt sich nahtlos mit vorhandenen Lakehouses, SQL, Python, Airflow, Tableau, Power BI und mehr verbinden, ohne Datenmigration oder Anbieterbindung. DataPelago wurde 2021 von CEO Rajan Goyal und CPO Anand Iyer gegründet, stieg im Oktober 2024 aus dem Stealth-Geschäft aus und sammelte insgesamt über 75 Millionen US-Dollar ein, einschließlich einer Finanzierungsrunde in Höhe von 47 Millionen US-Dollar im Jahr 2024.
George Kurian, CEO von NetApp, erklärte, dass die Weiterentwicklung der KI-Hardware eine ebenso leistungsfähige Dateninfrastruktur erfordert, um den Wert von Unternehmensdaten zu erschließen, und dass die Übernahme die Fähigkeit von NetApp stärkt, eine agile Datenverarbeitung zur Wettbewerbsdifferenzierung bereitzustellen.
In einem DataPelago-Blog wurde darauf hingewiesen, dass Nucleus nativ in die Datenplattform von NetApp eingebettet wird, was eine weitaus breitere Unternehmensakzeptanz ermöglicht, als das Startup allein erreichen könnte. Anfang des Jahres belegte DataPelago den vierten Platz im Bereich Data Science auf der Liste der weltweit innovativsten Unternehmen 2026 von Fast Company.
Im Gegensatz zu herkömmlichen Architekturen, die Datensätze auf externe CPU-/GPU-Cluster verschieben, führt Nucleus beschleunigte Berechnungen direkt auf der Speicherebene aus. Benchmarks mit Nvidia cuDF zeigen bis zu 10,5-mal schnellere Projektionen, 10,1-mal schnellere Filter und 4,3-mal schnellere Aggregationen. Der zwischen Abfrage-Engines (Spark, Trino, Flink) und Python-Frameworks (Ray, Dask) positionierte Stack verfügt über drei modulare Schichten:
1.DataApp: Steckbares Integrationsmodul zur Beschleunigung von Spark-, Trino- und anderen Motoren.
2.DataOS: Orchestrierungsschicht, die Datenaufgaben dynamisch gemischten Beschleunigern zuordnet, um eine skalierbare Leistungsoptimierung zu ermöglichen.
3.DataVM: Benutzerdefinierte virtuelle Maschine mit domänenspezifischer ISA, die eine einheitliche Ausführungsabstraktion für CPUs, GPUs, FPGAs und benutzerdefiniertes Silizium bietet.
Ablauf der Kerndatenausführung
1. Datenzugriff über Framework-Konnektoren: Wird als Spark-JAR-Plugin bereitgestellt, das mit Standard-Datenkonnektoren kompatibel ist und Parquet, ORC, Iceberg, Delta Lake, JSON und Speicherziele einschließlich S3, GCS, ADLS, HDFS und lokale Arrays unterstützt. Die Beschleunigung erstreckt sich auf Speicherintegrationen und behält gleichzeitig die native Abfragesemantik über Standard-Engine-E/A-Ebenen bei.
2.Abfrageplanung und -optimierung: Die Host-Engine generiert einen physischen Plan. DataApp wandelt es über Gluten/Substrait in eine Zwischendarstellung um. Ein intelligenter Optimierer erstellt optimale Datenflussdiagramme und weist CPU/GPU-Ressourcen für die DataOS/DataVM-Ausführung zu.
3.Hardwareübergreifende Datenübertragungsoptimierungen: Operator/Kernel-Fusion und Streaming-Ausführung eliminieren die vollständige Zwischenmaterialisierung, um den I/O-Overhead zu reduzieren. Der Zero-Copy-Shared-Memory reduziert die Duplizierung von CPU-GPU-Daten, während DataVMs ISA LLVM, CUDA und ROCm nutzt, um Aufgaben über spaltenorientierte vektorisierte Verarbeitung an optimale Hardware weiterzuleiten. Diese Optimierungen erhöhen die GPU-Auslastung auf 80–90 %, indem sie die domänenübergreifende Datenverschiebung minimieren.
Nucleus wird vor Ort und in großen öffentlichen Clouds betrieben. Sein Spark-Beschleuniger bietet eine 3–4-fache Durchsatzsteigerung im Vergleich zu Databricks Photon; Es lässt sich auch in Snowflake integrieren, indem es die Verarbeitung im offenen Tabellenformat und vor- und nachgelagerte Spark/Trino-Pipelines beschleunigt, die das Lager versorgen. Laut DataPelago senkt Nucleus die Infrastrukturkosten um bis zu 80 % und bietet eine zehnmal schnellere Leistung als herkömmliche Pipelines. Durch die Beseitigung der obligatorischen Datenduplizierung zwischen Betriebs- und KI-Systemen wird der Hauptengpass beseitigt, der die KI-Einführung in Unternehmen verlangsamt, mit Live-Einsätzen bei großen globalen Unternehmen in allen Branchen.
Rajan Goyal, CEO von DataPelago, sagte, die Kernaufgabe des Unternehmens bestehe darin, Engpässe bei der Datenverarbeitung zu beseitigen, die KI-Innovationen behindern. Durch den Zusammenschluss mit NetApp wird die bahnbrechende Beschleunigungstechnologie des Unternehmens mit dem umfangreichen Dateninfrastruktur-Portfolio von NetApp kombiniert. Unternehmen haben stark in GPUs und Modelle investiert, leiden jedoch unter fragmentierten Datensilos, die dazu führen, dass die Hardware nicht ausreichend genutzt wird, und der kombinierte Stack rationalisiert die groß angelegte KI-Bereitstellung.
NetApp stellt die Übernahme als ein bahnbrechendes Portfolio-Upgrade dar, das GPU-beschleunigte Verarbeitung direkt in Speicher-Workflows integriert, um eine echte Zero-Copy-Aktivierung von Unternehmensdaten für KI zu ermöglichen. Die Finanzdaten der Transaktion bleiben geheim; Angesichts der Unternehmensstärke von Nucleus, der engen Synergien mit NetApp AIDE und der steigenden Nachfrage nach Agenten-KI liegt die Kaufbewertung wahrscheinlich bei einem 4- bis 5-fachen Vielfachen der gesamten 75-Millionen-Dollar-Finanzierung von DataPelago. DataPelago wird als hundertprozentige NetApp-Tochtergesellschaft agieren.
Hauptunterschied: Nucleus vs. KV Cache vs. NetApp AIDE
1.Nucleus- und KV-Cache-Differenzierung: Nucleus optimiert die Datenaufnahme, -transformation und -abfrage vor der Inferenz, bevor die Daten GPU-Server erreichen. Nvidias KV-Cache ist eine GPU-interne Speicheroptimierung, die erst nach dem Eintreffen der Daten auf der GPU-Hardware aktiv ist, um die Effizienz der Token-Generierung zu steigern. Nucleus beschleunigt die Datenbereitstellung für Computer; KV Cache optimiert die Modelllaufzeit, nachdem Daten auf Beschleunigern gelandet sind.
2.NetApp AIDE vs. Nucleus UDPE: AIDE ist ONTAP/AFX-gesperrte KI-Vorverarbeitung für LLMs und Agenten und fungiert als proprietäres ETL mit integrierter Vektordatenbank, Metadatenkatalogisierung, RAG-Bereitstellung und Nvidia AI Enterprise-Integration (einschließlich NIM-Vektorisierungs-Microservices). Nucleus ist speicherunabhängig und beschleunigt generische Spark/Trino-Workloads. Die Integration von Nucleus mit AIDE würde die Transformations-, Schulungs-, Feinabstimmungs- und Inferenz-Pipelines stärken und beschleunigte Lakehouse-Workloads direkt auf dem NetApp AFX-Speicher ermöglichen; eine durchgängige AIDE+Nucleus-Bündellösung ist absehbar.
Syam Nair, CPO von NetApp, kommentierte, dass Nucleus eine softwaredefinierte Beschleunigung bei der Speicherung bietet und eine kopierfreie Datenvorbereitung, Governance und KI-Aktivierung über CPUs und GPUs hinweg ermöglicht. NetApp verwaltet mehr Unternehmensdaten aus mehreren Umgebungen als jeder andere Wettbewerber, und die nächste Welle der KI-Wettbewerbsfähigkeit hängt von der Verarbeitung der Daten an ihrer Quelle ab – das Engineering-Team von DataPelago beschleunigt diese strategische Roadmap.
Peking Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Geschäftsschwerpunkt:
IKT-Produktvertrieb/Systemintegration und -dienste/Infrastrukturlösungen
Mit mehr als 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
„Mit Technologie eine intelligente Welt aufbauen“ Ihr vertrauenswürdiger IKT-Produktdienstleister!
Ihre Nachricht muss zwischen 20 und 3.000 Zeichen enthalten!
German
