Dell PowerEdge NVMe Backplane Optionen

Dell bietet verschiedene Speicher-Backplanes in seinen 16G PowerEdge Servern an. Bei der Konfiguration des R760 gibt es fast 50 Laufwerkschassis-Optionen. Während ein Teil davon Legacy-Unterstützung ist (z. B. PERC 11), ist die Entscheidung für das Chassis eine wichtige. Dies berücksichtigt noch nicht die bevorstehende E3.S NVMe SSD-Unterstützung, die die einzige Möglichkeit ist, Gen5 SSDs in PowerEdge Servern zu erhalten. Wir haben uns E3.S im Dell PowerEdge R660 angesehen, wenn Sie mehr über die Vorteile von Gen5 und EDSFF-Formfaktoren erfahren möchten.

Zurück zur eigentlichen Aufgabe. Für diesen Test möchten wir die Auswirkungen der Wahl von Dells Direct Drives-Option im Vergleich zur PERC 12 HWRAID-Kartenoption verstehen. Wie erwähnt, liegt der ausdrückliche Fokus hier nur auf Gen4 U.2/U.3 NVMe SSDs. Vorerst ignorieren wir Chassis-Optionen für SATA/SAS und 3,5-Zoll-HDDs. Diese Konfigurationen sind viel einfacher.

Im R760 bietet Dell einige Chassis-Optionen, um Gen4 NVMe-Laufwerke an Bord zu haben. Die Direct Drives-Option kann für 8- oder 16-Laufwerke konfiguriert werden. Für die HWRAID-Konfigurationen bietet Dell die PERC 12 HWRAID-Karte auf die gleiche Weise an, mit einer RAID-Karte für jede Charge von 8 SSDs. Diese Entscheidung ist wichtig, da sie grundlegend dafür ist, dass ein voll bestückter R760 mit 16 NVMe SSDs die bestmögliche Leistung erzielt.

Dell PERC 12 Übersicht

Der Dell PowerEdge RAID Controller (PERC) 12 basiert auf Broadcom SAS4116W Silizium. Trotz SAS im Produktnamen ist der Controller ein Tri-Mode RAID-on-Chip (ROC)-Gerät. Derselbe RAID-Controller wird in der Broadcom MegaRAID-Linie verwendet. Wir haben kürzlich das MegaRAID 9670W getestet und seine wichtigsten Funktionen hervorgehoben. Mit dem Dell PERC 12 kommen jedoch wesentliche Designunterschiede zum Tragen, je nachdem, an welcher Dell Server- und Speicherfamilie Sie interessiert sind.

In Bezug auf PowerEdge werden die meisten Konfigurationen die PERC 12 Karte "H965i Front" nutzen. In unserem Test des R760 Systems mit HWRAID haben wir zwei dieser H965i Front Karten im System, eine für jeden Satz von 8x Solidigm P5520 SSDs. Es ist erwähnenswert, dass diese Karten deutlich kleiner sind als die Add-in-Karte. Das PCB-Design und das Wärmemanagement sind wirklich beeindruckend. Diese Karten sind direkt auf der 8-Laufwerks-NVMe-Backplane montiert und über zwei x8 PCIe-Kabel mit dem Motherboard verbunden. Dies gibt PCIe-Steckplätze auf der Rückseite des Servers für andere Geräte frei.

Apropos Add-in-Karten: Die Standard-PERC 12 H965i ist eine Half-Height, Half-Length Karte mit einem Onboard-Lüfter. Diese Version von PERC 12 wird in einigen PowerEdge-Konfigurationen vorkommen und ist auch in einigen der neuen Dell PowerVault MD JBODs zu finden. Schließlich gibt es noch die H965i MX, eine lange, schmale PCB, die für etwas wie das modulare MX7000-Chassis entwickelt wurde.

Dell PERC 11 vs PERC 12

Die Dell PERC 11 Karte unterstützte zwar NVMe SSDs, aber leider ging der Vorteil von Hardware-RAID mit erheblichen Leistungseinbußen einher. Dieser Nachteil ist genau der Grund, warum die Branche von dem neuen Broadcom-Silizium und Dells Version dieser Karte, der PERC, so begeistert ist. Dell hat einige Zahlen zur Differenz zwischen PERC 11 und PERC 12 veröffentlicht, die erstaunlich sind.

Die Latenzvorteile von PERC 12 sind deutlich erkennbar; aber schauen Sie sich die Leistung unter Worst-Case-Bedingungen an, die Leistung während eines Rebuilds. PERC 12 zeigt eine Verbesserung von einigen tausend Prozent, und selbst die RAID-Rebuild-Zeit profitiert erheblich.

Wenn man sich die von Dell angegebenen Bandbreiten- und IOPS-Zahlen ansieht, kann man wieder den massiven Schritt nach vorne erkennen, den PERC 12 im Vergleich zu PERC 11 macht. Durchweg sehen alle diese Workloads eine Mindestverbesserung von 2X bei der PERC 12 Karte. Natürlich haben wir unsere eigenen Tests durchgeführt, um die PERC 12 Leistung zu überprüfen, und dazu kommen wir noch.

Dell Direct Drives vs. Dell PERC 12 Leistung

Um die Speicherleistung von Direct Drives im Vergleich zu PERC 12 zu vergleichen, haben wir unsere R760 Server "Cousins" mit Solidigm P5520 7,68TB SSDs konfiguriert. Der Dell R760 mit Direct Drives hat 8 NVMe-Schächte. Der R760 mit PERC 12 hat 16 NVMe-Schächte mit zwei H965i Front RAID-Karten.

Auf den ersten Blick ist vielleicht nicht offensichtlich, dass es auf beiden Seiten bestimmte Leistungseinschränkungen gibt. Beginnen wir mit dem Direct Drives-Ansatz: Jede SSD hat ihre eigene x4 PCIe-Verbindung, was bedeutet, dass acht SSDs 32 PCIe-Lanes dediziert haben.

Dies ermöglicht eine unglaubliche Bandbreite, im Allgemeinen über 52 GB/s, wenn jede Gen4-Laufwerk seine 6,5 GB/s-Verbindung sättigen kann. Im Vergleich zur PERC 12 H965i-Konfiguration verbindet sich jede Gruppe von acht SSDs direkt mit der RAID-Karte, die über eine x16 PCIe-Verbindung zurück zum Motherboard führt. Dies halbiert die Bandbreite, die die Direct Drives-Konfiguration unterstützt. Also gewinnen offensichtlich die nativen NVMe-Verbindungen? Nicht ganz.

Bei der Arbeit mit mehreren NVMe-Geräten in einem Multi-CPU-System spielen NUMA-Mapping zwischen Laufwerk und CPU sowie Systemunterbrechungen eine Rolle. Dies kann optimiert werden, erfordert aber erhebliche Abstimmung. Nicht alle Anwendungen berücksichtigen dies.

Virtualisierung ist ein Bereich, in dem die Verwaltung des NUMA-Mappings schwierig ist, da gemeinsam genutzte Ressourcen in Echtzeit ausgeglichen werden, manchmal zu einer CPU, die möglicherweise keinen direkten Zugriff auf diese zugewiesenen PCIe-Ressourcen hat. Hardware-RAID-Karten mildern viele dieser Probleme und optimieren Systemunterbrechungen und Kontextwechsel, was CPU-Ressourcen freisetzt. Das NUMA-Mapping wird auch weniger komplex, da anstatt 16 einzelner SSDs, die über zwei CPUs verteilt sind, nur eine Speicherkarte pro CPU verwaltet werden muss.

Unser Testplan konzentriert sich auf zwei Bereiche. Der erste sind Vdbench-Workloads, die die JBOD-Leistung mit acht an beide R760 durchgereichten SSDs messen. Auf dem Direct Drives R760 befinden sich acht native SSDs, während auf dem HWRAID R760 die PERC 12 acht rohe Speichergeräte durchreicht. Beide werden ohne Optimierungen getestet. Die zweite Testphase zeigt die skalierte Leistung der PERC 12 Lösung von einer einzelnen zu einer optimierten Dual-Karten-Konfiguration.

Unsere Direct Drives PowerEdge R760 Testeinheit hat die folgende Konfiguration:

• Dual Intel Xeon Gold 6430 (32 Kerne/64 Threads, 1,9 GHz Basis)
• 1 TB DDR5 RAM
• 8 Solidigm P5520 7,68 TB Gen4 SSDs
• RHEL 9

Die HWRAID NVMe PowerEdge R760 Testeinheit hat die folgende Konfiguration:

• Dual Intel Xeon Gold 6430 (32 Kerne/64 Threads, 1,9 GHz Basis)
• 1 TB DDR5 RAM
• 16 Solidigm P5520 7,68 TB Gen4 SSDs
• Dual PERC 12 H965i
• RHEL 9

Vdbench Workload-Analyse

Beim Benchmarking von Speichergeräten ist die Anwendungsprüfung am besten, gefolgt von synthetischen Tests. Obwohl sie keine perfekte Darstellung tatsächlicher Workloads sind, helfen synthetische Tests, Speichergeräte mit einem Wiederholbarkeitsfaktor zu basieren, der den Vergleich von Äpfeln mit Äpfeln zwischen konkurrierenden Lösungen erleichtert. Diese Workloads bieten eine Reihe von Testprofilen, die von "Four Corners"-Tests und gängigen Datenbank-Transfergrößen bis hin zu Trace-Aufzeichnungen aus verschiedenen VDI-Umgebungen reichen.

Diese Tests nutzen den typischen Vdbench-Workload-Generator mit einer Skript-Engine zur Automatisierung und Erfassung von Ergebnissen über einen großen Compute-Testcluster. Dies ermöglicht es uns, dieselben Workloads auf verschiedenen Speichergeräten, einschließlich Flash-Arrays und einzelnen Speichergeräten, zu wiederholen. Unser Testprozess für diese Benchmarks füllt die gesamte Laufwerksoberfläche mit Daten und partitioniert dann einen Laufwerksabschnitt, der 25 Prozent der Laufwerkskapazität entspricht, um zu simulieren, wie das Laufwerk auf Anwendungs-Workloads reagieren könnte. Dies unterscheidet sich von vollständigen Entropie-Tests, die 100 Prozent des Laufwerks verwenden und sie in einen stabilen Zustand versetzen. Infolgedessen spiegeln diese Zahlen höhere nachhaltige Schreibgeschwindigkeiten wider.

Profile:

• 4K Random Read und Write: 100 Prozent Lesen oder Schreiben, 128 Threads, 0-120 Prozent iorate
• 64K Sequential Read: 100 Prozent Lesen, 32 Threads, 0-120 Prozent iorate
• 64K Sequential Write: 100 Prozent Schreiben, 16 Threads, 0-120 Prozent iorate
• 4K 70R/30W und 90R/10W Random Mix, 64 Threads, 0-120 Prozent iorate

Betrachtet man unseren ersten Test, der sich auf die Leseübertragungsbandbreite konzentriert, so ist der PCIe-Kanalvorteil des Direct Drives-Ansatzes mit 32 PCIe-Lanes gegenüber der einzelnen PERC 12 mit 16 Lanes ersichtlich. Dies ergibt 41,6 GB/s von Direct Drives gegenüber 28 GB/s von der PERC 12 im JBOD-Modus.

Beim Wechsel von der Lese- zur Schreibbandbreite schrumpft der Vorteil der zusätzlichen PCIe-Lanes, da die Schreibgeschwindigkeit der Solidigm P5520 niedriger ist als ihre Lesegeschwindigkeit. Hier maß die Direct Drives-Konfiguration 18,3 GB/s im Vergleich zu 20,3 GB/s von der PERC 12.

Bei unserem zufälligen 4K-Lese-Workload maßen die 8 Solidigm P5520 SSDs im Direct Drive PowerEdge R760 einen Spitzenwert von 5,55 Mio. IOPS, verglichen mit 4,34 Mio. IOPS im PERC 12 Setup.

Bei 4K Random Write verringert sich dieser Unterschied erneut, wobei Direct Drives 3,96 Mio. IOPS gegenüber 4,15 Mio. IOPS bei PERC 12 messen.

Bei unserem ersten von zwei gemischten Workloads betrachten wir eine 4K-Zufallsübertragung mit einer 70/30 Lese/Schreib-Verteilung. Hier maßen die Direct Drives PowerEdge R760 Konfiguration 4,47 Mio. IOPS Spitzenwert, gegenüber der PERC 12 mit 3,66 Mio. IOPS.

Bei Erhöhung des Leseanteils auf 90 Prozent im selben 4K-Übertragungstest maßen wir 5,04 Mio. IOPS vom Direct Drives Server gegenüber 3,62 Mio. IOPS vom PERC 12 System.

FIO Workload-Analyse

Um die Leistung der Laufwerke von Dells Direct Drive und PERC 12 HWRAID-Angeboten zu messen, wurden die Benchmarks in die folgenden Konfigurationen aufgeteilt. Die erste umfasste eine JBOD-Konfiguration, die jedes Laufwerk außerhalb von RAID, RAID10 und dann RAID5 Konfigurationen maß.

Beim Direct Drives-Ansatz erscheinen die SSDs dem Betriebssystem normal; bei der PERC 12 werden sie über den HBA als rohe Speichergeräte durchgereicht. Diese Konfigurationen wurden einem Skriptprozess unterzogen, um den Flash vorzubereiten, die für sie vorbereiteten Tests durchzuführen und zum nächsten Vorbereitungs-/Workload-Mix überzugehen.

• Sequenzielle Vorbereitung
• Sequenzielle Tests auf JBOD, 8DR10, 8DR5 (Single und Dual PERC)
• Zufällige Vorbereitung
• Zufällige optimale Tests auf JBOD, 8DR10, 8DR5 (Single und Dual PERC)
• Zufällige Rebuild-Tests auf 8DR10, 8DR5 (Single und Dual PERC)
• Zufällige Schreiblatenz für optimal und Rebuild für 8DR5 (Single PERC)

Da die PERC 12 H965i über einen x16 PCIe Gen4-Steckplatz verfügt, liegt ihre Spitzenleistung in einer Richtung bei etwa 28 GB/s, und dort endet der Gen4-Steckplatz. Dell hat einen einzigartigen Ansatz für diese Bandbreitenbegrenzung gewählt, indem sie eine Dual-PERC 12-Konfiguration in ihrem PowerEdge R760 anbieten. Anstatt 16 SSD-Schächte, die alle an eine einzige Karte angeschlossen sind, ist die Last aufgeteilt, wobei jede PERC 12 ihre eigene Gruppe von 8 SSDs steuert. Dieser Ansatz umgeht die Bandbreitenbegrenzung und erhöht gleichzeitig den maximal verfügbaren Durchsatz bei anspruchsvollen Workloads dramatisch.

Betrachtet man zunächst die sequentielle Übertragungsleistung, so ist der Bandbreitenvorteil der Direct Drives-Konfiguration ersichtlich, mit einer Lesegeschwindigkeit von 54,4 GB/s gegenüber 28,1 GB/s bei der einzelnen PERC 12. Die native Schreibgeschwindigkeit hat ebenfalls einen Vorteil, mit 33,4 GB/s gegenüber 28,3 GB/s bei der einzelnen PERC 12 mit acht Laufwerken dahinter. Schreibgeschwindigkeiten im Allgemeinen werden hier keinen großen Unterschied zeigen, da diese Klasse von SSD im Allgemeinen eine Lesegeschwindigkeit weit über der Schreibgeschwindigkeit hat.

Wenn wir uns auf die zufällige Übertragungsleistung konzentrieren, sehen wir eine Verschiebung, wo die Vorteile der RAID-Karte in Bezug auf NUMA-Balancing zum Tragen kommen können. Bei der Leseleistung maßen die Solidigm 7,68 TB P5520 SSDs in unserem 4K-Lesetest 7,96 Mio. IOPS, wobei die PERC 12 JBOD-Konfiguration 7 Mio. IOPS maßen. Die Schreibgeschwindigkeit über die Direct Drives-Konfiguration fiel auf 3,4 Mio. IOPS, während die PERC 12 5,97 Mio. IOPS beibehielt. Bei dem 4K OLTP-Workload wird dies noch deutlicher, wobei die Direct Drives 3,6 Mio. IOPS gegenüber 10,2 Mio. IOPS von der PERC 12 messen.

Während die traditionelle Annahme war, dass Hardware-RAID bei modernen SSDs keinen Wert hat, können wir sehen, dass dies nicht mehr der Fall ist. Ja, das Direct Drives NVMe-Setup kann abgestimmt werden, aber es ist ein bewegliches Ziel über mehrere SSDs, die über zwei CPUs verteilt sind.

Dies steht im direkten Gegensatz zur PERC 12 HWRAID-Karte, die all diese Komplexität verwaltet und nur mit einer CPU verbunden ist. Für die Skalierung verbindet sich die zweite PERC-Karte im Dell PowerEdge R760 mit der anderen CPU und bietet ein Balancing für größere Workloads, die über diese beiden Festplattengruppen verteilt sind. Es ist anzumerken, dass das System bei etwa 10 Mio. IOPS begann, die CPUs zu sättigen, weshalb wir in einigen Bereichen mit der zusätzlichen PERC 12-Karte keine lineare Skalierung sahen.

Obwohl wir die Software-RAID-Optionen mit der Direct Drives PowerEdge R760 Konfiguration nicht betrachtet haben, hatten wir die Gelegenheit zu sehen, wie gut die RAID-Konfiguration auf PERC 12 in einem degradierten Zustand funktioniert. Während die Leistung im Vergleich zur optimalen Leistung einen erheblichen Einbruch erlebte, boten sowohl RAID10 als auch RAID5 eine starke Leistung während des Wiederaufbaus ihrer RAID-Gruppen.

Während die optimale RAID-Leistung ein wichtiger Aspekt bei der Wahl einer Speicherlösung ist, kann die Leistung unter suboptimalen Bedingungen ebenso wichtig sein. Zu diesem Zweck haben wir die 4K-Schreiblatenz in RAID5 unter optimalen Bedingungen und die Rebuild-Leistung bei ausgefallenem Laufwerk gemessen. Wenn Leistung oder Latenz einen massiven Einbruch erleiden würden, könnte die Anwendungsreaktionsfähigkeit zu einem Problem werden. Während die Rebuild-Leistung im Vergleich zum Optimum sinkt, steigt die Latenz der Leistung nicht über den Basiswert hinaus an.

Abschließende Gedanken

Dells neue PERC12 NVMe RAID-Karte verändert das Spiel für NVMe-Speicheroptionen in PowerEdge-Servern. In der Vergangenheit zögerten einige Kunden, von SAS-SSDs zu wechseln, oder entschieden sich für NVMe-Laufwerke, die an verschiedene SDS oder Hypervisoren angeschlossen waren. Die Einführung der PERC 12 Karte hat jedoch die Gleichung für PowerEdge verändert und sie zu einer praktikableren Option gemacht.

Der Grund, warum PERC 12 so gut funktioniert, ist auch auf das Layout des PowerEdge-Servers zurückzuführen. Unser R760 verfügt über zwei PERC 12 (H965i Front) Karten, jede mit x16 Lanes. Dies ermöglicht uns die Nutzung der 8 Solidigm SSDs mit jeder Karte, was eine maximale Bandbreite von bis zu 28 GB/s pro Karte bietet. Der Anschluss aller 16 SSDs an eine einzige RAID-Karte würde zu einem Verlust der halben potenziellen Leistung führen.

Sie fragen sich vielleicht: "Warum nicht 24 SSDs mit HWRAID?" Denken Sie daran, dass jedes System irgendwo einen Engpass hat. In diesem Fall können wir die CPU ziemlich leicht sättigen, so dass die x86 im Server zum limitierenden Faktor wird. Wenn wir über eine Cluster-Lösung sprechen, dann werden wir auch das Netzwerk belasten. Eine Handvoll SSDs kann leicht 200 GbE oder sogar 400 GbE füllen. Da die SSD-Kapazitäten jetzt über 30,72 TB liegen, besteht weniger Bedarf an einem Server voller Laufwerke für Kapazitätsprobleme des Systems.

Wenn Sie unseren Testbericht über die Broadcom 9600 Series RAID-Karte gelesen haben, waren wir anfangs ziemlich skeptisch, dass das neue Silizium tatsächlich alle Vorteile von HWRAID in Bezug auf Datenresilienz und Rebuild bieten würde, ohne das NVMe SSD-Leistungsprofil zu beeinträchtigen. Wir waren von den Ergebnissen in diesem Test angenehm überrascht und umso mehr hier, da PERC 12 im R760 verdoppelt werden kann, um doppelt so viel Spitzenleistung zu erzielen. Während Dell Direct Drives in vielen Anwendungsfällen, wie z. B. Software-Defined Storage, immer noch bevorzugt werden mag, sollte die PERC 12 Option für die meisten Enterprise-Anwendungsfälle äußerst beliebt sein.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-Mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Geschäftsschwerpunkte:
ICT-Produktvertrieb/Systemintegration & Services/Infrastrukturlösungen
Mit über 20 Jahren Erfahrung im IT-Vertrieb arbeiten wir mit führenden globalen Marken zusammen, um zuverlässige Produkte und professionelle Dienstleistungen zu liefern.
"Technologie nutzen, um eine intelligente Welt aufzubauen" Ihr vertrauenswürdiger ICT-Produkt-Dienstleister!