NVMe over TCP vs iSCSI: Evolution des Netzwerk Speichers

TLDR: In einem direkten Vergleich von NVMe over TCP vs. iSCSI zeigt sich, dass NVMe over TCP iSCSI in allen Kategorien übertrifft – mit IOPS-Steigerungen von bis zu 50 % (und mehr) sowie Latenzverbesserungen von bis zu 34 %.

Wenn Daten wachsen, muss auch der Speicher mitwachsen. Genau hier kommen extern angebundene SAN- (Storage Area Network) Systeme ins Spiel. Bisher wurden diese üblicherweise über eines von drei Protokollen angebunden: Fibre Channel, Infiniband oder iSCSI. Letzteres stellt dabei die „Low-End“-Variante dar, da es keine spezielle Hardware für den Betrieb erfordert. NMVe over Fabrics (NVMe-oF) und insbesondere NVMe over TCP (NVMe/TCP) als Nachfolger von iSCSI sind auf dem Vormarsch, um diese veralteten Protokolle abzulösen und sofortige Verbesserungen in Latenz, Durchsatz und IOPS zu bringen.

iSCSI: Die kurze Geschichtsstunde

iSCSI ist ein Protokoll, das entfernte Speicherlösungen (häufig Hardware-Speichergeräte) mit Speicher-Clients verbindet. Letztere sind typischerweise Server ohne (oder mit minimalem) lokalem Speicher sowie virtuelle Maschinen. In den letzten Jahren wurde iSCSI auch als Backend für Container-Speicherlösungen genutzt.

iSCSI steht für Internet Small Computer Storage Interface und kapselt die standardisierten SCSI-Befehle in TCP/IP-Pakete. Das bedeutet, dass iSCSI über herkömmliche Ethernet-Netzwerke funktioniert und somit keine spezielle Hardware wie Netzwerkkarten (NICs) oder Switches erforderlich sind.

Der iSCSI-Standard wurde erstmals Anfang der 2000er-Jahre veröffentlicht – eine Welt, die sich stark von der heutigen unterschied. Erinnern Sie sich noch daran, wie ein Telefon im Jahr 2000 aussah?

Damals gab es zwar bereits erste Flash-basierte Systeme, doch die Preise waren noch astronomisch, und Speicherlösungen wurden vor allem mit rotierenden Festplatten konzipiert. Merken Sie sich das – wir kommen später darauf zurück.

Was ist SCSI?

SCSI, oder – genau, das Small Computer Storage Interface, ist eine Reihe von Standards zur Verbindung und Datenübertragung zwischen Computern und Peripheriegeräten. Ursprünglich in den 1980er-Jahren entwickelt, war SCSI eine grundlegende Technologie für Datenschnittstellen und unterstützte verschiedene Gerätetypen, insbesondere Festplatten, optische Laufwerke und Scanner.

Während SCSI sich kontinuierlich weiterentwickelt hat und neue Befehle für Technologien wie NVMe hinzugefügt wurden, basiert das Fundament noch immer auf den frühen 1980er-Jahren. Dennoch verwenden viele aktuelle Standards weiterhin das SCSI-Befehlssatz, darunter SATA (Heimcomputer), SAS (Server) und iSCSI.

Was ist NVMe?

Non-Volatile Memory Express (NVMe) ist eine moderne, auf PCI Express (PCI-e) basierende Speicher-Schnittstelle. Mit der ursprünglichen Spezifikation aus dem Jahr 2011 wurde NVMe speziell für Solid-State-Drives (SSDs) entwickelt, die über den PCIe-Bus verbunden sind. Daher sind NVMe-Geräte direkt mit der CPU und anderen Geräten auf dem Bus verbunden, um den Durchsatz zu erhöhen und die Latenz zu minimieren. NVMe reduziert die Latenz drastisch und erhöht die Ein-/Ausgabe-Operationen pro Sekunde (IOPS) im Vergleich zu herkömmlichen Speicher-Schnittstellen.

Als Teil des NVMe-Standards wurden zusätzliche Spezifikationen entwickelt, darunter die Transport-Spezifikation, die definiert, wie NVMe-Befehle übertragen werden (z. B. über den PCI Express-Bus, aber auch über Netzwerkprotokolle wie TCP/IP).

Der grundlegende Unterschied zwischen rotierenden Festplatten und NVMe

Traditionelle rotierende Festplattenlaufwerke (HDDs) basieren auf physisch drehenden Platten und beweglichen Lese-/Schreibköpfen, um Daten zu schreiben oder darauf zuzugreifen. Wenn Daten angefordert werden, muss die mechanische Komponente physisch an die richtige Position des Plattenstapels bewegt werden, was zu erheblichen Zugriffsverzögerungen von 10-14 Millisekunden führt.

Flash-Speicher, einschließlich NVMe-Geräten, eliminiert die mechanischen Teile und nutzt stattdessen NAND-Flash-Chips. NAND speichert Daten rein elektronisch und erreicht Zugriffsverzögerungen von nur 20 Mikrosekunden (und noch weniger bei High-End-Geräten). Dadurch sind sie 100-mal schneller als ihre HDD-Pendants.

Lange Zeit hatte Flash-Speicher den großen Nachteil einer begrenzten Speicherkapazität. Doch dieser Nachteil verschwindet allmählich, da Unternehmen Geräte mit höherer Kapazität einführen. Zum Beispiel hat Toshiba kürzlich ein 180-TB-Flash-Speichergerät angekündigt.

Auch die Kosten, der zweite große Nachteil, sinken kontinuierlich durch Fortschritte in Entwicklung und Produktion. Technologien wie QLC-NAND bieten eine beeindruckende Speicherdichte zu einem erschwinglichen Preis.

Warum erwähne ich überhaupt das Prinzip des mechanischen vs. elektrischen Speichers? Der Grund ist einfach: die Zugriffsverzögerung. SCSI und iSCSI wurden nie für extrem niedrige Zugriffszeiten entwickelt, da solche Geräte zur Zeit ihrer Entwicklung schlicht nicht existierten. Und obwohl das Protokoll im Laufe der Jahre einige Anpassungen erfahren hat, ist sein grundlegendes Design veraltet und kann aus Gründen der Abwärtskompatibilität nicht geändert werden.

NVMe over Fabrics: Flash-Speicher im Netzwerk

NVMe over Fabrics (auch bekannt als NVMe-oF) ist eine Erweiterung der NVMe-Basis-Spezifikation. Sie ermöglicht den Zugriff auf NVMe-Speicher über ein Netzwerk-Fabric, während die niedrige Latenz und die hohe Leistung lokaler NVMe-Geräte erhalten bleiben.

NVMe over Fabrics selbst ist eine Sammlung mehrerer Unter-Spezifikationen, die verschiedene Transportprotokolle definieren.

• NVMe over TCP: NVMe/TCP nutzt das gängige Internet-Standardprotokoll TCP/IP. Es wird in handelsüblichen Ethernet-Netzwerken eingesetzt und kann parallel zu bestehendem Netzwerkverkehr laufen. Dadurch ist NVMe over TCP der moderne Nachfolger von iSCSI und übernimmt dort, wo iSCSI aufgehört hat. Deshalb ist NVMe over TCP die ideale Lösung für Cloud-basierte Speicherlösungen, die typischerweise nur TCP/IP-Netzwerke bereitstellen.
• NVMe over Fibre Channel: NVMe/FC baut auf dem bestehenden Fibre-Channel-Netzwerk auf. Es tunnelt NVMe-Befehle durch Fibre-Channel-Pakete und ermöglicht die Wiederverwendung vorhandener Fibre-Channel-Hardware. Aufgrund der hohen Einstiegskosten für Fibre-Channel-Geräte würde ich es für neue Implementierungen nicht empfehlen.
• NVMe over Infiniband: Ähnlich wie NVMe over Fibre Channel nutzt NVMe/IB bestehende Infiniband-Netzwerke, um das NVMe-Protokoll zu übertragen. Wenn bereits Infiniband-Hardware vorhanden ist, könnte NVMe over Infiniband eine Option sein. Für neue Implementierungen sind die hohen Einstiegskosten jedoch ein Hindernis.
• NVMe over RoCE: NVMe over Converged Ethernet ist eine Transportschicht, die ein Ethernet-Fabric für Remote Direct Memory Access (RDMA) nutzt. Um NVMe over RoCE zu verwenden, sind RDMA-fähige Netzwerkkarten (NICs) erforderlich. RoCE gibt es in zwei Versionen: RoCEv1, ein nicht routbares Layer-2-Protokoll, und RoCEv2, das UDP/IP verwendet und über komplexe Netzwerke geroutet werden kann. NVMe over RoCE skaliert nicht so einfach wie NVMe over TCP, bietet aber noch geringere Latenzen.

NVMe over TCP vs iSCSI: Der Vergleich

Beim Vergleich von NVMe over TCP vs. iSCSI sehen wir erhebliche Verbesserungen in allen drei Hauptmetriken: Latenz, Durchsatz und IOPS.

Die Experten von Blockbridge haben einen umfassenden Vergleich der beiden Technologien durchgeführt, der zeigt, dass NVMe over TCP iSCSI in jedem Benchmark übertraf.

Ich werde hier die wichtigsten Benchmark-Ergebnisse präsentieren, aber ich empfehle Ihnen, den vollständigen Benchmark-Artikel zu lesen, nachdem Sie diesen Abschnitt abgeschlossen haben.

Lassen Sie uns also etwas tiefer in die tatsächlichen Fakten des NVMe-over-TCP-vs.-iSCSI-Benchmarks eintauchen.

Hinweis der Redaktion: Unser Developer Advocate, Chris Engelbert, hielt kürzlich einen Vortrag auf der SREcon in Dublin über die Leistung von NVMe over TCP im Vergleich zu iSCSI, der zu diesem Blogbeitrag führte. Die vollständige Präsentation „NVMe/TCP macht iSCSI wie Fortran aussehen“ finden Sie hier.

Benchmarking von Netzwerkspeicher

Die Bewertung der Speicherleistung basiert auf vier Hauptleistungsindikatoren.

1. IOPS: Anzahl der Ein-/Ausgabeoperationen pro Sekunde
2. Latenz: Zeit, die benötigt wird, um eine einzelne Ein-/Ausgabeoperation abzuschließen
3. Durchsatz: Gesamte übertragene Datenmenge pro Zeiteinheit
4. Protokoll-Overhead: Zusätzlicher Verarbeitungsaufwand durch das Kommunikationsprotokoll

Hinweis der Redaktion: Für Latenz, Durchsatz und IOPS haben wir einen ausführlichen Blogbeitrag, der tiefer auf die Notwendigkeiten, ihre Zusammenhänge und die Berechnung eingeht.

Umfassende Leistungstests beinhalten simulierte Workloads, die reale Szenarien widerspiegeln. Zur Vereinfachung dieses Prozesses verwenden Benchmarks Tools wie FIO (Flexible I/O Tester), um konsistente, reproduzierbare Testdaten und Ergebnisse über verschiedene Speicherarchitekturen und Systeme hinweg zu generieren.

IOPS-Verbesserungen von NVMe over TCP vs. iSCSI

Bei IOPS-intensiven Anwendungen ist die Anzahl der verfügbaren IOPS in einem Speichersystem entscheidend. IOPS-intensive Anwendungen sind beispielsweise Datenbanksysteme, Analyseplattformen, Asset-Server und ähnliche Lösungen.

Die Verbesserung der IOPS durch den Austausch des Speicher-Netzwerkprotokolls ist ein sofortiger Gewinn für die Datenbank und uns.

Der Einsatz von NVMe over TCP anstelle von iSCSI zeigt eine deutliche Steigerung der IOPS, insbesondere bei kleineren Blockgrößen. Bei einer Blockgröße von 512 Bytes stellte Blockbridge eine durchschnittliche IOPS-Steigerung von 35,4 % fest. Bei der gängigeren Blockgröße von 4KiB lag die durchschnittliche Steigerung bei 34,8 %.

Das bedeutet, dass dieselbe Hardware mit NVMe over TCP im Vergleich zu iSCSI über ein Drittel mehr IOPS liefern kann – ohne zusätzliche Kosten.

Latenzverbesserungen von NVMe over TCP vs. iSCSI

Während IOPS-intensive Anwendungsfälle, wie etwa Kompaktierungsereignisse in Datenbanken (z. B. Cassandra), von der enormen Steigerung der IOPS profitieren, setzen latenzempfindliche Anwendungen auf niedrige Zugriffszeiten. Latenz ist der Hauptgrund, warum viele sich trotz möglicher Nachteile für lokalen NVMe-Speicher anstelle von entfernt angebundenem Speicher entscheiden.

Latenzempfindliche Anwendungen reichen von Hochfrequenzhandelssystemen, bei denen Millisekunden harte Geldbeträge bedeuten, über Telekommunikationssysteme, bei denen Latenz Probleme mit der System-Synchronisation verursachen kann, bis hin zu Cybersecurity- und Bedrohungserkennungslösungen, die so schnell wie möglich reagieren müssen.

Daher ist die Reduzierung der Latenz ein erheblicher Vorteil für viele Branchen und Lösungen. Abgesehen davon beschleunigt eine geringere Zugriffszeit immer den Datenzugriff – selbst wenn Ihr System nicht unbedingt latenzempfindlich ist. Sie werden den Unterschied spüren.

Blockbridge stellte den größten Vorteil bei der Reduzierung der Zugriffszeit mit einer Blockgröße von 16KiB und einer Queue-Tiefe von 128 fest (ein Wert, der bei I/O-intensiven Lösungen leicht erreicht werden kann). Die durchschnittliche Latenz für iSCSI lag bei 5.871 μs, während sie bei NVMe over TCP nur 5.089 μs betrug. Eine Reduzierung der Zugriffszeit um 782 μs (~25 %) – allein durch den Austausch des Speicherprotokolls.

Durchsatzverbesserung von NVMe over TCP vs. iSCSI

Als dritte Hauptmetrik der Speicherleistung beschreibt der Durchsatz, wie viele Daten tatsächlich von der Festplatte in Ihre Workload übertragen werden.

Durchsatz ist ein entscheidender Faktor für Anwendungen wie Video-Encoding oder Streaming-Plattformen, große Analysesysteme und Spieleserver, die riesige Welten in den Arbeitsspeicher streamen. Darüber hinaus profitieren auch Zeitreihen-Speicher, Data Lakes und Historien-Datenbanken von einem hohen Durchsatz.

Durchsatzintensive Systeme profitieren von höherem Durchsatz, um „die Arbeit schneller zu erledigen“. Oft ist es jedoch nicht einfach, den Durchsatz zu erhöhen. Entweder ist man durch den von der Festplatte bereitgestellten Durchsatz begrenzt oder – im Fall eines netzwerkgebundenen Systems – durch die Netzwerkbandbreite. Um hohen Durchsatz und Kapazität zu erreichen, setzen entfernte Netzwerkspeicher auf Hochgeschwindigkeitsnetzwerke oder spezialisierte Netzwerktechnologien wie Fibre Channel oder Infiniband.

Blockbridge führte ihre Tests auf einer Dual-Port-100Gbit/s-Netzwerkkarte durch, die durch den PCI Express x16 Gen3-Bus auf eine maximale Übertragungsrate von etwa 126Gbit/s begrenzt war. Neuere PCIe-Standards ermöglichen jedoch deutlich höhere Durchsatzraten. Daher sind NVMe-Geräte und Netzwerkkarten nicht mehr durch den „limitierenden“ Faktor des PCIe-Busses eingeschränkt.

Mit einer Blockgröße von 16KiB und einer Queue-Tiefe von 32 verzeichnete ihr Benchmark eine enorme Leistungssteigerung von 2,3 GB/s bei NVMe over TCP im Vergleich zu iSCSI. Der Durchsatz stieg von 10,387 GBit/s bei iSCSI auf 12,665 GBit/s – ein einfacher Zuwachs von 20 %, und das mit derselben Hardware. So spart man Kosten.

Das überzeugende Argument für NVMe over TCP

Wir haben gesehen, dass NVMe over TCP in allen drei zentralen Speicherleistungsmetriken erhebliche Vorteile gegenüber iSCSI bietet. Dennoch gibt es noch weitere Vorteile von NVMe over TCP im Vergleich zu iSCSI.

• Standard-Ethernet: Der größte Vorteil von NVMe over TCP ist die Möglichkeit, über Standard-Ethernet-Netzwerke zu arbeiten. Im Gegensatz zu spezialisierten Netzwerktechnologien (Infiniband, Fibre Channel) erfordert NVMe/TCP keine zusätzlichen Hardware-Investitionen oder komplexe Konfigurationen, was es für Unternehmen jeder Größe äußerst zugänglich macht.
• Leistungseigenschaften: NVMe over TCP bietet außergewöhnliche Leistung, indem es den Protokoll-Overhead minimiert und die Effizienz des NVMe-Designs nutzt. Es kann Latenzen erreichen, die mit lokalem Speicher vergleichbar sind, und bietet gleichzeitig die Flexibilität netzwerkgebundener Ressourcen. Moderne Implementierungen können Durchsatzraten aufrechterhalten, die traditionelle Speicherprotokolle deutlich übertreffen.
• Einfache Bereitstellung: NVMe over TCP integriert sich nahtlos in Linux und Windows (Server 2025 und später), da die erforderlichen Treiber bereits Teil des Kernels sind. Das macht die Implementierung und Verwaltung von NVMe/TCP besonders einfach. Die nahtlose Kompatibilität reduziert die Lernkurve und die Integrationsherausforderungen, die normalerweise mit neuen Speichertechnologien verbunden sind.

Die Wahl zwischen NVMe over TCP und iSCSI

Die Entscheidung zwischen zwei Technologien ist nicht immer einfach. Im Fall von NVMe over TCP vs. iSCSI jedoch nicht allzu schwer. Die Anwendungsfälle für neue iSCSI-Implementierungen sind sehr begrenzt. Aus meiner Sicht ist der einzige gültige Anwendungsfall die Integration bestehender Altsysteme, die NVMe over TCP noch nicht unterstützen.

Deshalb bietet simplyblock als NVMe-over-TCP-First-Lösung weiterhin iSCSI an, falls Sie es wirklich benötigen. Wir stellen es genau aus dem Grund bereit, dass Migrationen nicht von heute auf morgen stattfinden. Dennoch möchten Sie die Vorteile neuerer Technologien wie NVMe over TCP überall dort nutzen, wo es möglich ist. Mit simplyblock können logische Volumes ganz einfach als NVMe-over-TCP- oder iSCSI-Geräte bereitgestellt werden. Sie können sogar später von iSCSI auf NVMe over TCP umsteigen.

In jedem Fall sollten Sie NVMe over TCP verwenden, wenn:

• Sie Hochleistungsrechenumgebungen betreiben
• Sie moderne Rechenzentren mit hoher Bandbreite haben
• Sie Workloads bereitstellen, die niedrige Latenz, hohe IOPS oder hohen Durchsatz erfordern
• Sie sich in Szenarien befinden, die skalierbare, flexible Speicherlösungen erfordern
• Sie sich in einer anderen Situation befinden, in der Sie entfernten Speicher benötigen

Sie sollten bei iSCSI bleiben (oder langsam migrieren), wenn:

• Sie über eine veraltete Infrastruktur mit begrenzten Upgrade-Möglichkeiten verfügen

Sie sehen, es gibt nicht viele Gründe dagegen. Angesichts dessen ist es nur eine Frage der Wahl Ihrer neuen Speicherlösung. Persönlich würde ich heutzutage immer softwaredefinierte Speicherlösungen wie simplyblock empfehlen – aber ich bin voreingenommen. Dennoch bietet ein SDS das Beste aus beiden Welten: handelsübliche Speicherhardware (mit der Option, auf einen 96-Bay-Speicherserver zu setzen) und hohe Leistung.

Simplyblock: Vielseitigkeit neu definiert

Simplyblock setzt auf ein zukunftsorientiertes Speicherkonzept, indem es sowohl NVMe over TCP als auch iSCSI unterstützt. Dadurch erhalten Kunden die bestmögliche Leistung, wenn verfügbar, sowie die Möglichkeit, bestehende Altsysteme schrittweise zu migrieren.

Darüber hinaus bietet simplyblock Funktionen, die aus traditionellen SAN-Speichersystemen oder „Dateisystemen“ wie ZFS bekannt sind. Dazu gehört ein vollständiges Copy-on-Write-Backend mit sofortigen Snapshots und Klonen sowie synchrone und asynchrone Replikation zwischen Speicherclustern. Simplyblock ist Ihre moderne Speicherlösung – für dedizierte Hosts, virtuelle Maschinen und Container. Unabhängig vom Client ermöglicht simplyblock eine nahtlose Integration in bestehende und zukünftige Umgebungen.

Die Zukunft von NVMe over TCP

Da sich Unternehmens- und Cloud-Computing weiterentwickeln, etabliert sich NVMe over TCP als bevorzugte Technologie für entfernte Speicherlösungen. Erstens kombiniert es Einfachheit, Leistung und breite Kompatibilität. Zweitens bietet es eine kosteneffiziente und skalierbare Lösung unter Nutzung handelsüblicher Netzwerkinfrastruktur.

Die kontinuierliche Weiterentwicklung des Protokolls (letzte Spezifikationsaktualisierung Mai 2024) und die steigende Akzeptanz zeigen stetige Verbesserungen in Effizienz, geringerer Latenz und höherer Skalierbarkeit.

NVMe over TCP stellt einen bedeutenden Fortschritt in der Speicher-Netzwerktechnologie dar. Die Kombination aus der hohen Leistung von NVMe und der weit verbreiteten Ethernet-Netzwerkinfrastruktur bietet eine überzeugende Lösung für moderne IT-Umgebungen. Während iSCSI für bestimmte Anwendungsfälle und Übergangsphasen weiterhin relevant bleibt, ist NVMe over TCP die Zukunft – und sollte so schnell wie möglich übernommen werden.

Wir bei simplyblock sind stolz darauf, Teil dieses wichtigen Schrittes in der Geschichte der Speichertechnologie zu sein.

Fragen und Antworten

Topics

Share blog post