NVMe sobre TCP vs iSCSI: A Evolução do Armazenamento em Rede

TLDR: Em uma comparação direta entre NVMe sobre TCP e iSCSI, vemos que o NVMe sobre TCP supera o iSCSI em todas as categorias, com melhorias de até 50% nos IOPS (e mais) e melhorias de latência de até 34%.

Quando os dados crescem, o armazenamento também precisa crescer. É aí que entram os sistemas SAN (Storage Area Network) conectados remotamente. Até agora, esses sistemas eram comumente conectados por meio de um dos três protocolos: Fibre Channel, Infiniband ou iSCSI. No entanto, o último está no lado “inferior” das opções, sem a necessidade de hardware especializado para operar. O NVMe over Fabrics (NVMe-oF), e especificamente NVMe sobre TCP (NVMe/TCP) como sucessor do iSCSI, está crescendo para substituir esses protocolos legados e trazer melhorias imediatas em latência, throughput e IOPS.

iSCSI: A Rápida Lição de História

iSCSI é um protocolo que conecta soluções de armazenamento remoto (geralmente aparelhos de armazenamento em hardware) aos clientes de armazenamento. Estes últimos são tipicamente servidores sem (ou com armazenamento local mínimo), bem como máquinas virtuais. Nos últimos anos, também vimos o iSCSI sendo usado como backend para armazenamento de containers.

iSCSI significa Internet Small Computer Storage Interface e encapsula os comandos padrão do SCSI dentro dos pacotes TCP/IP. Isso significa que o iSCSI funciona sobre redes Ethernet comuns, eliminando a necessidade de hardware especializado, como placas de rede (NICs) e switches.

O padrão iSCSI foi lançado no início dos anos 2000. Um mundo bem diferente do de hoje. Você se lembra de como um telefone era em 2000?

Dito isso, embora houvesse acesso aos primeiros sistemas baseados em flash, os preços ainda eram exorbitantes, e os sistemas de armazenamento eram projetados com discos giratórios em mente. Lembre-se disso. Voltaremos a isso mais tarde.

O que é o SCSI?

SCSI, ou, como você deve ter adivinhado, Small Computer Storage Interface, é um conjunto de padrões para conectar e transferir dados entre computadores e dispositivos periféricos. Originalmente desenvolvido na década de 1980, o SCSI foi uma tecnologia fundamental para interfaces de armazenamento de dados, suportando vários tipos de dispositivos, principalmente discos rígidos, unidades ópticas e scanners.

Embora o SCSI tenha continuado a melhorar e adicionar novos comandos para tecnologias como o NVMe, a base ainda é enraizada no início dos anos 1980. No entanto, muitos padrões ainda utilizam o conjunto de comandos SCSI, como o SATA (para computadores domésticos), SAS (para servidores) e iSCSI.

O que é o NVMe?

Non-Volatile Memory Express (NVMe) é uma interface de armazenamento moderna baseada em PCI Express (PCI-e). Com a especificação original datando de 2011, o NVMe foi projetado especificamente para unidades de estado sólido (SSDs) conectadas via barramento PCIe. Portanto, os dispositivos NVMe são conectados diretamente à CPU e a outros dispositivos no barramento para aumentar o throughput e reduzir a latência. O NVMe reduz drasticamente a latência e aumenta as operações de entrada/saída por segundo (IOPS) em comparação com interfaces de armazenamento tradicionais.

Como parte do padrão NVMe, especificações adicionais são desenvolvidas, como a especificação de transporte, que define como os comandos NVMe são transportados (por exemplo, através do barramento PCI Express, mas também protocolos de rede como TCP/IP).

A Diferença Fundamental entre Discos Rígidos e NVMe

Os discos rígidos tradicionais (HDDs) dependem de pratos giratórios físicos e cabeçotes de leitura/gravação móveis para escrever ou acessar dados. Quando os dados são solicitados, o componente mecânico precisa ser fisicamente posicionado na localização correta do conjunto de pratos, resultando em latências de acesso significativas, variando de 10 a 14 milissegundos.

O armazenamento flash, incluindo dispositivos NVMe, elimina as partes mecânicas, utilizando chips NAND flash. O NAND armazena dados eletronicamente e alcança latências de acesso tão baixas quanto 20 microssegundos (e até menores em equipamentos de altíssimo desempenho). Isso os torna 100 vezes mais rápidos que seus equivalentes HDD.

Por um longo tempo, o armazenamento flash tinha a desvantagem massiva de capacidade de armazenamento limitada. No entanto, essa desvantagem está desaparecendo lentamente, com as empresas introduzindo dispositivos de maior capacidade. Por exemplo, a Toshiba acabou de anunciar um dispositivo de armazenamento flash de 180 TB.

O custo, o segundo grande inconveniente, também continua caindo com os avanços no desenvolvimento e na produção. Tecnologias como o QLC NAND oferecem uma densidade de armazenamento incrível por um preço acessível.

De qualquer forma, por que estou mencionando o princípio de armazenamento mecânico versus eletrônico? A razão é simples: a latência de acesso. O SCSI e o iSCSI nunca foram projetados para dispositivos com latência de acesso super baixa porque eles não existiam na época de seu desenvolvimento. E, embora alguns ajustes tenham sido feitos no protocolo ao longo dos anos, seu design fundamental está desatualizado e não pode ser alterado por questões de compatibilidade retroativa.

NVMe sobre Fabrics: Armazenamento Flash na Rede

NVMe sobre Fabrics (também conhecido como NVMe-oF) é uma extensão da especificação base do NVMe. Ele permite que o armazenamento NVMe seja acessado através de uma rede fabric, mantendo as características de baixo atraso e alto desempenho dos dispositivos NVMe locais.

NVMe sobre Fabrics é, por si só, uma coleção de várias subespecificações, definindo múltiplos protocolos da camada de transporte.

• NVMe sobre TCP: NVMe/TCP utiliza o protocolo padrão da internet TCP/IP. Ele é implantado em redes Ethernet comuns e pode rodar paralelamente ao tráfego de rede existente. Isso faz do NVMe sobre TCP o sucessor moderno do iSCSI, assumindo onde o iSCSI parou. Portanto, NVMe sobre TCP é a solução perfeita para soluções de armazenamento baseadas em nuvem pública, que tipicamente oferecem apenas redes TCP/IP.
• NVMe sobre Fibre Channel: NVMe/FC se baseia na infraestrutura existente de rede Fibre Channel. Ele transmite comandos NVMe através de pacotes Fibre Channel e permite reutilizar o hardware Fibre Channel disponível. Eu não recomendaria para novas implementações devido ao alto custo de entrada dos equipamentos Fibre Channel.
• NVMe sobre Infiniband: Assim como o NVMe sobre Fibre Channel, o NVMe/IB utiliza redes Infiniband existentes para transmitir o protocolo NVMe. Se você já possui equipamentos Infiniband, o NVMe sobre Infiniband pode ser a solução para você. Para novas implementações, o custo inicial de entrada é muito alto.
• NVMe sobre RoCE: NVMe sobre Ethernet Convergente (RoCE) é uma camada de transporte que utiliza uma infraestrutura Ethernet para acesso direto remoto à memória (RDMA). Para usar NVMe sobre RoCE, você precisa de NICs compatíveis com RDMA. O RoCE possui duas versões: RoCEv1, que é um protocolo de camada 2 e não roteável, e RoCEv2, que utiliza UDP/IP e pode ser roteado através de redes complexas. O NVMe sobre RoCE não escala tão facilmente quanto o NVMe sobre TCP, mas oferece latências ainda mais baixas.

NVMe sobre TCP vs iSCSI: A Comparação

Ao comparar NVMe sobre TCP com iSCSI, vemos melhorias consideráveis em todas as três principais métricas: latência, largura de banda e IOPS.

A equipe da Blockbridge realizou uma comparação extensiva entre as duas tecnologias, mostrando que o NVMe sobre TCP superou o iSCSI, independentemente do benchmark.

Vou apresentar os benchmarks mais críticos aqui, mas recomendo que você leia o artigo completo do benchmark logo após terminar aqui.

De qualquer forma, vamos mergulhar um pouco mais nos fatos reais do benchmark entre NVMe sobre TCP e iSCSI.

Nota do Editor: Nosso Advocato de Desenvolvedores, Chris Engelbert, fez uma palestra recentemente no SREcon em Dublin, falando sobre o desempenho entre NVMe sobre TCP e iSCSI, o que levou a este post do blog. Encontre a apresentação NVMe/TCP faz o iSCSI parecer Fortran.

Benchmarking de Armazenamento em Rede

Avaliar o desempenho do armazenamento envolve a comparação de quatro principais indicadores de desempenho.

1. IOPS: Número de operações de entrada/saída processadas por segundo
2. Latência: Tempo necessário para completar uma única operação de entrada/saída
3. Largura de banda: Total de dados transferidos por unidade de tempo
4. Sobrecarregamento do protocolo: Processamento adicional necessário pelo protocolo de comunicação

Nota do editor: Para latência, largura de banda e IOPS, temos um post de blog exaustivo que aborda mais profundamente as necessidades, suas relações e como calculá-las.

Testes de desempenho completos envolvem cargas de trabalho simuladas que refletem cenários do mundo real. Para simplificar esse processo, benchmarks utilizam ferramentas como o FIO (Flexible I/O Tester) para gerar dados e resultados de teste consistentes e reprodutíveis em diferentes configurações e sistemas de armazenamento.

Melhorias de IOPS do NVMe sobre TCP vs iSCSI

Ao rodar aplicativos intensivos em IOPS, o número de IOPS disponíveis em um sistema de armazenamento é crítico. Aplicativos intensivos em IOPS incluem sistemas como bancos de dados, plataformas de análise, servidores de ativos e soluções similares.

Melhorar o IOPS trocando o protocolo de rede de armazenamento é uma vitória imediata para o banco de dados e para nós.

Usar NVMe sobre TCP em vez de iSCSI mostra um aumento dramático no IOPS, especialmente para tamanhos de bloco menores. Com um tamanho de bloco de 512 bytes, a Blockbridge encontrou um aumento médio de 35,4% no IOPS. Com um tamanho de bloco mais comum de 4KiB, o aumento médio foi de 34,8%.

Isso significa que o mesmo hardware pode fornecer mais de um terço a mais de IOPS usando NVMe sobre TCP em comparação com iSCSI, sem custo adicional.

Melhorias de Latência do NVMe sobre TCP vs iSCSI

Enquanto casos de uso que exigem muitas IOPS, como eventos de compactação em bancos de dados (Cassandra), se beneficiam do imenso aumento de IOPS, aplicativos sensíveis à latência adoram latências de acesso baixas. A latência é o principal fator que leva as pessoas a escolherem armazenamento local NVMe em vez de armazenamento remotamente conectado, mesmo cientes de várias desvantagens.

Aplicativos sensíveis à latência variam desde sistemas de negociação de alta frequência, onde milissegundos são medidos em dinheiro real, até sistemas de telecomunicações, onde a latência pode causar problemas com a sincronização do sistema, até soluções de cibersegurança e detecção de ameaças que precisam reagir o mais rápido possível.

Portanto, diminuir a latência é um benefício significativo para muitas indústrias e soluções. Além disso, uma latência de acesso mais baixa sempre acelera o acesso aos dados, mesmo que seu sistema não seja necessariamente sensível à latência. Você sentirá a diferença.

A Blockbridge encontrou o maior benefício na redução da latência de acesso com um tamanho de bloco de 16KiB e uma profundidade de fila de 128 (o que pode ser facilmente atingido por soluções que exigem I/O). A latência média para iSCSI foi de 5.871μs, enquanto o NVMe sobre TCP foi de 5.089μs. Uma diminuição de 782μs (~25%) na latência de acesso — apenas trocando o protocolo de armazenamento.

Melhoria de Largura de Banda do NVMe sobre TCP vs iSCSI

Como o terceiro principal indicador de desempenho de armazenamento, a largura de banda descreve quanto de dados é efetivamente transferido do disco para a carga de trabalho.

A largura de banda é o fator principal para aplicativos como codificação de vídeo ou plataformas de streaming, grandes sistemas analíticos e servidores de jogos transmitindo mundos massivos para a memória. Além disso, existem também armazenamento de séries temporais, lagos de dados e bancos de dados históricos.

Sistemas que exigem alta largura de banda se beneficiam de maior largura de banda para realizar o “trabalho mais rápido”. Muitas vezes, aumentar a largura de banda não é fácil. Você está limitado pela largura de banda fornecida pelo disco ou, no caso de um sistema conectado à rede, pela largura de banda da rede. Para alcançar alta largura de banda e capacidade, o armazenamento de rede remoto utiliza redes de alta largura de banda ou sistemas de redes especializados, como Fibre Channel ou Infiniband.

A Blockbridge executou seus testes em uma placa de rede dual-port de 100Gbit/s, limitada pelo barramento PCI Express x16 Gen3 a uma largura de banda máxima de cerca de 126Gbit/s. Os padrões mais recentes de PCIe alcançam larguras de banda muito mais altas. Assim, os dispositivos NVMe e NICs não são mais limitados pelo fator “limitante” do barramento PCIe.

Com um tamanho de bloco de 16KiB e uma profundidade de fila de 32, o benchmark deles mostrou um aumento impressionante de 2,3GB/s de desempenho no NVMe sobre TCP em comparação com o iSCSI. A largura de banda aumentou de 10,387GBit/s no iSCSI para 12,665GBit/s, um fácil aumento de 20% — novamente, usando o mesmo hardware. Assim, você economiza dinheiro.

A Forte Argumentação para o NVMe sobre TCP

Vimos que o NVMe sobre TCP apresenta vantagens significativas de desempenho em relação ao iSCSI em todas as três principais métricas de desempenho de armazenamento. No entanto, há mais vantagens do NVMe sobre TCP em comparação com o iSCSI.

• Ethernet Padrão: A maior vantagem do NVMe sobre TCP é sua capacidade de operar sobre redes Ethernet padrão. Ao contrário de tecnologias de rede especializadas (Infiniband, Fibre Channel), o NVMe/TCP não exige investimentos em hardware adicional ou configurações complexas, tornando-o notavelmente acessível para organizações de todos os tamanhos.
• Características de Desempenho: O NVMe sobre TCP oferece desempenho excepcional ao minimizar a sobrecarga do protocolo e aproveitar a eficiência do design do NVMe. Ele pode alcançar latências comparáveis ao armazenamento local, enquanto oferece a flexibilidade de recursos conectados à rede. Implementações modernas podem sustentar taxas de largura de banda que superam os protocolos de armazenamento tradicionais por margens significativas.
• Facilidade de Implantação: O NVMe sobre TCP integra-se perfeitamente com Linux e Windows (Server 2025 e versões posteriores), já que os drivers necessários fazem parte do kernel. Isso torna o NVMe/TCP fácil de implementar e gerenciar. A compatibilidade sem costura reduz a curva de aprendizado e os desafios de integração normalmente associados a novas tecnologias de armazenamento.

Escolhendo Entre NVMe sobre TCP e iSCSI

Decidir entre duas tecnologias nem sempre é fácil. Mas não é tão difícil no caso do NVMe sobre TCP vs iSCSI. Os casos de uso para a implantação de novo iSCSI são bastante escassos. Do meu ponto de vista, o único caso de uso válido é a integração de sistemas legados preexistentes que ainda não suportam NVMe sobre TCP.

É por isso que o Simplyblock, como uma solução focada no NVMe sobre TCP, ainda oferece iSCSI, caso você realmente precise. Nós o oferecemos exatamente por esse motivo: as migrações não acontecem da noite para o dia. Ainda assim, você quer aproveitar os benefícios das tecnologias mais recentes, como o NVMe sobre TCP, sempre que possível. Com o Simplyblock, volumes lógicos podem ser facilmente provisionados como dispositivos NVMe sobre TCP ou iSCSI. Você pode até mesmo fazer a transição do iSCSI para o NVMe sobre TCP posteriormente.

Em qualquer caso, você deve optar pelo NVMe sobre TCP quando:

• Você opera em ambientes de computação de alto desempenho
• Você tem data centers modernos com largura de banda significativa
• Você implanta cargas de trabalho que exigem acesso a armazenamento de baixa latência, alta IOPS ou throughput
• Você se encontra em cenários que exigem soluções de armazenamento escaláveis e flexíveis
• Você está em qualquer outra situação onde precise de armazenamento remotamente anexado

Você deve permanecer no iSCSI (ou migrar lentamente) quando:

• Você possui infraestrutura legada com caminhos de atualização limitados

Veja, não há muitas razões. Dado isso, é apenas uma questão de selecionar sua nova solução de armazenamento. Pessoalmente, hoje em dia, eu sempre recomendaria soluções de armazenamento definidas por software, como o simplyblock, mas sou tendencioso. De qualquer forma, uma SDS oferece o melhor de dois mundos: hardware de armazenamento comum (com a opção de investir totalmente em seu servidor de armazenamento de 96 baias) e desempenho.

Simplyblock: Abraçando a Versatilidade

O Simplyblock demonstra um design de armazenamento visionário, oferecendo suporte tanto para NVMe sobre TCP quanto para iSCSI, proporcionando aos clientes o melhor desempenho quando disponível e a chance de migrar lentamente no caso de clientes legados existentes.

Além disso, o simplyblock oferece recursos conhecidos dos sistemas de armazenamento SAN tradicionais ou “sistemas de arquivos” como o ZFS. Isso inclui um backend completo de cópia sob gravação com snapshots e clones instantâneos. Inclui replicação síncrona e assíncrona entre clusters de armazenamento. Por fim, o simplyblock é sua solução de armazenamento moderna, fornecendo armazenamento para hosts dedicados, máquinas virtuais e contêineres. Independentemente do cliente, o simplyblock oferece a integração mais fluida com seus ambientes existentes e futuros.

O Futuro do NVMe sobre TCP

À medida que a computação empresarial e em nuvem continua a evoluir, o NVMe sobre TCP se destaca como a tecnologia preferida para armazenamento remotamente anexado. Em primeiro lugar, ele combina simplicidade, desempenho e ampla compatibilidade. Em segundo lugar, oferece uma solução escalável e eficiente em termos de custo, utilizando equipamentos de rede comuns.

O desenvolvimento contínuo do protocolo (última atualização da especificação em maio de 2024) e a adoção crescente mostram melhorias contínuas na eficiência, redução de latência e aumento da escalabilidade.

O NVMe sobre TCP representa um avanço significativo na tecnologia de rede de armazenamento. Além disso, combinar o desempenho bruto do NVMe com a ubiquidade das redes Ethernet oferece uma solução atraente para ambientes de computação modernos. Embora o iSCSI continue relevante para casos de uso específicos e durante as fases de migração, o NVMe sobre TCP representa o futuro e deve ser adotado o mais rápido possível.

Nós, do simplyblock, estamos felizes em fazer parte deste passo importante na história do armazenamento.

Perguntas e Respostas

Topics

Share blog post