Adaptador de Rede do Microsoft Azure (MANA) e DPDK no Linux

Artigo
07/03/2024

O Adaptador de Rede do Microsoft Azure (MANA) é um novo hardware para máquinas virtuais do Azure para permitir maior taxa de transferência e confiabilidade. Para fazer uso do MANA, os usuários devem modificar suas rotinas de inicialização do DPDK. O MANA requer duas alterações em comparação com o hardware legado:

Os argumentos MANA EAL para o driver de modo de pesquisa (PMD) diferem do hardware anterior.
O kernel Linux deve liberar o controle das interfaces de rede MANA antes do início da inicialização do DPDK.

O procedimento de configuração para MANA DPDK é descrito no código de exemplo..

Introdução

As VMs Linux herdadas do Azure dependem dos drivers mlx4 ou mlx5 e do hardware que as acompanha para uma rede acelerada. Os usuários do Azure DPDK selecionariam interfaces específicas para incluir ou excluir passando endereços de barramento para o EAL do DPDK. O procedimento de configuração para MANA DPDK difere ligeiramente, uma vez que a suposição de um endereço de barramento por interface de rede acelerada não é mais verdadeira. Em vez de usar um endereço de barramento PCI, o MANA PMD usa o endereço MAC para determinar a qual interface ele deve se ligar.

MANA DPDK EAL Argumentos

O MANA PMD sonda todos os dispositivos e portas do sistema quando nenhum --vdev argumento está presente, o --vdev argumento não é obrigatório. Em ambientes de teste, geralmente é desejável deixar uma interface (primária) disponível para a manutenção da conexão SSH com a VM. Para usar DPDK com um subconjunto dos VFs disponíveis, os usuários devem passar o endereço de barramento do dispositivo MANA e o endereço MAC das interfaces no --vdev argumento. Para obter mais detalhes, o código de exemplo está disponível para demonstrar a inicialização do DPDK EAL no MANA.

Para obter informações gerais sobre o DPDK Environment Abstraction Layer (EAL):

Requisitos DPDK para MANA

A utilização do DPDK no hardware MANA requer o kernel Linux 6.2 ou posterior ou um backport dos drivers Ethernet e InfiniBand do kernel Linux mais recente. Ele também requer versões específicas do DPDK e drivers de espaço do usuário.

MANA DPDK requer o seguinte conjunto de drivers:

Driver Ethernet do kernel Linux (kernel 5.15 e posterior)
Driver InfiniBand do kernel Linux (kernel 6.2 e posterior)
Driver de modo de pesquisa DPDK MANA (DPDK 22.11 e posterior)
Drivers de espaço de usuário Libmana (rdma-core v44 e posterior)

Imagens do Marketplace suportadas

Uma lista não exaustiva de imagens com patches backported para DPDK com MANA:

Red Hat Enterprise Linux 8.9
Red Hat Enterprise Linux 9.4
Canônico Ubuntu Server 20.04 (5.15.0-1045-azure)
Canonical Ubuntu Server 22.04 (5.15.0-1045-azure)

Nota

MANA DPDK não está disponível para Windows; ele só funcionará em VMs Linux.

Exemplo: Verifique se há MANA

Nota

Este artigo pressupõe que o pacote pciutils que contém o comando lspci está instalado no sistema.

# check for pci devices with ID:
#   vendor: Microsoft Corporation (1414)
#   class:  Ethernet Controller (0200)
#   device: Microsft Azure Network Adapter VF (00ba)
if [[ -n `lspci -d 1414:00ba:0200` ]]; then
    echo "MANA device is available."
else
    echo "MANA was not detected."
fi

Exemplo: instalação DPDK (Ubuntu 22.04)

Nota

Este artigo pressupõe que o kernel compatível e o rdma-core estão instalados no sistema.

DEBIAN_FRONTEND=noninteractive sudo apt-get install -q -y build-essential libudev-dev libnl-3-dev libnl-route-3-dev ninja-build libssl-dev libelf-dev python3-pip meson libnuma-dev

pip3 install pyelftools

# Try latest LTS DPDK, example uses DPDK tag v23.07-rc3
git clone https://github.com/DPDK/dpdk.git -b v23.07-rc3 --depth 1
pushd dpdk
meson build
cd build
ninja
sudo ninja install
popd

Exemplo: Configuração do Testpmd e teste netvsc

Observe o código de exemplo a seguir para executar DPDK com MANA. A configuração 'netvsc' direto para vf no Azure é recomendada para obter o máximo desempenho com o MANA.

Nota

O DPDK requer 2MB ou 1GB de páginas enormes para ser ativado. O exemplo pressupõe uma VM do Azure com 2 NICs de rede acelerada anexadas.

# Enable 2MB hugepages.
echo 1024 | tee /sys/devices/system/node/node*/hugepages/hugepages-2048kB/nr_hugepages

# Assuming use of eth1 for DPDK in this demo
PRIMARY="eth1"

# $ ip -br link show master eth1 
# > enP30832p0s0     UP             f0:0d:3a:ec:b4:0a <... # truncated
# grab interface name for device bound to primary
SECONDARY="`ip -br link show master $PRIMARY | awk '{ print $1 }'`"
# Get mac address for MANA interface (should match primary)
MANA_MAC="`ip -br link show master $PRIMARY | awk '{ print $3 }'`"


# $ ethtool -i enP30832p0s0 | grep bus-info
# > bus-info: 7870:00:00.0
# get MANA device bus info to pass to DPDK
BUS_INFO="`ethtool -i $SECONDARY | grep bus-info | awk '{ print $2 }'`"

# Set MANA interfaces DOWN before starting DPDK
ip link set $PRIMARY down
ip link set $SECONDARY down


## Move synthetic channel to user mode and allow it to be used by NETVSC PMD in DPDK
DEV_UUID=$(basename $(readlink /sys/class/net/$PRIMARY/device))
NET_UUID="f8615163-df3e-46c5-913f-f2d2f965ed0e"
modprobe uio_hv_generic
echo $NET_UUID > /sys/bus/vmbus/drivers/uio_hv_generic/new_id
echo $DEV_UUID > /sys/bus/vmbus/drivers/hv_netvsc/unbind
echo $DEV_UUID > /sys/bus/vmbus/drivers/uio_hv_generic/bind

# MANA single queue test
dpdk-testpmd -l 1-3 --vdev="$BUS_INFO,mac=$MANA_MAC" -- --forward-mode=txonly --auto-start --txd=128 --rxd=128 --stats 2

# MANA multiple queue test (example assumes > 9 cores)
dpdk-testpmd -l 1-6 --vdev="$BUS_INFO,mac=$MANA_MAC" -- --forward-mode=txonly --auto-start --nb-cores=4  --txd=128 --rxd=128 --txq=8 --rxq=8 --stats 2

Resolução de Problemas

Falha ao definir a interface para baixo.

A falha ao definir o dispositivo vinculado MANA para DOWN pode resultar em baixa ou zero taxa de transferência de pacotes. A falha ao liberar o dispositivo pode resultar na mensagem de erro EAL relacionada às filas de transmissão.

mana_start_tx_queues(): Failed to create qp queue index 0
mana_dev_start(): failed to start tx queues -19

Falha ao ativar páginas enormes.

Tente ativar páginas enormes e garantir que as informações estejam visíveis no meminfo.

EAL: No free 2048 kB hugepages reported on node 0
EAL: FATAL: Cannot get hugepage information.
EAL: Cannot get hugepage information.
EAL: Error - exiting with code: 1
Cause: Cannot init EAL: Permission denied

Baixo rendimento com o uso de `--vdev="net_vdev_netvsc0,iface=eth1"`

A configuração de failover dos drivers ou net_failsafe net_vdev_netvsc poll-mode-drivers não é recomendada para alto desempenho no Azure. A configuração netvsc com DPDK versão 20.11 ou superior pode dar melhores resultados. Para um desempenho ideal, certifique-se de que seus pacotes de kernel Linux, rdma-core e DPDK atendam aos requisitos listados para DPDK e MANA.

Incompatibilidade de versão para rdma-core

Incompatibilidades no rdma-core e no kernel linux podem ocorrer a qualquer momento; geralmente ocorrem quando um usuário está construindo alguma combinação de rdma-core, DPDK e o kernel linux a partir do código-fonte. Esse tipo de incompatibilidade de versão pode causar uma falha na sonda da função virtual MANA (VF).

EAL: Probe PCI driver: net_mana (1414:ba) device: 7870:00:00.0 (socket 0)
mana_arg_parse_callback(): key=mac value=00:0d:3a:76:3b:d0 index=0
mana_init_once(): MP INIT PRIMARY
mana_pci_probe_mac(): Probe device name mana_0 dev_name uverbs0 ibdev_path /sys/class/infiniband/mana_0
mana_probe_port(): device located port 2 address 00:0D:3A:76:3B:D0
mana_probe_port(): ibv_alloc_parent_domain failed port 2
mana_pci_probe_mac(): Probe on IB port 2 failed -12
EAL: Requested device 7870:00:00.0 cannot be used
EAL: Bus (pci) probe failed.
hn_vf_attach(): Couldn't find port for VF
hn_vf_add(): RNDIS reports VF but device not found, retrying

Isso provavelmente resulta do uso de um kernel com patches backported para mana_ib com uma versão mais recente do rdma-core. A causa raiz é uma interação entre os drivers RDMA do kernel e as bibliotecas rdma-core do espaço do usuário.

O uapi do kernel Linux para RDMA tem uma lista de IDs de provedor RDMA, em versões backported do kernel esse valor de ID pode diferir da versão nas bibliotecas rdma-core.

{! NOTA} Trechos de exemplo são do Ubuntu 5.150-1045 linux-azure e rdma-core v46.0

// Linux kernel header
// include/uapi/rdma/ib_user_ioctl_verbs.h
enum rdma_driver_id {
	RDMA_DRIVER_UNKNOWN,
	RDMA_DRIVER_MLX5,
	RDMA_DRIVER_MLX4,
	RDMA_DRIVER_CXGB3,
	RDMA_DRIVER_CXGB4,
	RDMA_DRIVER_MTHCA,
	RDMA_DRIVER_BNXT_RE,
	RDMA_DRIVER_OCRDMA,
	RDMA_DRIVER_NES,
	RDMA_DRIVER_I40IW,
	RDMA_DRIVER_IRDMA = RDMA_DRIVER_I40IW,
	RDMA_DRIVER_VMW_PVRDMA,
	RDMA_DRIVER_QEDR,
	RDMA_DRIVER_HNS,
	RDMA_DRIVER_USNIC,
	RDMA_DRIVER_RXE,
	RDMA_DRIVER_HFI1,
	RDMA_DRIVER_QIB,
	RDMA_DRIVER_EFA,
	RDMA_DRIVER_SIW,
	RDMA_DRIVER_MANA, //<- MANA added as last member of enum after backporting
};

// Example mismatched rdma-core ioctl verbs header
// on github: kernel-headers/rdma/ib_user_ioctl_verbs.h
// or in release tar.gz: include/rdma/ib_user_ioctl_verbs.h
enum rdma_driver_id {
	RDMA_DRIVER_UNKNOWN,
	RDMA_DRIVER_MLX5,
	RDMA_DRIVER_MLX4,
	RDMA_DRIVER_CXGB3,
	RDMA_DRIVER_CXGB4,
	RDMA_DRIVER_MTHCA,
	RDMA_DRIVER_BNXT_RE,
	RDMA_DRIVER_OCRDMA,
	RDMA_DRIVER_NES,
	RDMA_DRIVER_I40IW,
	RDMA_DRIVER_IRDMA = RDMA_DRIVER_I40IW,
	RDMA_DRIVER_VMW_PVRDMA,
	RDMA_DRIVER_QEDR,
	RDMA_DRIVER_HNS,
	RDMA_DRIVER_USNIC,
	RDMA_DRIVER_RXE,
	RDMA_DRIVER_HFI1,
	RDMA_DRIVER_QIB,
	RDMA_DRIVER_EFA,
	RDMA_DRIVER_SIW,
	RDMA_DRIVER_ERDMA,  // <- This upstream has two additional providers
	RDMA_DRIVER_MANA,   // <- So MANA's ID in the enum does not match
};

Essa incompatibilidade resulta na falha no carregamento do código do provedor MANA. Use gdb para rastrear a execução de para confirmar que o provedor ERDMA dpdk-testpmd está carregado em vez do provedor MANA. O driver_id MANA deve ser consistente tanto para o kernel quanto para o rdma-core. O MANA PMD é carregado corretamente quando esses IDs correspondem.

Partilhar via

Adaptador de Rede do Microsoft Azure (MANA) e DPDK no Linux

Introdução

MANA DPDK EAL Argumentos

Requisitos DPDK para MANA

Imagens do Marketplace suportadas

Exemplo: Verifique se há MANA

Exemplo: instalação DPDK (Ubuntu 22.04)

Exemplo: Configuração do Testpmd e teste netvsc

Resolução de Problemas

Falha ao definir a interface para baixo.

Falha ao ativar páginas enormes.

Baixo rendimento com o uso de `--vdev="net_vdev_netvsc0,iface=eth1"`

Incompatibilidade de versão para rdma-core

Comentários

Recursos adicionais

Partilhar via

Adaptador de Rede do Microsoft Azure (MANA) e DPDK no Linux

Introdução

MANA DPDK EAL Argumentos

Requisitos DPDK para MANA

Imagens do Marketplace suportadas

Exemplo: Verifique se há MANA

Exemplo: instalação DPDK (Ubuntu 22.04)

Exemplo: Configuração do Testpmd e teste netvsc

Resolução de Problemas

Falha ao definir a interface para baixo.

Falha ao ativar páginas enormes.

Baixo rendimento com o uso de --vdev="net_vdev_netvsc0,iface=eth1"

Incompatibilidade de versão para rdma-core

Comentários

Recursos adicionais

Baixo rendimento com o uso de `--vdev="net_vdev_netvsc0,iface=eth1"`