Transferência de dados para grandes conjuntos de dados com largura de banda de rede moderada a alta

Este artigo apresenta uma visão geral das soluções de transferência de dados quando você tem largura de banda da rede moderada a alta em seu ambiente e planeja transferir conjuntos de dados grandes. O artigo também descreve as opções de transferência de dados recomendadas e a respectiva matriz das principais funcionalidades para esse cenário.

Para entender uma visão geral de todas as opções de transferência de dados disponíveis, vá para Escolher uma solução de transferência de dados do Azure.

Descrição do cenário

Conjuntos de dados grandes referem-se a tamanhos de dados na ordem de TBs a PBs. Largura de banda de rede moderada a alta refere-se a 100 Mbps a 10 Gbps.

Opções recomendadas

As opções recomendadas neste cenário dependem de se você tem largura de banda de rede moderada ou alta.

Largura de banda da rede moderada (100 Mbps a 1 Gbps)

Com largura de banda da rede moderada, você precisa projetar o tempo de transferência de dados pela rede.

Use a tabela a seguir para estimar o tempo e, com base nisso, escolha entre transferência offline ou transferência pela rede. A tabela mostra o tempo projetado para transferência de dados de rede, para várias larguras de banda de rede disponíveis (supondo 90% da utilização).

• Se a transferência pela rede estiver projetada para ser muito lenta, você deverá usar um dispositivo físico. As opções recomendadas neste caso são dispositivos de transferência offline da família do Azure Data Box ou Importação/Exportação do Azure usando seus próprios discos.

  • Família Azure Data Box para transferências offline – use dispositivos do Data Box fornecidos pela Microsoft para mover grandes quantidades de dados para o Azure quando você estiver limitado por tempo, disponibilidade de rede ou custos. Copie dados locais usando ferramentas como o Robocopy. Dependendo do tamanho dos dados destinados à transferência, você pode escolher entre Data Box Disk, Data Box ou Data Box Heavy.
  • Importação/Exportação do Azure – use o serviço de Importação/Exportação do Azure enviando suas próprias unidades de disco para importar com segurança grandes quantidades de dados para o Armazenamento de Blobs do Azure e Azure Files. Este serviço também pode ser usado para transferir dados do armazenamento de Blobs do Azure para as unidades de disco e enviar para seu site local.

• Se a transferência pela rede estiver projetada para ser razoável, você poderá usar qualquer uma das seguintes ferramentas detalhadas em Largura de banda de rede alta.

Largura de banda de rede de alta (1 Gbps – 100 Gbps)

Se a largura de banda de rede disponível for alta, use uma das ferramentas a seguir.

• AzCopy – use essa ferramenta de linha de comando para copiar dados facilmente de e para Blobs do Azure, Arquivos e armazenamento de Tabela com um desempenho ideal. O AzCopy dá suporte à simultaneidade e ao paralelismo e à capacidade de retomar as operações de cópia quando elas forem interrompidas.
• SDKs/APIs REST do Armazenamento do Azure – ao criar um aplicativo, você pode desenvolver o aplicativo com relação a APIs REST do Armazenamento do Microsoft Azure e usar os SDKs de cliente do Azure oferecidos em vários idiomas.
• Família Azure Data Box para transferências online – o Azure Stack Edge e o Data Box Gateway são dispositivos de rede online que podem mover dados para dentro e para fora do Azure. Use o dispositivo físico Azure Stack Edge quando houver uma necessidade simultânea de ingestão e pré-processamento contínuos de dados antes do upload. O Data Box Gateway é uma versão virtual do dispositivo com os mesmos recursos de transferência de dados. Em cada caso, a transferência de dados é gerenciada pelo dispositivo.
• Azure Data Factory – o Data Factory deve ser usado para expandir uma operação de transferência e se houver necessidade de funcionalidades de monitoramento de nível empresarial e de orquestração. Use o Data Factory para transferir regularmente arquivos entre vários serviços do Azure localmente ou usando uma combinação dos dois. com o Data Factory, você pode criar e agendar fluxos de trabalho conduzidos por dados (chamados pipelines) que ingerem dados de armazenamentos de dados diferentes e automatizam a movimentação e a transformação de dados.

Comparação das principais funcionalidades

As tabelas a seguir resumem as diferenças nas principais funcionalidades para as opções recomendadas.

Largura de banda da rede moderada

Se estiver usando transferência de dados offline, use a tabela a seguir para entender as diferenças nas principais funcionalidades.

	Data Box Disk	Data Box	Data Box Heavy	Importar/Exportar
Tamanho dos dados	Até 35 TBs	Até 80 TB por dispositivo	Até 800 TB por dispositivo	Variável
Data type	Blobs do Azure Arquivos do Azure*	Blobs do Azure Arquivos do Azure	Blobs do Azure Arquivos do Azure	Blobs do Azure Arquivos do Azure
Fator forma	5 SSDs por pedido	1 X 50 lb dispositivo do tamanho da área de trabalho por pedido	1 X ~500 lb. dispositivo grande por pedido	Até 10 HDDs/SSDs por pedido
Tempo de preparação inicial	Baixo (15 min)	Baixo a moderado (<30 minutos)	Moderado (1 a 2 horas)	Moderado a difícil (variável)
Enviar dados para o Azure	Sim	Yes	Yes	Sim
Exportar dados do Azure	Não	No	No	Sim
Criptografia	AES 128 bits	AES 256 bits	AES 256 bits	AES 128 bits
Hardware	Fornecido pela Microsoft	Fornecido pela Microsoft	Fornecido pela Microsoft	Fornecido pelo cliente
Interface de rede	USB 3.1/SATA	RJ 45, SFP+	RJ-45, QSFP+	SATA II/SATA III
Integração de parceiros	Alguns	Alta	Alta	Alguns
Remessa	Gerenciado pela Microsoft	Gerenciado pela Microsoft	Gerenciado pela Microsoft	Gerenciado pelo cliente
Use quando os dados são movidos	Dentro de um limite de comércio	Dentro de um limite de comércio	Dentro de um limite de comércio	Entre fronteiras geográficas, por exemplo, dos EUA para a UE
Preços	Preços	Preços	Preços	Preços

* O Data Box Disk não suporta Grandes Compartilhamentos de Arquivos e não preserva os metadados do arquivo

Se estiver usando a transferência de dados online, use a tabela na seção a seguir para largura de banda de rede alta.

Largura de banda da rede alta

	Tools AzCopy, Azure PowerShell, CLI do Azure	SDKs, APIs REST do Armazenamento do Azure	Data Box Gateway ou Azure Stack Edge	Fábrica de dados do Azure
Data type	Blobs do Azure, Azure Files, Tabelas do Azure	Blobs do Azure, Azure Files, Tabelas do Azure	Blobs do Azure, Azure Files	Dá suporte a mais de 70 conectores de dados para os formatos e armazenamentos de dados
Fator forma	Ferramentas da linha de comando	Interface programática	A Microsoft fornece um dispositivo virtual ou físico	Serviço no portal do Azure
Configuração única inicial	Fácil	Moderado	Fácil (<30 minutos) para moderar (de 1 a 2 horas)	Amplo
Pré-processamento de dados	Não	Não	Sim (com computação de borda)	Sim
Transferência de outras nuvens	Não	No	No	Sim
Tipo de usuário	Profissional ou desenvolvedor de TI	Desenvolvimento	IT Pro	IT Pro
Preços	Gratuito, são cobrados encargos de saída de dados	Gratuito, são cobrados encargos de saída de dados	Preço do Azure Stack Edge Preço do Data Box Gateway	Preços

Próximas etapas

• Saiba como transferir dados com Importação/Exportação.

• Entenda como:

  • Transferir dados com o Data Box Disk.
  • Transferir dados com o Data Box.
  • Transferir dados com AzCopy.
  • Transferir dados com o Data Box Gateway.
  • Transformar dados com o Azure Stack Edge antes de enviá-los para o Azure.

• Saiba como transferir dados com o Azure Data Factory.

• Use as APIs REST para transferir dados:

  • In .NET
  • No Java