Quando utilizar a família do Azure Data Box

  • 7 minutos

Os dispositivos da família do Azure Data Box não são as únicas maneiras de transferir dados para o Azure. Para os dados do seu veículo autónomo, deve certificar-se de que o Data Box Disk é a sua melhor escolha antes de fazer uma encomenda.

Nesta unidade, você aprende quando usar um dispositivo Data Box e quando usar alguma outra solução.

Casos de uso para dispositivos Data Box

O Data Box é ideal para transferir terabytes de dados em cenários com conectividade de rede limitada ou inexistente. A movimentação de dados pode ser única, periódica ou uma transferência inicial de dados em massa, seguida de transferências periódicas.

Aqui estão os vários cenários em que você pode usar dispositivos Data Box para importar dados para o Azure.

  • Migração única - Quando uma grande quantidade de dados locais é movida para o Azure.

    • Mover uma biblioteca de multimédia de bandas offline para o Azure, para criar uma biblioteca de multimédia online.
    • Migrando seu farm de VMs, SQL Server e aplicativos para o Azure.
    • Mover dados históricos para o Azure para análise e relatórios detalhados usando o HDInsight.

  • Transferência inicial em massa - Quando uma transferência inicial em massa é feita usando o Data Box (semente) seguida de transferências incrementais pela rede.

  • Carregamentos periódicos - Quando uma grande quantidade de dados é gerada periodicamente e precisa ser movida para o Azure. Por exemplo: na exploração de energia, onde o conteúdo de vídeo é gerado em plataformas de petróleo e parques de moinhos de vento.

Aqui estão os vários cenários em que você pode usar o Data Box para exportar dados do Azure. O Data Box Disk e o Data Box Heavy não suportam a exportação de dados do Azure.

  • Recuperação de desastres - Quando uma cópia dos dados do Azure é restaurada em uma rede local. Em um cenário típico de recuperação de desastres, uma grande quantidade de dados do Azure é exportada para um Data Box. Em seguida, a Microsoft envia este Data Box e os dados são restaurados nas suas instalações num curto espaço de tempo.

  • Requisitos de segurança - Quando você precisa ser capaz de exportar dados para fora do Azure devido a requisitos governamentais ou de segurança. Por exemplo: o Armazenamento do Azure está disponível nas nuvens US Secret e Top Secret e você pode usar o Data Box para exportar dados do Azure.

  • Migrar de volta para o local ou para outro provedor de serviços de nuvem - Quando quiser mover todos os dados de volta para o local ou para outro provedor de serviços de nuvem, você pode exportar dados via Data Box para migrar as cargas de trabalho.

Opções de transferência offline

As opções offline para mover seus dados para o Azure incluem dispositivos Data Box e Importar/Exportar do Azure.

Dispositivos Data Box

Para transferir dados para o Azure, pode carregar os seus dados para dispositivos físicos e enviá-los para um datacenter do Azure. Aí, os dados são copiados para a sua subscrição do Azure. Como você viu na unidade 2, existem três produtos Data Box que funcionam dessa forma:

  • Data Box
  • Data Box Disk
  • Data Box Heavy

Se não estiver numa região suportada pela família do Azure Data Box, considere utilizar o serviço Importar/Exportar do Microsoft Azure para importar dados para o Azure.

Importar/Exportar do Microsoft Azure

O outro serviço que utiliza dispositivos físicos para transferir dados para o Azure é o serviço Importar/Exportar do Microsoft Azure. O serviço Importar/Exportar do Microsoft Azure permite a utilização dos seus próprios discos. Pode fazer transferências offline de dados do Armazenamento de blobs para os discos. O Azure Import/Export também exporta dados do Azure de volta para seus próprios datacenters e permite que os dados atravessem fronteiras internacionais.

O procedimento de instalação para importar dados com o serviço Importar/Exportar do Microsoft Azure é mais difícil do que o da família do Azure Data Box. Precisa de lidar com todos os detalhes de envio e a preparação do dispositivo. Recomendamos que utilize o Azure Data Box, um serviço feito para si que minimiza o esforço necessário para mover enormes volumes de dados, de forma económica e segura, para o Azure.

Opções de transferência de rede

Outra maneira de obter dados no Azure é enviá-los pela Internet. Existem várias ferramentas que pode utilizar para transferir dados através da rede.

Data Box Gateway

Conforme discutido na unidade 2, o Data Box Gateway é um dispositivo virtual. Baseia-se numa máquina virtual que é aprovisionada no ambiente no local. Você grava dados no dispositivo virtual usando os protocolos NFS e SMB. O dispositivo transfere os dados para o blob de blocos do Azure, o blob de páginas ou Ficheiros do Azure.

Explorador de Armazenamento do Azure

O Explorador de Armazenamento do Azure é uma aplicação que pode transferir gratuita, que pode executar no Windows, no Mac ou no Linux. Disponibiliza uma interface gráfica (GUI) que pode utilizar para explorar blobs, ficheiros, filas e tabelas nas contas de armazenamento do Azure. Se transferir apenas alguns ficheiros de uma vez e não precisar de automatizar as transferências, o Explorador de Armazenamento será uma solução ideal.

Se você não quiser instalar um aplicativo, mas tiver um navegador, poderá usar a página Gerenciador de Armazenamento no portal do Azure para transferir arquivos.

Azure Stack Edge

O Azure Stack Edge também usa dispositivos físicos para transferir dados para o Azure. Ao contrário dos dispositivos Data Box, os dispositivos Azure Stack Edge fornecem recursos do Azure como computação, armazenamento, rede e aprendizado de máquina acelerado por hardware para qualquer ponto de presença. Use um dispositivo Azure Stack Edge para os seguintes cenários:

  • Inferência com o Azure Machine Learning - Execute modelos de ML para obter resultados rápidos sobre os quais você pode agir antes que os dados sejam enviados para a nuvem. Opcionalmente, você pode transferir o conjunto de dados completo para continuar a treinar novamente e melhorar seus modelos de ML.

  • Pré-processar dados - Transforme dados por meio de opções de computação, como contêineres ou máquinas virtuais, antes de enviá-los para o Azure para criar um conjunto de dados mais acionável. Você pode usar o pré-processamento para:

    • Agregar dados.
    • Modificar dados; por exemplo, para remover dados pessoais.
    • Subdefina dados para otimizar o armazenamento e a largura de banda ou para análise posterior.
    • Analisar e reagir a eventos de IoT.

  • Transfira dados pela rede para o Azure - Transfira dados de forma fácil e rápida para o Azure para fazer mais computação e análise ou para fins de arquivamento.

Azure Data Factory

O Azure Data Factory é um serviço que permite organizar, mover e transformar grandes quantidades de dados de muitas fontes diferentes. No Data Factory, você pode criar pipelines de dados que ingerem dados de bancos de dados relacionais, bancos de dados NoSQL e outros sistemas. Pode utilizar o Azure Machine Learning, o Hadoop, o Apache Spark e outros serviços para processar e transformar esses dados. Em seguida, no final do pipeline, pode publicar os dados transformados no Azure SQL Data Warehouse, na Base de Dados SQL do Azure, no Azure Cosmos DB e no Armazenamento do Microsoft Azure.

Você pode usar esse serviço se tiver necessidades complexas de transformação de dados, mas não quiser escrever scripts ou compilar código.

Transferência programática ou com script

A Microsoft fornece uma variedade de ferramentas de linha de comandos otimizadas, que podem ser chamadas com comandos individuais ou montados em scripts e que podem mover dados para o Azure. Estas ferramentas incluem:

  • AzCopy. Pode chamar este programa de linha de comandos a partir de qualquer script para transferir blobs ou ficheiros para uma conta de armazenamento do Azure.
  • Azure PowerShell. O PowerShell é uma interface de script e linguagem concebida para ajudar os administradores a automatizarem tarefas complexas ao executar comandos chamados cmdlets. O módulo Azure PowerShell fornece uma variedade de cmdlets para trabalhar com o Azure. Aqui estão incluídos cmdlets que pode utilizar para carregar dados em contas de armazenamento do Azure, Base de Dados SQL do Azure, Azure Cosmos DB e outros destinos. Por exemplo, para carregar um arquivo em um blob de Armazenamento do Azure, você usaria o Set-AzStorageBlobContent cmdlet.
  • CLI do Azure. A CLI do Azure é uma ferramenta de linha de comandos que pode chamar no PowerShell e nos scripts Bash para trabalhar com o Azure. A CLI inclui opções que podem mover dados para localizações do Azure. Por exemplo, você usaria o az storage blob upload comando para carregar um arquivo em um blob de Armazenamento do Azure.

As ferramentas de script são fáceis de usar para administradores e não desenvolvedores. Se tiver pessoas com competências de programação que são capazes de escrever código compilado, pode considerar utilizar linguagens de programação para orquestrar a transferência de dados para o Azure. O código deve chamar as interfaces de programação de aplicações (APIs) REST (Representational State Transfer) do Armazenamento do Microsoft Azure. As APIs REST são um conjunto de serviços Web que pode chamar a partir de várias linguagens de programação diferentes. Os desenvolvedores podem usar linguagens .NET, Java, Python, Node.js, C++ e PHP, entre outras linguagens, para chamar essas APIs. Os programadores podem escolher a linguagem com a qual estão mais familiarizados.

Escolher um método de transferência de dados

Para escolher um método de transferência destes sistemas, considere as perguntas a seguir:

  • Qual é o tamanho dos dados?
  • Com que frequência quero transferir dados?
  • Quanta largura de banda de rede está disponível?

Se quiser transferir alguns arquivos ocasionalmente, você pode escolher o Gerenciador de Armazenamento do Azure ou usar o portal do Azure.

Se a largura de banda da rede for baixa ou cara de usar e você tiver um grande volume de dados, poderá usar um dispositivo físico para transferir dados. Se quiser utilizar os seus próprios discos, utilize o serviço Importar/Exportar do Microsoft Azure. Se preferir a conveniência de utilizar o hardware da Microsoft, escolha um produto Azure Data Box. Você pode escolher entre Data Box, Data Box Disk e Data Box Heavy de acordo com seus volumes máximos de dados.

Se você tiver muita largura de banda de rede disponível e quiser transferir dados regularmente ou continuamente, você pode escolher um método de transferência de rede. Se quiser transformar os dados à medida que os transferir, sem utilizar código, considere o Azure Data Factory. Se você puder investir tempo e tiver as habilidades para escrever código, poderá usar ferramentas de script ou desenvolver código compilado em relação às APIs REST. Se você quiser transferir grandes conjuntos de dados pela rede e tiver alta largura de banda disponível, poderá escolher Data Box Gateway ou um dispositivo Azure Stack Edge.

Transferência de dados para veículos autónomos

Na sua organização, pretende carregar dados de telemetria de veículos autónomos para o Azure de uma forma rápida, relativamente barata e segura, sem sobrecarregar a rede. Esse cenário é um caso de uso importante para o Azure Data Box Disk.

Pode utilizar o Azure Data Box Disk para diferentes tipos de cenários de transferência de dados. O Azure Data Box Disk é adequado para migrações unidirecionais, como mover até 35 TB de dados de fitas offline para o armazenamento esporádico do Azure. Se houver mais de 35 TB a carregar, poderá criar encomendas extras. Também vale a pena rever as outras opções da família Data Box que explorou na primeira unidade, pois pode haver um candidato mais adequado. As transferências incrementais também funcionam bem. O Data Box Disk é utilizado para fornecer o seed grande inicial, após o qual mais incrementos de dados são copiados através de técnicas de rede padrão.