Migrar dados locais do Hadoop para o Azure Data Lake Storage com a Plataforma WANdisco LiveData para Azure
A Plataforma WANdisco LiveData para Azure migra petabytes de dados Hadoop locais para sistemas de arquivos do Azure Data Lake Storage sem interromper operações de dados ou exigir tempo de inatividade. As verificações contínuas da plataforma impedem a perda de dados, mantendo-os consistentes em ambas as extremidades de transferência, mesmo quando passam por modificação.
A plataforma consiste em dois serviços. O LiveData Migrator para Azure migra dados ativamente usados de ambientes locais para o armazenamento do Azure e o Plano LiveData para Azure garante que todos os dados modificados ou ingeridos são replicados de modo consistente.
Gerencie os dois serviços usando o portal do Azure e a CLI do Azure. Cada serviço segue a mesma métrica, modelo de cobrança pagamento conforme o uso de todos os outros serviços do Azure: o consumo de dados na Plataforma LiveData para Azure aparece na fatura mensal do Azure, que fornecerá as métricas de uso.
Ao contrário da migração de dados offlinecopiando informações estáticas para o Azure Data Box, ou usando ferramentas do Hadoop como o DistCp, você pode manter a operação completa de seus sistemas de negócios durante a migração online com o WANdisco LiveData para o Azure. Mantenha seus ambientes de Big Data operando mesmo ao migrar seus dados para o Azure.
Principais benefícios da Plataforma LiveData da WANdisco para Azure
O mecanismo de consenso com capacidade de rede de ampla área da Plataforma LiveData da WANdisco para Azure atinge a consistência dos dados e realiza a replicação de dados em tempo real em escala. Para obter mais informações, veja o seguinte vídeo:
Os principais benefícios da plataforma incluem:
Precisão de dados: a validação de ponta a ponta dos dados impede a perda de dados e garante que os dados transferidos estão adequados para uso.
Consistência de dados: mantenha os volumes de dados consistentes automaticamente entre ambientes, mesmo enquanto eles passam por alterações contínuas.
Eficiência de dados: transfira volumes de dados grandes continuamente com controle total do consumo de largura de banda.
Eliminação de tempo de inatividade: crie, modifique, leia e exclua dados livremente com outros aplicativos durante a migração, sem a necessidade de interromper as operações de negócios durante a transferência de dados para o Azure. Continue a operar aplicativos, infraestrutura de análise, trabalhos de ingestão e outros processos.
Uso simples: use a integração do Azure da plataforma para criar, configurar, agendar e acompanhar o progresso das migrações automatizadas. Além disso, configure a replicação seletiva de dados, os metadados do Hive, a segurança de dados e a confidencialidade, conforme necessário.
Principais recursos da plataforma WANdisco LiveData para o Azure
Os principais recursos da plataforma incluem:
Migração de Metadados: além dos dados do HDFS, migre metadados (do Hive e de outros armazenamentos) com o LiveData Migrator para Azure.
Transferência Agendada: use o LiveData Migrator para Azure para controlar e automatizar quando a transferência de dados será iniciada, eliminando a necessidade de migrar manualmente as alterações para os dados.
Kerberos: o LiveData Migrator para Azure dá suporte a clusters Kerberized.
Modelos de Exclusão: crie regras no LiveData Migrator para Azure para impedir que determinados tamanhos de arquivo ou nomes de arquivo (definidos usando padrões glob) sejam migrados para o armazenamento de destino. Crie modelos de exclusão no portal do Azure ou com a CLI e aplique-os a qualquer número de migrações.
Mapeamentos de Caminho: defina caminhos de destino alternativos para sistemas de arquivos de destino específicos, que movem automaticamente os dados transferidos para os diretórios especificados.
Gerenciamento de Largura de Banda: configure a quantidade máxima de largura de banda de rede que o LiveData Migrator para Azure pode usar para evitar a largura de banda sobre o consumo.
Exclusões: defina consultas de modelo que impeçam a migração de arquivos e diretórios que atendem aos critérios, permitindo que você migre seletivamente dados do sistema de origem.
Métricas: veja detalhes sobre a transferência de dados no LiveData Migrator para Azure, como arquivos transferidos ao longo do tempo, caminhos excluídos, itens que não foram transferidos e muito mais.
Migre big data mais rápido e sem riscos
O primeiro serviço incluído na Plataforma LiveData da WANdisco para Azure é o LiveData Migrator para Azure, que migra dados de ambientes locais para o Armazenamento do Azure. Depois de ter implantado o LiveData Migrator em seu cluster do Hadoop local, ele criará automaticamente a melhor configuração para o sistema de arquivos. A partir daí, forneça os detalhes do Kerberos para o sistema. O LiveData Migrator para Azure estará pronto para migrar dados para o Armazenamento do Azure.
Antes de começar com o LiveData Migrator para Azure, veja estes pré-requisitos.
Para executar uma migração:
Na CLI do Azure:
- Registre-se no provedor de recursos da WANdisco na CLI do Azure executando
az provider register --namespace Wandisco.Fusion --consent-to-permissions. - Aceite os termos de cobrança limitados da Plataforma LiveData executando
az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>.
- Registre-se no provedor de recursos da WANdisco na CLI do Azure executando
Implante uma instância, do LiveData Migrator, do portal do Azure para o cluster do Hadoop local. (Você não precisa fazer alterações ou reiniciar o cluster.)
Observação
O LiveData Migrator da WANdisco para Azure fornece a opção de criar um Cluster de Teste do Hadoop.
Configure os detalhes do Kerberos, se aplicável.
Defina a conta de armazenamento habilitada para o Azure Data Lake Storage de destino.
Defina o local dos dados que você deseja migrar, por exemplo:
/user/hive/warehouse.
Iniciar a migração.
Monitore o progresso da migração por meio das ferramentas padrão do Azure, incluindo a CLI do Azure e o portal do Azure.
Replique dados de modo bidirecional sob alteração ativa com o Plano LiveData para Azure
O segundo serviço incluído na Plataforma LiveData é Plano LiveData para Azure. O Plano LiveData usa o mecanismo de coordenação da WANdisco para manter os dados consistentes entre muitos clusters do Hadoop locais e o Armazenamento do Azure aplicando de modo inteligente as alterações aos dados em todos os sistemas, removendo o risco de conflitos de dados em diferentes pontos de uso.
Após a migração inicial, mantenha seus dados consistentes com o Plano LiveData para Azure:
Implante o Plano LiveData para Azure local e no Azure, começando no portal do Azure. Não é necessário nenhuma mudança de aplicativo.
Configure regras de replicação que abrangem os locais de dados que você deseja manter consistentes, por exemplo:
/user/contoso/sales/region/WA.Execute aplicativos que acessam e modificam dados em qualquer local, conforme necessário.
O Plano LiveData para Azure replica de modo consistente as alterações de dados em todos os ambientes sem impacto significativo na operação de cluster ou no desempenho do aplicativo.
Test drive ou Avaliação
Na página do Marketplace da Plataforma LiveData para Azure, você tem duas opções:
O botão Obter agora inicia o serviço em sua assinatura. A partir daí, você pode usar seu próprio cluster do Hadoop ou o cluster de Avaliação da WANdisco.
Selecione Test Drive para testar o LiveData Migrator for Azure em um ambiente pré-configurado e hospedado para você. Isso permite que você experimente o LiveData Migrator para Azure antes de adicioná-lo à sua assinatura, sem nenhum custo ou risco aos seus dados.