Conectar-se ao Azure Data Lake Storage

  • 5 minutos

A conexão com o Microsoft Azure Data Lake Storage desbloqueia insights ocultos nos dados. O Azure Data Lake Storage organiza dados usando o sistema de metadados CDM (Common Data Model) em uma conta de armazenamento do Azure.

O uso do Azure Data Lake Storage tem vantagens em comparação com o uso de um sistema BYOD (traga seu próprio banco de dados), inclusive:

  • Os dados já estão presentes; portanto, não é necessário realizar uma exportação. A integração do Azure Data Lake Storage gerencia a exportação contínua de dados.
  • O custo do armazenamento de dados é reduzido.
  • Você pode reverter pipelines downstream e de consumo existentes antes que o processo de exportação ocorra.

O Azure Data Lake Storage armazena dados como arquivos CSV (valores separados por vírgula) em uma conta de armazenamento do Azure.

No momento, a exportação para a funcionalidade do Azure Data Lake Storage não está disponível em ambientes de Nível 1 (desenvolvedor). Você precisa ter um ambiente área restrita de Nível 2 ou superior com base em nuvem para habilitar esse recurso. No entanto, você pode usar um protótipo do Microsoft FastTrack para habilitar o Azure Data Lake Storage para ambientes de Nível 1 (desenvolvimento).

Conectar um ambiente de desenvolvimento hospedado na nuvem ao Azure Data Lake Storage em formato CDM

O GitHub fornece uma solução para conectar um ambiente de desenvolvimento hospedado na nuvem ao Azure Data Lake Storage usando o formato CDM, que é uma entidade padrão que você pode usar para fornecer integração entre sistemas.

Diferentemente de um processo de exportação padrão para o Azure Data Lake Storage, o protótipo do Microsoft FastTrack realiza uma exportação completa. Na exportação padrão para o Azure Data Lake Storage, você pode selecionar entidades para exportação.

Um benefício de usar a exportação para o Azure Data Lake Storage é que o sistema exporta entidades quase em tempo real e você pode exportar tabelas desnormalizadas.

Para usar o protótipo do Microsoft FastTrack que está no GitHub, você deve atender a vários pré-requisitos, inclusive:

  • Uma assinatura do Azure.
  • Uma conta de armazenamento do Azure.
  • Um espaço de trabalho do Microsoft Azure Synapse Analytics.
  • Conexão a um ponto de extremidade SQL sob demanda usando uma ferramenta compatível.
  • Acesso ao Microsoft Azure Data Factory.
  • Microsoft Visual Studio 2019, para criar o projeto de exportação.

Quando estiver pronto para implantar, conclua as seguintes etapas:

  1. Clone o repositório do GitHub.
  2. Abra o repositório e crie-o.
  3. Implante-o como uma Azure Function.
  4. Habilite os arquivos MSI do Windows Installer criados do repositório.

Para preparar uma conta de armazenamento do Azure, Synapse Analytics e Azure Data Factory para implantação, conclua os seguintes etapas:

  1. Configure a conta de armazenamento.
  2. Configure o Azure Synapse Analytics e o SQL sob demanda.
  3. Colete parâmetros de implantação do Azure Data Factory.
  4. Implante o modelo do Azure Data Factory do repositório clonado no GitHub.

Para se conectar ao ambiente de desenvolvimento hospedado na nuvem de finanças e operações, conclua as seguintes ações:

  1. Use os detalhes do Microsoft Dynamics 365 Lifecycle Services e do ambiente. O logon do SQL Server está na seção Gerenciar ambiente.
  2. Conecte seu Azure Data Factory ao ambiente hospedado na nuvem de finanças e operações criando um runtime de integração auto-hospedado para seu Azure Data Factory.
  3. Após implementar o modelo do Azure Data Factory, vá para o Azure Data Factory e execute os pipelines. Observe que a estrutura de dados e os metadados são criados no formato CDM. Você também pode criar relatórios usando esse formato e quaisquer ferramentas de relatórios e BI (business intelligence).