Executar pacotes SSIS no Azure a partir do SSDT

Artigo
05/15/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve o recurso de projetos do SQL Server Integration Services (SSIS) habilitados para Azure no SSDT (SQL Server Data Tools). Ele permite que você avalie a compatibilidade de nuvem de seus pacotes SSIS e execute-os no Azure-SSIS Integration Runtime (IR) no Azure Data Factory (ADF). Você pode usar esse recurso para testar seus pacotes existentes antes de levantar & shift/migrá-los para o Azure ou para desenvolver novos pacotes para serem executados no Azure.

Com esse recurso, você pode anexar um IR do Azure-SSIS recém-criado/existente a projetos do SSIS e, em seguida, executar seus pacotes nele. Damos suporte à execução de pacotes a serem implantados no catálogo SSIS (SSISDB) hospedado pelo seu servidor do Banco de Dados SQL do Azure ou instância gerenciada no Modelo de Implantação de Projeto. Também damos suporte à execução de pacotes a serem implantados no sistema de arquivos/Arquivos do Azure/banco de dados do SQL Server (MSDB) hospedado pela sua instância gerenciada SQL do Azure no Modelo de Implantação de Pacote.

Pré-requisitos

Para usar esse recurso, baixe e instale o SSDT mais recente com a extensão SSIS Projects para Visual Studio (VS) aqui. Como alternativa, você também pode baixar e instalar o SSDT mais recente como um instalador independente a partir daqui.

Projetos SSIS habilitados para Azure

Criando novos projetos SSIS habilitados para Azure

No SSDT, você pode criar novos projetos SSIS habilitados para Azure usando o modelo Projeto Integration Services (habilitado para Azure).

Novo projeto SSIS habilitado para Azure

Depois que o projeto habilitado para o Azure for criado, você será solicitado a se conectar ao SSIS no Azure Data Factory.

Conectar o prompt de IR do Azure-SSIS

Se você quiser se conectar ao seu IR do Azure-SSIS imediatamente, consulte Conectando-se ao IR do Azure-SSIS para obter mais detalhes. Você também pode se conectar mais tarde clicando com o botão direito do mouse no nó do projeto na janela Gerenciador de Soluções do SSDT para exibir um menu. Em seguida, selecione o item Conectar ao SSIS no Azure Data Factory no SSIS no submenu Azure Data Factory .

Projetos SSIS existentes habilitados para o Azure

Para projetos SSIS existentes, você pode habilitá-los no Azure seguindo estas etapas:

Clique com o botão direito do mouse no nó do projeto na janela Gerenciador de Soluções do SSDT para exibir um menu. Em seguida, selecione o item Projeto habilitado para o Azure no SSIS no submenu Azure Data Factory para iniciar o Assistente de Projeto habilitado para Azure.
Na página Selecionar Configuração do Visual Studio, selecione sua configuração VS existente para aplicar as configurações de execução do pacote no Azure. Você também pode criar um novo se ainda não tiver feito isso, consulte Criando uma nova configuração do VS. Recomendamos que você tenha pelo menos duas configurações VS diferentes para execuções de pacotes nos ambientes local e de nuvem, para que você possa habilitar seu projeto no Azure em relação à configuração de nuvem. Dessa forma, se você parametrizou seu projeto ou pacotes, pode atribuir valores diferentes aos parâmetros do projeto ou do pacote em tempo de execução com base nos diferentes ambientes de execução (em sua máquina local ou no Azure). Por exemplo, consulte Alternando ambientes de execução de pacotes.
A habilitação do Azure para seus projetos SSIS existentes exige que você defina a versão do servidor de destino como a mais recente suportada pelo IR do Azure-SSIS. O IR do Azure-SSIS é atualmente baseado no SQL Server 2017. Certifique-se de que seus pacotes não contenham componentes adicionais sem suporte no SQL Server 2017. Certifique-se também de que todos os componentes adicionais compatíveis também foram instalados no seu IR do Azure-SSIS por meio de configurações personalizadas, consulte Personalizando seu IR do Azure-SSIS. Selecione Seguinte para continuar.
Consulte Conectando-se ao Azure-SSIS IR para concluir a conexão do seu projeto ao Azure-SSIS IR.

Conectar projetos habilitados para o Azure ao SSIS no Azure Data Factory

Ao conectar seus projetos habilitados para o Azure ao SSIS no ADF, você pode carregar seus pacotes nos Arquivos do Azure e executá-los no IR do Azure-SSIS. Pode fazê-lo seguindo estes passos:

Na página SSIS na Introdução do ADF, revise a introdução e selecione o botão Avançar para continuar.
Na página Selecionar IR do SSIS no ADF, selecione o ADF e o IR do Azure-SSIS existentes para executar pacotes. Você também pode criar novos se não tiver nenhum.
- Para selecionar seu IR existente do Azure-SSIS, selecione primeiro a assinatura relevante do Azure e o ADF.
- Se você selecionar seu ADF existente que não tenha nenhum IR do Azure-SSIS, selecione o botão Criar IR do SSIS para criar um novo no portal do ADF. Uma vez criado, você pode retornar a esta página para selecionar seu novo IR do Azure-SSIS.
- Se você selecionar sua assinatura existente do Azure que não tenha nenhum ADF, selecione o botão Criar IR do SSIS para iniciar o Assistente de Criação do Tempo de Execução de Integração. No assistente, você pode inserir seu local e prefixo designados para que possamos criar automaticamente um novo Grupo de Recursos do Azure, Data Factory e IR SSIS em seu nome, nomeado no seguinte padrão: YourPrefix-RG/DF/IR-YourCreationTime. Uma vez criado, você pode retornar a esta página para selecionar seu novo ADF e Azure-SSIS IR.
Na página Selecionar Armazenamento do Azure, selecione sua conta de Armazenamento do Azure existente para carregar pacotes nos Arquivos do Azure. Você também pode criar um novo se não tiver nenhum.
- Para selecionar sua conta de Armazenamento do Azure existente, selecione primeiro a assinatura relevante do Azure.
- Se você selecionar a mesma assinatura do Azure que seu IR do Azure-SSIS que não tem nenhuma conta de Armazenamento do Azure, selecione o botão Criar Armazenamento do Azure. Criaremos automaticamente um novo em seu nome no mesmo local que seu IR do Azure-SSIS, nomeado combinando um prefixo do seu nome de IR do Azure-SSIS e sua data de criação. Depois de criada, você pode retornar a esta página para selecionar sua nova conta de Armazenamento do Azure.
- Se você selecionar uma assinatura diferente do Azure que não tenha nenhuma conta de Armazenamento do Azure, selecione o botão Criar Armazenamento do Azure para criar uma nova no portal do Azure. Depois de criada, você pode retornar a esta página para selecionar sua nova conta de Armazenamento do Azure.
Selecione o botão Conectar para concluir a conexão do seu projeto ao IR do Azure-SSIS. Exibiremos sua conta de IR e Armazenamento do Azure do Azure-SSIS selecionada no nó Recursos Vinculados do Azure na janela Gerenciador de Soluções do SSDT. Também atualizaremos e exibiremos regularmente o status do seu IR do Azure-SSIS lá. Você pode gerenciar seu IR do Azure-SSIS clicando com o botão direito do mouse em seu nó para exibir um menu e, em seguida, selecionando o item Start\Stop\Manage que leva você ao portal do ADF para fazer isso.

Avaliar projeto\pacotes SSIS para execuções no Azure

Avaliação de pacotes únicos ou múltiplos

Antes de executar seus pacotes no Azure, você pode avaliá-los para revelar possíveis problemas de compatibilidade com a nuvem. Isso inclui bloqueadores de migração e informações adicionais que você deve estar ciente.

Você tem as opções para avaliar pacotes individuais um a um ou todos os pacotes ao mesmo tempo em seu projeto.
Na janela Relatório de avaliação do SSDT, você pode encontrar todos os possíveis problemas de compatibilidade com a nuvem que são apresentados, cada um com sua própria descrição detalhada e recomendação. Você também pode exportar o relatório de avaliação para um arquivo CSV que pode ser compartilhado com qualquer pessoa que deva mitigar esses problemas.

Supressão das regras de avaliação

Depois de ter certeza de que alguns possíveis problemas de compatibilidade com a nuvem não são aplicáveis ou foram adequadamente atenuados em seus pacotes, você pode suprimir as regras de avaliação relevantes que os apresentam. Isso reduzirá o ruído em seus relatórios de avaliação subsequentes.

Selecione o link Configurar supressão de regra de avaliação na janela Relatório de avaliação do SSDT para exibir a janela Configurações de supressão de regra de avaliação, onde você pode selecionar as regras de avaliação a serem suprimidas.
Como alternativa, clique com o botão direito do mouse no nó do projeto na janela Gerenciador de Soluções do SSDT para exibir um menu. Selecione o item Configurações habilitadas para o Azure no SSIS no submenu Azure Data Factory para exibir uma janela contendo as páginas de propriedades do projeto. Selecione a propriedade IDs de Regra de Avaliação Suprimida na seção Configurações Habilitadas para Azure. Finalmente, selecione o botão de reticências (...) para abrir a janela Configurações de supressão da regra de avaliação, onde você pode selecionar as regras de avaliação a serem suprimimadas.

Executar pacotes SSIS no Azure

Definindo configurações habilitadas para o Azure

Antes de executar seus pacotes no Azure, você pode definir suas configurações habilitadas para o Azure para eles. Por exemplo, você pode habilitar a autenticação do Windows em seu IR do Azure-SSIS para acessar armazenamentos de dados locais/na nuvem seguindo estas etapas:

Clique com o botão direito do mouse no nó do projeto na janela Gerenciador de Soluções do SSDT para exibir um menu. Em seguida, selecione o item Configurações habilitadas para o Azure no SSIS no submenu Azure Data Factory para exibir uma janela contendo as páginas de propriedades do projeto.
Selecione a propriedade Habilitar Autenticação do Windows na seção Configurações Habilitadas para Azure e selecione True em seu menu suspenso. Em seguida, selecione a propriedade Credenciais de Autenticação do Windows e, em seguida, selecione seu botão de reticências (...) para exibir a janela Credenciais de Autenticação do Windows.
Insira suas credenciais de autenticação do Windows. Por exemplo, para acessar os Arquivos do Azure, você pode inserir Azure, YourStorageAccountNamee YourStorageAccountKey para Domínio, Nome de usuário e Senha, respectivamente.

Iniciando execuções de pacotes

Depois de conectar seus projetos habilitados para o Azure ao SSIS no ADF, avaliar sua compatibilidade com a nuvem e mitigar possíveis problemas, você pode executar/testar seus pacotes no IR do Azure-SSIS.

Selecione o botão Iniciar na barra de ferramentas SSDT para abrir um menu. Em seguida, selecione o item Executar no Azure .
Como alternativa, clique com o botão direito do mouse no nó do pacote na janela Gerenciador de Soluções do SSDT para exibir um menu. Em seguida, selecione o item Executar Pacote no Azure .

Nota

A execução de seus pacotes no Azure exige que você tenha um IR do Azure-SSIS em execução, portanto, se o IR do Azure-SSIS for interrompido, uma janela de diálogo será exibida para iniciá-lo. Excluindo qualquer tempo de configuração personalizada, esse processo deve ser concluído em 5 minutos, mas pode levar aproximadamente 20 a 30 minutos para que o Azure-SSIS IR ingresse em uma rede virtual. Depois de executar seus pacotes no Azure, você pode parar seu IR do Azure-SSIS para gerenciar seu custo de execução clicando com o botão direito do mouse em seu nó na janela Gerenciador de Soluções do SSDT para exibir um menu e, em seguida, selecionando o item Start\Stop\Manage que leva você ao portal do ADF para fazer isso.

Usando a tarefa Executar pacote

Se os pacotes contiverem Executar Tarefas de Pacote que se referem a pacotes filho armazenados em sistemas de arquivos locais, siga estas etapas adicionais:

Carregue os pacotes filho nos Arquivos do Azure na mesma conta de Armazenamento do Azure conectada aos seus projetos e obtenha seu novo caminho UNC (Convenção de Nomenclatura Universal), por exemplo. \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx
Substitua o caminho do arquivo desses pacotes filho no Gerenciador de Conexões de Arquivos de Executar Tarefas de Pacote por seu novo caminho UNC
- Se a sua máquina local que executa o SSDT não conseguir aceder ao novo caminho UNC, pode introduzi-lo no painel Propriedades do Gestor de Ligações de Ficheiros
- Como alternativa, você pode usar uma variável para o caminho do arquivo para atribuir o valor certo em tempo de execução

Se seus pacotes contiverem Executar Tarefas de Pacote que se referem a pacotes filho no mesmo projeto, nenhuma etapa adicional será necessária.

Mudar o nível de proteção do pacote

A execução de pacotes SSIS no Azure não suporta os níveis de proteção EncryptSensitiveWithUserKey/EncryptAllWithUserKey. Consequentemente, se seus pacotes estiverem configurados para usá-los, nós os converteremos temporariamente em níveis de proteção EncryptSensitiveWithPassword/EncryptAllWithPassword, respectivamente. Também geraremos senhas de criptografia aleatoriamente quando carregarmos seus pacotes nos Arquivos do Azure para execuções em seu IR do Azure-SSIS.

Nota

Se seus pacotes contiverem Executar Tarefas de Pacote que se referem a pacotes filho configurados para usar os níveis de proteção EncryptSensitiveWithUserKey/EncryptAllWithUserKey, você precisará reconfigurar manualmente esses pacotes filho para usar os níveis de proteção EncryptSensitiveWithPassword/EncryptAllWithPassword, respectivamente, antes de executar seus pacotes.

Se seus pacotes já estiverem configurados para usar os níveis de proteção EncryptSensitiveWithPassword/EncryptAllWithPassword, nós os manteremos inalterados. Ainda geraremos senhas de criptografia aleatoriamente quando carregarmos seus pacotes nos Arquivos do Azure para execuções em seu IR do Azure-SSIS.

Alternando ambientes de execução de pacotes

Se você parametrizar seu projeto/pacotes no Modelo de Implantação de Projeto, poderá criar várias configurações VS para alternar ambientes de execução de pacotes. Dessa forma, você pode atribuir valores específicos do ambiente aos parâmetros do projeto/pacote em tempo de execução. Recomendamos que você tenha pelo menos duas configurações VS diferentes para execuções de pacotes nos ambientes local e de nuvem, para que você possa habilitar seus projetos no Azure em relação à configuração de nuvem. Aqui está um exemplo passo a passo de alternar ambientes de execução de pacote entre sua máquina local e o Azure:

Digamos que seu pacote contenha uma Tarefa do Sistema de Arquivos que define os atributos de um arquivo. Quando você o executa em sua máquina local, ele define os atributos de um arquivo armazenado em seu sistema de arquivos local. Ao executá-lo em seu IR do Azure-SSIS, você deseja que ele defina os atributos de um arquivo armazenado em Arquivos do Azure. Primeiro, crie um parâmetro de pacote do tipo string e nomeie-o FilePath para manter o valor do caminho do arquivo de destino.
Em seguida, na página Geral da janela File System Task Editor , parametrize a propriedade SourceVariable na seção Source Connection com o parâmetro FilePath package.
Por padrão, você tem uma configuração VS existente para execuções de pacotes no ambiente local chamado Desenvolvimento. Crie uma nova configuração VS para execuções de pacotes no ambiente de nuvem chamado Azure, consulte Criando uma nova configuração do VS, se você ainda não tiver feito isso.
Ao visualizar os parâmetros do seu pacote, selecione o botão Adicionar parâmetros às configurações para abrir a janela Gerenciar valores de parâmetro para o seu pacote. Em seguida, atribua valores diferentes do caminho do arquivo de destino ao parâmetro do pacote FilePath nas configurações de Desenvolvimento e Azure .
Habilite seu projeto do Azure na configuração de nuvem, consulte Projetos SSIS existentes habilitados para Azure, se você ainda não tiver feito isso. Em seguida, defina as configurações habilitadas para o Azure para habilitar a autenticação do Windows para seu IR do Azure-SSIS acessar os Arquivos do Azure, consulte Definindo configurações habilitadas para o Azure, se você ainda não tiver feito isso.
Execute seu pacote no Azure. Você pode alternar seu ambiente de execução de pacote de volta para sua máquina local selecionando a configuração de desenvolvimento .

Usando o arquivo de configuração do pacote

Se você usar arquivos de configuração de pacote no Modelo de Implantação de Pacote, poderá atribuir valores específicos do ambiente às propriedades do pacote em tempo de execução. Carregaremos automaticamente esses arquivos com seus pacotes nos Arquivos do Azure para execuções em seu IR do Azure-SSIS.

Verificando logs de execução do pacote

Depois de iniciar a execução do pacote, formataremos e exibiremos seus logs na janela Progresso do SSDT. Para um pacote de longa duração, atualizaremos periodicamente seus logs por minutos. Você pode cancelar imediatamente a execução do pacote selecionando o botão Parar na barra de ferramentas do SSDT. Você também pode encontrar temporariamente os dados brutos de seus logs no seguinte caminho UNC: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs, mas vamos limpá-los depois de um dia.

Limitações atuais

O SSDT habilitado para Azure suporta apenas regiões de nuvem comerciais/globais e não oferece suporte a regiões de nuvem governamentais/nacionais por enquanto.