Incluir um procedimento armazenado de transformação de dados em um pipeline
O encapsulamento de uma CREATE EXTERNAL TABLE AS SELECT instrução (CETAS) em um procedimento armazenado facilita a operacionalização de transformações de dados que talvez seja necessário executar repetidamente. No Azure Synapse Analytics e no Azure Data Factory, você pode criar pipelines que se conectam a serviços vinculados, incluindo contas de armazenamento do Azure Data Lake Store Gen2 que hospedam arquivos de data lake e pools SQL sem servidor, permitindo que você chame seus procedimentos armazenados como parte de um pipeline geral de extração, transformação e carregamento de dados (ETL).
Por exemplo, você pode criar um pipeline que inclua as seguintes atividades:
- Uma atividade Delete que exclui a pasta de destino dos dados transformados no data lake, se ela já existir.
- Uma atividade de procedimento armazenado que se conecta ao pool SQL sem servidor e executa o procedimento armazenado que encapsula a operação CETAS.
A criação de um pipeline para a transformação de dados permite agendar a operação para ser executada em momentos específicos ou com base em eventos específicos (como novos arquivos sendo adicionados ao local de armazenamento de origem).
Gorjeta
Para obter mais informações sobre como usar a atividade de procedimento armazenado em um pipeline, consulte Transformar dados usando a atividade de procedimento armazenado do SQL Server no Azure Data Factory ou Synapse Analytics na documentação do Azure Data Factory.