Incluir um procedimento armazenado de transformação de dados em um pipeline
Encapsular uma instrução CREATE EXTERNAL TABLE AS SELECT (CETAS) em um procedimento armazenado facilita a operacionalização de transformações de dados que você talvez precise executar repetidamente. No Azure Synapse Analytics e Azure Data Factory, você pode criar pipelines que se conectam a serviços vinculados, incluindo contas de armazenamento do Azure Data Lake Store Gen2 que hospedam arquivos data lake e pools de SQL sem servidor; permitindo que você chame seus procedimentos armazenados como parte de um pipeline de ETL (extração, transformação e carregamento de dados) geral.
Por exemplo, você pode criar um pipeline que inclua as seguintes atividades:
- Uma atividade Delete que exclui a pasta de destino para os dados transformados no data lake se ele já existir.
- Uma atividade de Stored procedure que se conecta ao pool de SQL sem servidor e executa o procedimento armazenado que encapsula sua operação cetas.
A criação de um pipeline para a transformação de dados permite que você agende a operação que deve ser executada em horários específicos ou com base em eventos específicos (como no caso de novos arquivos que estão sendo adicionados ao local de armazenamento de origem).
Dica
Para obter mais informações sobre como usar a atividade Stored procedure em um pipeline, consulte Transformar dados usando a atividade Stored procedure do SQL Server no Azure Data Factory ou no Synapse Analytics na documentação do Azure Data Factory.