Serviços vinculados no Azure Data Factory e no Azure Synapse Analytics
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Este artigo descreve o que são serviços vinculados, como eles são definidos no formato JSON e como são usados em no Azure Data Factory e no Azure Synapse Analytics.
Para saber mais, leia o artigo introdutório do Azure Data Factory ou Azure Synapse.
Visão geral
O Azure Data Factory e o Azure Synapse Analytics podem ter um ou mais pipelines. Um pipeline é um agrupamento lógico de atividades que juntas executam uma tarefa. As atividades em um pipeline definem ações para executar em seus dados. Por exemplo, você pode usar uma atividade Copy para copiar dados do SQL Server para um Armazenamento de Blobs do Azure. Em seguida, poderá usar uma atividade do Hive que executa um script Hive em um cluster HDInsight do Azure a fim de processar dados do armazenamento de Blobs para gerar dados de saída. Por fim, você pode usar uma segunda atividade Copy para copiar os dados de saída para o Azure Synapse Analytics, em que as soluções de relatório de BI (business intelligence) são criadas. Para obter mais informações sobre pipelines e atividades, consulte Pipelines e atividades.
Por outro lado, um conjunto de dados é uma exibição nomeada de dados que simplesmente aponta ou faz referência aos dados que você deseja usar em suas atividades como entradas e saídas.
Antes de criar um conjunto de dados, crie um serviço vinculado para vincular seu armazenamento de dados ao Data Factory ou ao Espaço de trabalho do Synapse. Serviços vinculados são como cadeias de conexão, que definem as informações de conexão necessárias para que o serviço se conecte a recursos externos. Pense dessa maneira: o conjunto de dados representa a estrutura dos dados nos armazenamentos de dados vinculados e o serviço vinculado define a conexão à fonte de dados. Por exemplo, um serviço vinculado do Armazenamento do Microsoft Azure vincula uma conta de armazenamento ao serviço. Um conjunto de dados de Blob do Azure representa o contêiner de blob e a pasta na conta de Armazenamento do Azure que contém os blobs de entrada a serem processados.
Veja abaixo um cenário de exemplo. Para copiar dados do armazenamento de Blob em um Banco de Dados SQL, crie dois serviços vinculados: Armazenamento do Azure e Banco de Dados SQL do Azure. Em seguida, crie dois conjuntos de dados: O conjunto de dados de Blob do Azure (que se refere ao serviço vinculado do Armazenamento do Azure) e o conjunto de dados de Tabela do SQL do Azure (que se refere ao serviço vinculado do Banco de Dados SQL do Azure). Os serviços vinculados do Armazenamento do Microsoft Azure e do Banco de Dados SQL do Azure contêm cadeias de caracteres de conexão que o serviço usa em runtime para se conectar respectivamente ao Armazenamento do Microsoft Azure e ao Banco de Dados SQL do Azure. O conjunto de dados de Blob do Azure especifica o contêiner de blobs e a pasta de blobs que contém os blobs de entrada no armazenamento de Blobs. O conjunto de dados de Tabela do SQL do Azure especifica a tabela do SQL no Banco de Dados SQL no qual os dados serão copiados.
O seguinte diagrama mostra a relação entre pipeline, atividade, conjunto de dados e serviço vinculado no serviço:
Serviço vinculado com interface do usuário
Para criar um serviço vinculado no Azure Data Factory Studio, selecione a guia Gerenciar e, em seguida, serviços vinculados, em que você pode ver todos os serviços vinculados existentes que você definiu. Selecione + Novo para criar um novo serviço vinculado.
Depois de selecionar + Novo para criar um novo serviço vinculado, você pode escolher qualquer um dos conectores com suporte e configurar seus detalhes adequadamente. Depois disso, você pode usar o serviço vinculado em qualquer pipeline que criar.
JOSN de serviço vinculado
Um serviço vinculado é definido no formato JSON da seguinte maneira:
{
"name": "<Name of the linked service>",
"properties": {
"type": "<Type of the linked service>",
"typeProperties": {
"<data store or compute-specific type properties>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
A tabela a seguir descreve as propriedades no JSON acima:
| Propriedade | Descrição | Obrigatório |
|---|---|---|
| name | Nome do serviço vinculado. Consulte Regras de nomenclatura. | Sim |
| type | Tipo de serviço vinculado. Por exemplo: AzureBlobStorage (armazenamento de dados) ou AzureBatch (computação). Consulte a descrição de typeProperties. | Sim |
| typeProperties | As propriedades de tipo são diferentes para cada armazenamento de dados ou de computação. Para os tipos de armazenamento de dados suportados e as respectivas propriedades de tipo, confira o artigo sobre visão geral do conector. Navegue até o artigo de conector do armazenamento de dados para saber mais sobre as propriedades de tipo específicas para um armazenamento de dados. Para os tipos de computação suportados e suas propriedades de tipo, consulte serviços vinculados de computação. |
Sim |
| connectVia | O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Você pode usar o Integration Runtime do Azure ou o Integration Runtime auto-hospedado (se o armazenamento de dados estiver localizado em uma rede privada). Se não for especificado, ele usa o Integration Runtime padrão do Azure. | Não |
Exemplo de serviço vinculado
O seguinte é um serviço vinculado do Armazenamento do Azure. Observe que o tipo é definido como Armazenamento do Azure. As propriedades de tipo para o serviço vinculado do Armazenamento do Azure incluem uma cadeia de conexão. O serviço usa essa cadeia de conexão para se conectar ao armazenamento de dados em runtime.
{
"name": "AzureBlobStorageLinkedService",
"properties": {
"type": "AzureBlobStorage",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Criar serviços vinculados
Os serviços vinculados podem ser criados no Azure Data Factory UX por meio do hub de gerenciamento, assim como quaisquer atividades, conjuntos de dados ou fluxos de dado que façam referência a eles.
Você pode criar serviços vinculados usando uma dessas ferramentas ou SDKs: .NET API, PowerShell, API REST, Modelo do Azure Resource Manager e portal do Azure.
Ao criar um serviço vinculado, o usuário precisa de autorização apropriada para o serviço designado. Se o acesso suficiente não for concedido, o usuário não poderá ver os recursos disponíveis e precisará usar a opção de entrada manual.
Serviços vinculados do armazenamento de dados
Encontre a lista de armazenamentos de dados com suporte no artigo Visão geral do conector. Selecione um armazenamento de dados para saber as propriedades de conexão com suporte.
Serviços vinculados de computação
Referencie ambientes de computação com suporte para detalhes sobre diferentes ambientes de computação aos quais você pode se conectar do serviço e das diferentes configurações.
Conteúdo relacionado
Confira os tutoriais a seguir para obter instruções passo a passo para criar pipelines e conjuntos de dados usando uma destas ferramentas ou SDKs.