Ambientes de computação compatíveis com os pipelines do Azure Data Factory e do Synapse

Artigo
10/03/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Importante

O suporte para o Estúdio do Azure Machine Learning (clássico) terminará em 31 de agosto de 2024. Recomendamos que você faça a transição para o Azure Machine Learning até essa data.

A partir de 1º de dezembro de 2021, não é possível criar novos recursos do Estúdio do Machine Learning (clássico) (workspace e plano de serviço Web). Até 31 de agosto de 2024, você pode continuar a usar os experimentos e serviços Web existentes do Estúdio do Machine Learning (clássico). Para saber mais, veja:

A documentação do Machine Learning Studio (clássico) está sendo desativada e pode não ser atualizada no futuro.

Este artigo explica diferentes ambientes de computação que você pode usar para processar ou transformar dados. Também são fornecidos detalhes sobre as diferentes configurações (sob demanda versus traga a sua própria) com suporte ao configurar serviços vinculados que vinculam esses ambientes de computação.

A tabela a seguir fornece uma lista dos ambientes de computação com suporte e as atividades que podem ser executadas neles.

Ambiente de computação	Atividades
Cluster HDInsight sob demanda ou seu próprio cluster HDInsight	Hive, Pig, Spark, MapReduce, Hadoop Streaming
Lote do Azure	Custom
ML Studio (clássico)	Atividades do ML Studio (clássico): Execução do lote e Atualização de recurso
Azure Machine Learning	Pipeline de execução do Azure Machine Learning
Azure Data Lake Analytics	U-SQL da Análise Data Lake
SQL do Azure, Azure Synapse Analytics ou SQL Server	Procedimento armazenado
Azure Databricks	Notebook, Jar, Python
Azure Synapse Analytics (Artifacts)	Atividade do Synapse Notebook, Definição de trabalho do Synapse Spark
Azure Function	Atividade do Azure Function

Ambiente de computação HDInsight

Consulte a tabela abaixo para ver detalhes sobre os tipos de serviço vinculado de armazenamento com suporte para a configuração no ambiente sob demanda e BYOC (Traga Seu Próprio Ambiente de Computação).

Em serviço vinculado de computação	Nome da propriedade	Descrição	Blob	ADLS Gen2	BD SQL do Azure	ADLS Gen 1
Sob demanda	linkedServiceName	Serviço vinculado do Armazenamento do Azure a ser usado pelo cluster sob demanda para armazenar e processar dados.	Sim	Sim	Não	Não
	additionalLinkedServiceNames	Especifica contas de armazenamento adicionais para o serviço vinculado do HDInsight para que o serviço possa registrá-las em seu nome.	Sim	Não	No	Não
	hcatalogLinkedServiceName	O nome do serviço vinculado do SQL Azure que aponta para o banco de dados HCatalog. O cluster HDInsight sob demanda é criado usando o banco de dados SQL do Azure como o metastore.	Não	No	Sim	Não
BYOC	linkedServiceName	Referência de serviço vinculado do Armazenamento do Microsoft Azure.	Sim	Sim	Não	Não
	additionalLinkedServiceNames	Especifica contas de armazenamento adicionais para o serviço vinculado do HDInsight para que o serviço possa registrá-las em seu nome.	Não	No	No	Não
	hcatalogLinkedServiceName	Uma referência ao serviço vinculado do SQL Azure que aponta para o banco de dados HCatalog.	Não	No	No	Não

Serviço vinculado do Azure HDInsight sob demanda

Nesse tipo de configuração, o ambiente de computação é totalmente gerenciado pelo serviço. Ele é criado automaticamente pelo serviço antes de um trabalho ser enviado para processar os dados e é removido após a conclusão do trabalho. Você pode criar um serviço vinculado para o ambiente de computação sob demanda, configurá-lo e controlar as configurações granulares da execução do trabalho, gerenciamento de cluster e ações de inicialização.

Observação

A configuração sob demanda tem suporte somente para clusters do Azure HDInsight. O Azure Databricks também dá suporte a trabalhos sob demanda usando clusters de trabalho. Para obter mais informações, consulte Serviço vinculado do Azure Databricks.

O serviço pode criar automaticamente um cluster HDInsight sob demanda para processar dados. O cluster é criado na mesma região que a conta de armazenamento (propriedade linkedServiceName em JSON) associada ao cluster. A conta de armazenamento must deve ser uma conta de Armazenamento do Azure padrão de uso geral.

Observe os seguintes pontos importantes sobre o serviço vinculado HDInsight sob demanda:

O cluster HDInsight sob demanda é criado sob sua assinatura do Azure. Quando o cluster estiver ativo e em execução, você poderá vê-lo em seu Portal do Azure.
Os logs para trabalhos que são executados em um cluster HDInsight sob demanda são copiados para a conta de armazenamento associada ao cluster HDInsight. clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword determinados em sua definição de serviço vinculado são usados para fazer logon no cluster para solução de problemas detalhada durante o ciclo de vida do cluster.
Você é cobrado somente pelo tempo em que o cluster HDInsight estiver ativo e executando trabalhos.
Você pode usar uma Ação de Script com o serviço vinculado do Azure HDInsight sob demanda.

Importante

Em geral, são necessários 20 minutos ou mais para provisionar um cluster Azure HDInsight sob demanda.

Exemplo

O JSON a seguir define um serviço vinculado HDInsight sob demanda baseado em Linux. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade solicitada.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Importante

O cluster HDInsight cria um contêiner padrão no armazenamento de blobs especificado no JSON (nomeServiçoVinculado). O HDInsight não exclui esse contêiner quando o cluster é excluído. Este comportamento ocorre por design. Com o serviço vinculado HDInsight sob demanda, um cluster HDInsight é criado sempre que uma fatia precisa ser processada, a menos que haja um cluster ativo existente (timeToLive), e é excluído quando o processamento é concluído.

Conforme mais atividades forem executadas, você verá muitos contêineres no Armazenamento de Blobs do Azure. Se você não precisa deles para solução de problemas dos trabalhos, convém excluí-los para reduzir o custo de armazenamento. Os nomes desses contêineres seguem um padrão: adf**yourfactoryorworkspacename**-**linkedservicename**-datetimestamp. Use ferramentas como o Gerenciador de Armazenamento do Microsoft Azure para excluir contêineres do armazenamento de blobs do Azure.

Propriedades

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo deve ser configurada como HDInsightOnDemand.	Sim
clusterSize	Número de nós de trabalho/dados no cluster. O cluster HDInsight é criado com 2 nós principais juntamente com o número de nós de trabalho que você especifica para esta propriedade. Os nós são do tamanho Standard_D3 que tem 4 núcleos; portanto, um cluster de 4 nós de trabalho usa 24 núcleos (44 = 16 núcleos para nós de trabalho + 24 = 8 núcleos para nós de cabeçalho). Consulte Configurar clusters no HDInsight com Hadoop, Spark, Kafka e mais para obter detalhes.	Sim
linkedServiceName	Serviço vinculado do Armazenamento do Azure a ser usado pelo cluster sob demanda para armazenar e processar dados. O cluster HDInsight é criado na mesma região que essa conta de Armazenamento do Azure. O Azure HDInsight tem uma limitação para o número total de núcleos que você pode usar em cada região do Azure a que ele dá suporte. Verifique se que você tem cotas de núcleo suficientes nessa região do Azure a fim de atender o clusterSize necessário. Para obter detalhes, consulte Configurar clusters no HDInsight com Hadoop, Spark, Kafka e mais Atualmente, não é possível criar um cluster HDInsight sob demanda que use um Azure Data Lake Storage (Gen 2) como o armazenamento. Se você quiser armazenar os dados resultantes do processamento do HDInsight em um Azure Data Lake Storage (Gen 2), use uma Atividade de Cópia para copiar os dados do Armazenamento de Blobs do Azure para o Azure Data Lake Storage (Gen 2).	Sim
clusterResourceGroup	O cluster HDInsight é criado nesse grupo de recursos.	Sim
timeToLive	O tempo ocioso permitido para o cluster HDInsight sob demanda. Especifica quanto tempo o cluster HDInsight sob demanda permanece ativo após a conclusão de uma atividade executada se não há nenhum outro trabalho ativo no cluster. O mínimo valor permitido é de 5 minutos (00:05:00). Por exemplo, se uma execução de atividade demora 6 minutos e o timetolive é definido como 5 minutos, o cluster fica ativo durante 5 minutos após a execução de 6 minutos de execução da atividade. Se outra atividade é executada com a janela de 6 minutos, ela é processada pelo mesmo cluster. A criação de um cluster HDInsight sob demanda é uma operação cara (pode demorar um pouco), portanto, use essa configuração conforme o necessário para melhorar o desempenho do serviço com a reutilização de um cluster HDInsight sob demanda. Se você definir o valor de timetolive como 0, o cluster é excluído assim que a atividade executada é processada. Enquanto que, se você definir um valor alto, o cluster poderá permanecer ocioso para que você faça logon a fim de realizar alguma solução de problemas, mas isso poderá resultar em altos custos. Portanto, é importante que você defina o valor apropriado com base em suas necessidades. Se o valor da propriedade timetolive foi definido apropriadamente, vários pipelines podem compartilhar a instância do cluster HDInsight sob demanda.	Sim
clusterType	O tipo do cluster HDInsight a ser criado. Os valores permitidos são "hadoop" e "spark". Se não for especificado, o valor padrão será hadoop. O cluster habilitado pelo Enterprise Security Package não pode ser criado sob demanda, em vez disso, use um cluster existente/traga sua própria computação.	Não
version	Versão do cluster HDInsight Se não for especificada, será usada a versão padrão atual definida do HDInsight.	Não
hostSubscriptionId	A ID de assinatura do Azure usada para criar o cluster HDInsight. Se não for especificada, será usada a ID da assinatura de seu contexto de logon do Azure.	Não
clusterNamePrefix	O prefixo do nome do cluster HDI, um carimbo de data/hora, é acrescentado automaticamente ao final do nome do cluster	Não
sparkVersion	A versão do Spark se o tipo de cluster for "Spark"	Não
additionalLinkedServiceNames	Especifica contas de armazenamento adicionais para o serviço vinculado do HDInsight para que o serviço possa registrá-las em seu nome. Essas contas de armazenamento devem estar na mesma região que o cluster HDInsight, que é criado na mesma região que a conta de armazenamento especificada por linkedServiceName.	Não
osType	Tipo do sistema operacional. Valores permitidos são: Linux e Windows (somente para HDInsight 3.3). O padrão é Linux.	Não
hcatalogLinkedServiceName	O nome do serviço vinculado do SQL Azure que aponta para o banco de dados HCatalog. O cluster HDInsight sob demanda é criado usando o banco de dados SQL do Azure como o metastore.	Não
connectVia	O Integration Runtime a ser usado para distribuir as atividades a esse serviço vinculado do HDInsight. Em relação ao serviço vinculado do HDInsight sob demanda, há suporte apenas para o Integration Runtime do Azure. Se não for especificado, ele usa o Integration Runtime padrão do Azure.	Não
clusterUserName	O nome de usuário para acessar o cluster.	Não
clusterPassword	A senha no tipo de cadeia de caracteres segura para acessar o cluster.	Não
clusterSshUserName	O nome de usuário SSH para conectar-se remotamente ao nó do cluster (para Linux).	Não
clusterSshPassword	A senha no tipo de cadeia de caracteres segura para conectar remotamente o nó do cluster por SSH (para Linux).	Não
scriptActions	Especifique o script para personalizações de cluster do HDInsight durante a criação do cluster sob demanda. Atualmente, a ferramenta de criação de interface do usuário dá suporte à especificação de apenas uma ação de script, mas você pode superar essa limitação no JSON (especificar várias ações de script no JSON).	Não

Importante

O HDInsight dá suporte a várias versões do cluster Hadoop que podem ser implantadas. Cada opção de versão cria uma versão específica da distribuição de HDP (Hortonworks Data Platform) e um conjunto de componentes contidos nessa distribuição. A lista de versões com suporte do HDInsight continua sendo atualizada para fornecer as correções e os componentes mais recentes do ecossistema do Hadoop. Verifique sempre as informações mais recentes de Versão e tipo de sistema operacional do HDInsight com suporte a fim de garantir que você use uma versão do HDInsight com suporte.

Importante

Atualmente, os serviços vinculados do HDInsight não dão suporte a HBase, Interactive Query (Hive LLAP) e Storm.

Exemplo de JSON additionalLinkedServiceNames

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Autenticação de entidade de serviço

O serviço vinculado do HDInsight sob demanda exige uma autenticação de entidade de serviço para criar clusters HDInsight em seu nome. Para usar a autenticação de entidade de serviço, registre uma entidade de aplicativo no Microsoft Entra ID e a atribua à função Colaborador da assinatura ou do grupo de recursos no qual o cluster HDInsight será criado. Para obter as etapas detalhadas, confira Usar o portal para criar um aplicativo do Microsoft Entra e uma entidade de serviço que possa acessar recursos. Anote os seguintes valores, que são usados para definir o serviço vinculado:

ID do aplicativo
Chave do aplicativo
ID do locatário

Use a autenticação de entidade de serviço especificando as seguintes propriedades:

Propriedade	Descrição	Obrigatório
servicePrincipalId	Especifique a ID do cliente do aplicativo.	Sim
servicePrincipalKey	Especifique a chave do aplicativo.	Sim
tenant	Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. É possível recuperá-las focalizando o mouse no canto superior direito do Portal do Azure.	Sim

Propriedades avançadas

Você também pode especificar as seguintes propriedades para a configuração granular do cluster HDInsight sob demanda.

Propriedade	Descrição	Obrigatório
coreConfiguration	Especifica os parâmetros de configuração principal (como core-site. xml) para o cluster HDInsight a ser criado.	Não
hBaseConfiguration	Especifica os parâmetros de configuração HBase (hbase-site.xml) para o cluster HDInsight.	Não
hdfsConfiguration	Especifica os parâmetros de configuração HDFS (hdfs-site.xml) para o cluster HDInsight.	Não
hiveConfiguration	Especifica os parâmetros de configuração do hive (hive-site.xml) para o cluster HDInsight.	Não
mapReduceConfiguration	Especifica os parâmetros de configuração do MapReduce (mapred-site.xml) para o cluster HDInsight.	Não
oozieConfiguration	Especifica os parâmetros de configuração do Oozie (oozie-site.xml) para o cluster HDInsight.	Não
stormConfiguration	Especifica os parâmetros de configuração do Storm (storm-site.xml) para o cluster HDInsight.	Não
yarnConfiguration	Especifica os parâmetros de configuração do Yarn (yarn-site.xml) para o cluster HDInsight.	Não

Exemplo - Configuração do cluster HDInsight sob demanda com propriedades avançadas

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Tamanhos dos nós

Você pode especificar os tamanhos de nós de dados, principais e zookeeper usando as seguintes propriedades:

Propriedade	Descrição	Obrigatório
headNodeSize	Especificar o tamanho do nó principal O valor padrão é: Standard_D3. Veja a seção Especificando tamanhos dos nós para obter detalhes.	Não
dataNodeSize	Especifica o tamanho do nó principal O valor padrão é: Standard_D3.	Não
zookeeperNodeSize	Especifica o tamanho do nó Zoo Keeper. O valor padrão é: Standard_D3.	Não

Especificação de tamanhos de nó Veja o artigo Tamanhos de máquinas virtuais para obter valores de cadeia de caracteres que você precisa especificar para as propriedades mencionadas na seção anterior. Os valores precisam estar em conformidade com os CMDLETs e as APIS mencionadas no artigo. Como você pode ver neste artigo, o nó de dados de tamanho Grande (padrão) tem 7 GB de memória, que pode não ser suficiente para seu cenário.

Se quiser criar nós de cabeçalho e nós de trabalho em tamanho D4, especifique Standard_D4 como o valor das propriedades headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se especificar um valor incorreto para essas propriedades, você pode receber o seguinte erro: falha ao criar o cluster. Exceção: Não foi possível concluir a operação de criação do cluster. Falha na operação com o código '400'. Cluster deixou para trás estado: “Erro”. Mensagem: 'PreClusterCreationValidationFailure'. Quando receber esse erro, verifique se está usando o nome CMDLET e APIS da tabela no artigo Tamanhos de Máquinas Virtuais.

Traga seu próprio ambiente de computação

Nesse tipo de configuração, os usuários podem registrar um ambiente de computação já existente como um serviço vinculado. O ambiente de computação é gerenciado pelo usuário e o serviço o utiliza para executar as atividades.

Esse tipo de configuração tem suporte para os ambientes de computação a seguir:

Azure HDInsight
Lote do Azure
Azure Machine Learning
Análise Azure Data Lake
Banco de Dados SQL do Azure, Azure Synapse Analytics, SQL Server

Serviço vinculado do Azure HDInsight

Você pode criar um serviço vinculado ao Azure HDInsight para registrar seu próprio cluster com espaço de trabalho de uma data factory ou do Synapse.

Exemplo

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Propriedades

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo deve ser configurada como HDInsight.	Sim
clusterUri	A URI do cluster HDInsight.	Sim
Nome de Usuário	Especifique o nome do usuário a ser usado para se conectar a um cluster HDInsight existente.	Sim
password	Especifique a senha para a conta de usuário.	Sim
linkedServiceName	Nome do serviço vinculado do Armazenamento do Azure que faz referência ao Armazenamento de Blobs usado pelo cluster HDInsight. No momento, você não pode especificar um serviço vinculado do Azure Data Lake Storage (Gen 2) para essa propriedade. Você pode acessar dados no Azure Data Lake Storage (Gen 2) usando scripts Hive/Pig se o cluster HDInsight tiver acesso ao Data Lake Store.	Sim
isEspEnabled	Especifique 'true' se o cluster HDInsight for habilitado para o Enterprise Security Package. O padrão é 'false'.	Não
connectVia	O Integration Runtime a ser usado para distribuir as atividades a esse serviço vinculado. Você pode usar o Integration Runtime do Azure ou Integration Runtime auto-hospedado. Se não for especificado, ele usa o Integration Runtime padrão do Azure. Para o cluster HDInsight habilitado para o ESP (Enterprise Security Package), use um runtime de integração auto-hospedada que tenha uma linha de visão para o cluster ou ele deve ser implantado dentro da mesma Rede Virtual que o cluster HDInsight ESP.	Não

Importante

Atualmente, os serviços vinculados do HDInsight não dão suporte a HBase, Interactive Query (Hive LLAP) e Storm.

Serviço vinculado do Lote do Azure

Observação

Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Para começar, consulte Instalar o Azure PowerShell. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.

Você pode criar um serviço vinculado do Lote do Azure para registrar um pool de lote de máquinas virtuais (VMs) para um espaço de trabalho de dados ou do Synapse. Você pode executar a atividade personalizada usando o Lote do Azure.

Veja os artigos a seguir se você for novo no serviço de Lote do Azure:

Noções básicas do Lote do Azure para obter uma visão geral do serviço de Lote do Azure.
cmdlet New-AzBatchAccount para criar uma conta do Lote do Azure (ou) o portal do Azure para criar a conta do Lote do Azure usando o portal do Azure. Consulte o artigo Usando o PowerShell para gerenciar a conta do Lote do Azure para obter instruções detalhadas sobre como usar este cmdlet.
Cmdlet New-AzBatchPool para criar um pool do Lote do Azure.

Importante

Ao criar um novo pool do Lote do Azure, “VirtualMachineConfiguration” deve ser usado, e NÃO “CloudServiceConfiguration”. Para obter mais detalhes, confira as diretrizes de migração do pool do Lote do Azure.

Exemplo

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Propriedades

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo deve ser definida como AzureBatch.	Sim
accountName	Nome da conta do Lote do Azure.	Sim
accessKey	Tecla de acesso para a conta do Lote do Azure.	Sim
batchUri	URL de sua conta do Lote do Azure, no formato de https://batchaccountname.region.batch.azure.com.	Sim
poolName	Nome do pool de máquinas virtuais.	Sim
linkedServiceName	Nome do serviço vinculado do Armazenamento do Azure associado ao serviço vinculado de Lote do Azure. Esse serviço vinculado é usado para preparar os arquivos necessários para executar a atividade.	Sim
connectVia	O Integration Runtime a ser usado para distribuir as atividades a esse serviço vinculado. Você pode usar o Integration Runtime do Azure ou Integration Runtime auto-hospedado. Se não for especificado, ele usa o Integration Runtime padrão do Azure.	Não

Serviço vinculado do Machine Learning Studio (clássico)

Importante

O suporte para o Estúdio do Azure Machine Learning (clássico) terminará em 31 de agosto de 2024. Recomendamos que você faça a transição para o Azure Machine Learning até essa data.

A documentação do Machine Learning Studio (clássico) está sendo desativada e pode não ser atualizada no futuro.

Você cria um serviço vinculado do Machine Learning Studio (clássico) para registrar um ponto de extremidade de pontuação do lote do Machine Learning Studio (clássico) em uma data factory ou espaço de trabalho do Synapse.

Exemplo

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Propriedades

Propriedade	Descrição	Obrigatório
Type	A propriedade de tipo deve ser configurada como: AzureML.	Sim
mlEndpoint	A URL de pontuação do lote.	Sim
apiKey	A API do modelo de espaço de trabalho publicada.	Sim
updateResourceEndpoint	A URL do recurso de atualização para um ponto de extremidade de serviço Web do ML Studio (clássico) usado para atualizar o serviço Web preditivo com o arquivo de modelo treinado	Não
servicePrincipalId	Especifique a ID do cliente do aplicativo.	Necessária se a updateResourceEndpoint for especificada
servicePrincipalKey	Especifique a chave do aplicativo.	Necessária se a updateResourceEndpoint for especificada
locatário	Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. É possível recuperá-las focalizando o mouse no canto superior direito do Portal do Azure.	Necessária se a updateResourceEndpoint for especificada
connectVia	O Integration Runtime a ser usado para distribuir as atividades a esse serviço vinculado. Você pode usar o Integration Runtime do Azure ou Integration Runtime auto-hospedado. Se não for especificado, ele usa o Integration Runtime padrão do Azure.	Não

Serviço vinculado do Azure Machine Learning

Você cria um serviço vinculado do Azure Machine Learning para conectar um espaço de trabalho do Azure Machine Learning a uma data factory ou espaço de trabalho do Synapse.

Observação

Atualmente, somente a autenticação de entidade de serviço tem suporte para o serviço vinculado do Azure Machine Learning.

Exemplo

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades

Propriedade	Descrição	Obrigatório
Type	A propriedade de tipo deve ser configurada como: AzureMLService.	Sim
subscriptionId	ID de assinatura do Azure	Sim
resourceGroupName	name	Sim
mlWorkspaceName	Nome de workspace do Azure Machine Learning	Sim
servicePrincipalId	Especifique a ID do cliente do aplicativo.	Sim
servicePrincipalKey	Especifique a chave do aplicativo.	Sim
locatário	Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. É possível recuperá-las focalizando o mouse no canto superior direito do Portal do Azure.	Necessária se a updateResourceEndpoint for especificada
connectVia	O Integration Runtime a ser usado para distribuir as atividades a esse serviço vinculado. Você pode usar o Integration Runtime do Azure ou Integration Runtime auto-hospedado. Se não for especificado, ele usa o Integration Runtime padrão do Azure.	Não

Serviço vinculado do Azure Data Lake Analytics

Você cria um serviço vinculado do Azure Data Lake Analytics para vincular um serviço de computação do Azure Data Lake Analytics a uma data factory ou espaço de trabalho do Synapse. A atividade de U-SQL do Data Lake Analytics no pipeline se refere a esse serviço vinculado.

Exemplo

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades

Propriedade	Descrição	Obrigatório
type	A propriedade de tipo deve ser configurada como: AzureDataLakeAnalytics.	Sim
accountName	Nome da conta da Análise Azure Data Lake.	Sim
dataLakeAnalyticsUri	URI da Análise Azure Data Lake.	Não
subscriptionId	ID de assinatura do Azure	Não
resourceGroupName	Nome do grupo de recursos do Azure	Não
servicePrincipalId	Especifique a ID do cliente do aplicativo.	Sim
servicePrincipalKey	Especifique a chave do aplicativo.	Sim
locatário	Especifique as informações de locatário (domínio nome ou ID do Locatário) em que o aplicativo reside. É possível recuperá-las focalizando o mouse no canto superior direito do Portal do Azure.	Sim
connectVia	O Integration Runtime a ser usado para distribuir as atividades a esse serviço vinculado. Você pode usar o Integration Runtime do Azure ou Integration Runtime auto-hospedado. Se não for especificado, ele usa o Integration Runtime padrão do Azure.	Não

Serviço vinculado do Azure Databricks

É possível criar o serviço vinculado do Azure Databricks para registrar o workspace do Databricks que você usa para executar as cargas de trabalho do Databricks (blocos de notas, jar, python).

Importante

Os serviços vinculados ao Databricks dão suporte a pools de instâncias e autenticação de identidade gerenciada atribuída pelo sistema.

Exemplo - Usar o novo cluster de trabalho no Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Exemplo - Usar o cluster interativo existente no Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Propriedades

Propriedade	Descrição	Obrigatório
name	Nome do serviço vinculado	Sim
type	A propriedade de tipo deve ser configurada como: Azure Databricks.	Sim
domínio	Especifique a Região do Azure de acordo com a região do workspace do Databricks. Exemplo: https://eastus.azuredatabricks.net	Sim
accessToken	O token de acesso é necessário para que o serviço seja autenticado no Azure Databricks. O token de acesso precisa ser gerado a partir do workspace do Databricks. Etapas mais detalhadas para encontrar o token de acesso podem ser encontradas aqui	Não
MSI	Use a identidade gerenciada do serviço (atribuída pelo sistema) para autenticar no Azure Databricks. Você não precisa do token de acesso ao usar a autenticação “MSI”. Mais detalhes sobre a autenticação de identidade gerenciada podem ser encontrados aqui	Não
existingClusterId	ID do cluster de um cluster existente para executar todos os trabalhos. Esse deve ser um cluster interativo já criado. Talvez seja necessário reiniciar manualmente o cluster se ele parar de responder. O Databricks sugerem a execução de trabalhos em novos clusters para maior confiabilidade. Você pode encontrar a ID do cluster de um cluster interativo no workspace do Databricks -> Clusters -> Nome do Cluster Interativo -> Configuração -> Marcas. Mais detalhes	Não
instancePoolId	ID do pool de instâncias de um pool existente no espaço de trabalho do Databricks.	Não
newClusterVersion	A versão do Spark do cluster. Ele cria um cluster de trabalho no Databricks.	Não
newClusterNumOfWorker	Número de nós de trabalho que esse cluster deve ter. Um cluster possui um Spark Driver e um num_workers Executors para um total de num_workers + 1 nós do Spark. Uma cadeia de caracteres no formato Int32, como "1", significa que numOfWorker é 1 ou "1:10" significa dimensionamento automático de 1 como mínimo e 10 como máximo.	Não
newClusterNodeType	Esse campo codifica, por meio de um único valor, os recursos disponíveis para cada um dos nós do Spark neste cluster. Por exemplo, os nós do Spark podem ser provisionados e otimizados para cargas de trabalho intensivas de computação e memória. Esse campo é necessário para um novo cluster	Não
newClusterSparkConf	um conjunto opcional de pares chave-valor de configuração do Spark especificado pelo usuário. Os usuários também podem passar de uma cadeia de caracteres de opções adicionais da JVM para o driver e os executores via spark.driver.extraJavaOptions e spark.executor.extraJavaOptions respectivamente.	Não
newClusterInitScripts	um conjunto de scripts de inicialização opcionais, definidos pelo usuário, para o novo cluster. Você pode especificar os scripts de inicialização nos arquivos do espaço de trabalho (recomendado) ou por meio do caminho DBFS (legado).	Não

Serviço vinculado para o Banco de Dados SQL do Azure

Você cria um serviço vinculado ao SQL do Azure e o utiliza com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Confira o artigo Conector SQL do Azure para saber mais sobre esse serviço vinculado.

Serviço vinculado ao Azure Synapse Analytics

Você cria um serviço vinculado ao Azure Synapse Analytics e o usa com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Confira o artigo Conector do Azure Synapse Analytics para saber mais sobre esse serviço vinculado.

Serviço vinculado do SQL Server

Você cria um serviço vinculado do SQL Server e o utiliza com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Confira o artigo Conector SQL Server para saber mais sobre esse serviço vinculado.

Serviço vinculado do Azure Synapse Analytics (Artifacts)

Você cria um serviço vinculado ao Azure Synapse Analytics (Artefatos) e o utiliza com a Atividade do Synapse Notebook e a Atividade de definição de trabalho do Synapse Spark.

Exemplo

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades

Propriedade	Descrição	Necessário
name	Nome do serviço vinculado	Sim
descrição	descrição do Serviço Vinculado	Não
annotations	anotações do Serviço Vinculado	Não
type	A propriedade Tipo deve ser definida como AzureSynapseArtifacts	Sim
endpoint	A URL do Azure Synapse Analytics	Yes
autenticação	A configuração padrão é Identidade Gerenciada Atribuída pelo Sistema	Sim
workspaceResourceId	ID do recurso do espaço de trabalho	Sim
connectVia	O runtime de integração a ser usado para se conectar ao armazenamento de dados. Você pode usar o Azure Integration Runtime. Se não for especificado, ele usa o Integration Runtime padrão do Azure. No momento, não há suporte para o runtime de integração auto-hospedada.	Sim

Serviço de função vinculado do Azure

Você cria um serviço vinculado do Azure Functions e o utiliza com a atividade do Azure Functions para executar o Azure Functions em um pipeline. O tipo de retorno da função do Azure deve ser um JObject válido. (Lembre-se de que JArraynão é um JObject.) Qualquer tipo de retorno diferente de JObject falha e gera o erro do usuário O conteúdo da resposta não é um JObject válido.

Propriedade	Descrição	Necessário
type	A propriedade type deve ser definida como: AzureFunction	sim
url do aplicativo de função	URL para o Aplicativo de Funções do Azure. O formato é `https://<accountname>.azurewebsites.net`. Essa URL é o valor na seção URL ao exibir o Aplicativo de funções no portal do Azure	sim
teclas de função	Tecla de acesso para o Azure Function. Clique na seção Gerenciar seção para a função respectiva e copie-a na Tecla de Função ou na Tecla Host. Saiba mais aqui: Trabalhar com chaves de acesso	sim

Para obter uma lista de atividades de transformação compatíveis, consulte Transformação de dados.

Compartilhar via

Ambientes de computação compatíveis com os pipelines do Azure Data Factory e do Synapse

Ambiente de computação HDInsight

Serviço vinculado do Azure HDInsight sob demanda

Exemplo

Propriedades

Autenticação de entidade de serviço

Propriedades avançadas

Tamanhos dos nós

Traga seu próprio ambiente de computação

Serviço vinculado do Azure HDInsight

Exemplo

Propriedades

Serviço vinculado do Lote do Azure

Exemplo

Propriedades

Serviço vinculado do Machine Learning Studio (clássico)

Exemplo

Propriedades

Serviço vinculado do Azure Machine Learning

Exemplo

Propriedades

Serviço vinculado do Azure Data Lake Analytics

Exemplo

Propriedades

Serviço vinculado do Azure Databricks

Exemplo - Usar o novo cluster de trabalho no Databricks

Exemplo - Usar o cluster interativo existente no Databricks

Propriedades

Serviço vinculado para o Banco de Dados SQL do Azure

Serviço vinculado ao Azure Synapse Analytics

Serviço vinculado do SQL Server

Serviço vinculado do Azure Synapse Analytics (Artifacts)

Exemplo

Propriedades

Serviço de função vinculado do Azure

Comentários

Recursos adicionais

Compartilhar via

Ambientes de computação compatíveis com os pipelines do Azure Data Factory e do Synapse

Ambiente de computação HDInsight

Serviço vinculado do Azure HDInsight sob demanda

Exemplo

Propriedades

Autenticação de entidade de serviço

Propriedades avançadas

Tamanhos dos nós

Traga seu próprio ambiente de computação

Serviço vinculado do Azure HDInsight

Exemplo

Propriedades

Serviço vinculado do Lote do Azure

Exemplo

Propriedades

Serviço vinculado do Machine Learning Studio (clássico)

Exemplo

Propriedades

Serviço vinculado do Azure Machine Learning

Exemplo

Propriedades

Serviço vinculado do Azure Data Lake Analytics

Exemplo

Propriedades

Serviço vinculado do Azure Databricks

Exemplo - Usar o novo cluster de trabalho no Databricks

Exemplo - Usar o cluster interativo existente no Databricks

Propriedades

Serviço vinculado para o Banco de Dados SQL do Azure

Serviço vinculado ao Azure Synapse Analytics

Serviço vinculado do SQL Server

Serviço vinculado do Azure Synapse Analytics (Artifacts)

Exemplo

Propriedades

Serviço de função vinculado do Azure

Conteúdo relacionado

Comentários

Recursos adicionais