Criar um serviço vinculado para o Azure Databricks
Para executar notebooks em um workspace do Azure Databricks, deve ser possível que o pipeline do Azure Data Factory se conecte ao workspace, o que requer autenticação. Para habilitar esta conexão autenticada, realize as duas seguintes tarefas de configuração:
- Gere um token de acesso para o workspace do Azure Databricks.
- Crie um serviço vinculado no recurso do Azure Data Factory que usa o token de acesso para se conectar ao Azure Databricks.
Gerar um token de acesso
Um token de acesso fornece um método de autenticação para o Azure Databricks como alternativa às credenciais de nome de usuário e senha. É possível gerar tokens de acesso para aplicativos, especificando um período de expiração após o qual o token deve ser regenerado e atualizado nos aplicativos cliente.
Para criar um token de acesso, use a opção Gerar novo token na guia Desenvolvedor da página Configurações do Usuário no portal do Azure Databricks.
Criar um serviço vinculado
Para se conectar ao Azure Databricks do Azure Data Factory, é necessário criar um serviço vinculado para a computação do Azure Databricks. É possível criar um serviço vinculado na página Serviços vinculados da seção Gerenciar do Azure Data Factory Studio.
Ao criar um serviço vinculado do Azure Databricks, é necessário especificar as seguintes definições de configuração:
| Configuração | Descrição |
|---|---|
| Nome | Um nome exclusivo para o serviço vinculado |
| Descrição | Uma descrição significativa |
| runtime de integração | O runtime de integração usado para executar atividades neste serviço vinculado. Confira Runtime de integração no Azure Data Factory para saber mais. |
| Assinatura do Azure | A assinatura do Azure na qual o Azure Databricks é provisionado |
| Workspace do Databricks | O workspace do Azure Databricks |
| Cluster | O cluster do Spark no qual o código de atividade será executado. É possível fazer com que o Azure Databricks provisione dinamicamente um cluster de trabalho sob demanda ou especificar um cluster existente no workspace. |
| Tipo de autenticação | Como a conexão vinculada será autenticada pelo Azure Databricks. Por exemplo, usando um token de acesso (nesse caso, é necessário especificar o token de acesso gerado para o workspace). |
| Configuração do cluster | A versão de runtime do Databricks, a versão do Python, o tipo do nó de trabalho e o número de nós de trabalho para o cluster. |