Criar um serviço vinculado para o Azure Databricks
Para executar blocos de anotações em um espaço de trabalho do Azure Databricks, o pipeline do Azure Data Factory deve ser capaz de se conectar ao espaço de trabalho; que requer autenticação. Para habilitar essa conexão autenticada, você deve executar duas tarefas de configuração:
- Gere um token de acesso para seu espaço de trabalho do Azure Databricks.
- Crie um serviço vinculado em seu recurso do Azure Data Factory que usa o token de acesso para se conectar ao Azure Databricks.
Gerando um token de acesso
Um token de acesso fornece um método de autenticação para o Azure Databricks como uma alternativa às credenciais na forma de um nome de usuário e senha. Você pode gerar tokens de acesso para aplicativos, especificando um período de expiração após o qual o token deve ser regenerado e atualizado nos aplicativos cliente.
Para criar um token do Access, use a opção Gerar novo token na guia Desenvolvedor da página Configurações do Usuário no portal do Azure Databricks.
Criando um serviço vinculado
Para se conectar ao Azure Databricks a partir do Azure Data Factory, você precisa criar um serviço vinculado para computação do Azure Databricks . Você pode criar um serviço vinculado na página Serviços vinculados na seção Gerenciar do Azure Data Factory Studio.
Ao criar um serviço vinculado do Azure Databricks, você deve especificar as seguintes definições de configuração:
| Definição | Description |
|---|---|
| Name | Um nome exclusivo para o serviço vinculado |
| Description | Uma descrição significativa |
| Integration runtime (Runtime de integração) | O tempo de execução de integração usado para executar atividades neste serviço vinculado. Consulte Tempo de execução da integração no Azure Data Factory para obter mais detalhes. |
| Subscrição do Azure | A assinatura do Azure na qual o Azure Databricks é provisionado |
| Espaço de trabalho Databricks | O espaço de trabalho do Azure Databricks |
| Cluster | O cluster do Spark no qual o código de atividade será executado. Você pode fazer com que o Azure Databricks provisione dinamicamente um cluster de trabalho sob demanda ou especifique um cluster existente no espaço de trabalho. |
| Authentication type | Como a conexão vinculada será autenticada pelo Azure Databricks. Por exemplo, usando um token de acesso (nesse caso, você precisa especificar o token de acesso gerado para seu espaço de trabalho). |
| Configuração do cluster | A versão de tempo de execução do Databricks, a versão do Python, o tipo de nó de trabalho e o número de nós de trabalho para o cluster. |