Entenda o suporte ao idioma no Azure Data Factory
Embora a maioria dos usuários do Azure Data Factory desenvolva usando a interface do usuário, o Azure Data Factory está disponível em uma variedade de SDKs (Software Development Kits) para qualquer pessoa que queira desenvolver programaticamente. Ao usar um SDK, um usuário trabalha diretamente com o serviço do Azure Data Factory e todas as atualizações são aplicadas imediatamente ao alocador.
Há bibliotecas do Azure Data Factory para Python que permitem que você execute o gerenciamento do serviço.
Você pode instalar o pacote a seguir
pip install azure-mgmt-datafactory
De lá, você pode executar uma variedade de atividades, como a criação do Azure Data Factory em sua assinatura na região Leste dos EUA, conforme mostrado no código a seguir.
from azure.common.credentials import ServicePrincipalCredentials
from azure.mgmt.resource import ResourceManagementClient
from azure.mgmt.datafactory import DataFactoryManagementClient
from azure.mgmt.datafactory.models import *
import time
#Create a data factory
subscription_id = '<Specify your Azure Subscription ID>'
credentials = ServicePrincipalCredentials(client_id='<Active Directory application/client ID>', secret='<client secret>', tenant='<Active Directory tenant ID>')
adf_client = DataFactoryManagementClient(credentials, subscription_id)
rg_params = {'location':'eastus'}
df_params = {'location':'eastus'}
df_resource = Factory(location='eastus')
df = adf_client.factories.create_or_update(rg_name, df_name, df_resource)
print_item(df)
while df.provisioning_state != 'Succeeded':
df = adf_client.factories.get(rg_name, df_name)
time.sleep(1)
Além do Python, você também pode interagir de modo programático com o Azure Data Factory com outros idiomas e SDKs, conforme listado:
- .NET
- APIs REST
- PowerShell
- Modelos do Azure Resource Manager
- Scripts de fluxo de dados
O DFS (script de fluxo de dados) consiste nos metadados subjacentes, semelhante a uma linguagem de codificação, que são usados para executar as transformações incluídas em um fluxo de dados de mapeamento. Cada transformação é representada por uma série de propriedades que fornecem as informações necessárias para executar o trabalho corretamente. O script é visível e editável do ADF clicando no botão "script" na faixa de opções superior da interface do usuário do navegador.