Compreender o suporte a idiomas no Azure Data Factory
Enquanto a maioria dos usuários do Azure Data Factory desenvolve usando a interface do usuário, o Azure Data Factory está disponível em uma variedade de kits de desenvolvimento de software (SDKs) para qualquer pessoa que deseje desenvolver programaticamente. Ao usar um SDK, um usuário trabalha diretamente no serviço Azure Data Factory e todas as atualizações são imediatamente aplicadas à fábrica.
Existem bibliotecas do Azure Data Factory para Python que permitem executar o gerenciamento do serviço.
Você pode instalar o seguinte pacote
pip install azure-mgmt-datafactory
A partir daí, você pode executar uma série de atividades, como criar o Azure Data Factory em sua assinatura na região Leste dos EUA, conforme mostrado no código a seguir.
from azure.common.credentials import ServicePrincipalCredentials
from azure.mgmt.resource import ResourceManagementClient
from azure.mgmt.datafactory import DataFactoryManagementClient
from azure.mgmt.datafactory.models import *
import time
#Create a data factory
subscription_id = '<Specify your Azure Subscription ID>'
credentials = ServicePrincipalCredentials(client_id='<Active Directory application/client ID>', secret='<client secret>', tenant='<Active Directory tenant ID>')
adf_client = DataFactoryManagementClient(credentials, subscription_id)
rg_params = {'location':'eastus'}
df_params = {'location':'eastus'}
df_resource = Factory(location='eastus')
df = adf_client.factories.create_or_update(rg_name, df_name, df_resource)
print_item(df)
while df.provisioning_state != 'Succeeded':
df = adf_client.factories.get(rg_name, df_name)
time.sleep(1)
Além do Python, você também pode interagir programaticamente com o Azure Data Factory com as outras linguagens e SDKs, conforme listado:
- .NET
- APIs REST
- PowerShell
- Modelos do Azure Resource Manager
- Scripts de fluxo de dados
Script de fluxo de dados (DFS) são os metadados subjacentes, semelhantes a uma linguagem de codificação, que são usados para executar as transformações incluídas em um fluxo de dados de mapeamento. Cada transformação é representada por uma série de propriedades que fornecem as informações necessárias para executar o trabalho corretamente. O script é visível e editável a partir do ADF clicando no botão "script" na faixa de opções superior da interface do usuário do navegador.