Copiar dados da tabela da Web utilizando o Azure Data Factory ou Synapse Analytics
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory ou do Azure Synapse Analytics para copiar dados de uma tabela da Web. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.
A diferença entre esse conector de tabela da Web, o conector REST e o conector HTTP é:
- O conector da tabela da Web extrai o conteúdo da tabela de uma página da Web em HTML.
- O conector REST especificamente dá suporte à cópia de dados de APIs RESTful.
- O conector HTTP é genérico para recuperar dados de qualquer ponto de extremidade HTTP, por exemplo, para baixar o arquivo.
Funcionalidades com suporte
Há suporte para este conector de tabela Web nas seguintes funcionalidades:
| Funcionalidades com suporte | IR |
|---|---|
| Atividade de cópia (origem/-) | 2 |
| Atividade de pesquisa | 2 |
① Runtime de integração do Azure ② Runtime de integração auto-hospedada
Para obter uma lista de armazenamentos de dados com suporte como origens e coletores, confira a tabela Armazenamentos de dados com suporte.
Especificamente, esse conector de tabela da Web dá suporte à extração de conteúdo de tabela de uma página HTML.
Pré-requisitos
Para usar este conector de tabela da Web, você precisa configurar um runtime de integração auto-hospedada. Consulte o artigo Self-hosted integration runtime (Integration Runtime auto-hospedado) para obter detalhes.
Introdução
Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:
- A ferramenta Copiar Dados
- O portal do Azure
- O SDK do .NET
- O SDK do Python
- PowerShell do Azure
- A API REST
- O modelo do Azure Resource Manager
Criar um serviço vinculado à Tabela da Web usando a interface do usuário
Use as etapas a seguir para criar um serviço vinculado à Tabela da Web na interface do usuário do portal do Microsoft Azure.
Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:
Pesquise por Web e selecione o conector Tabela da Web.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.
Detalhes da configuração do conector
As seções que a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas à tabela da Web.
Propriedades do serviço vinculado
As propriedades a seguir têm suporte para o serviço vinculado de tabela da Web:
| Propriedade | Descrição | Obrigatório |
|---|---|---|
| type | A propriedade type deve ser definida como: Web | Sim |
| url | URL para a origem da Web | Sim |
| authenticationType | O valor permitido é: Anônimo. | Sim |
| connectVia | O Integration Runtime a ser usado para se conectar ao armazenamento de dados. É necessário um Integration Runtime auto-hospedado, conforme mencionado nos Pré-requisitos. | Sim |
Exemplo:
{
"name": "WebLinkedService",
"properties": {
"type": "Web",
"typeProperties": {
"url" : "https://en.wikipedia.org/wiki/",
"authenticationType": "Anonymous"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Propriedades do conjunto de dados
Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados da tabela da Web.
Para copiar dados da tabela web, defina a propriedade type do conjunto de dados como WebTable. Há suporte para as seguintes propriedades:
| Propriedade | Descrição | Obrigatório |
|---|---|---|
| type | A propriedade type do conjunto de dados deve ser definida como: WebTable | Sim |
| caminho | Uma URL relativa para o recurso que contém a tabela. | Não. Quando o caminho não for especificado, apenas a URL especificada na definição do serviço vinculado será usada. |
| índice | O índice da tabela no recurso. Confira a seção Obter índice de uma tabela em uma página HTML a fim de ver as etapas para obter o índice de uma tabela em uma página HTML. | Sim |
Exemplo:
{
"name": "WebTableInput",
"properties": {
"type": "WebTable",
"typeProperties": {
"index": 1,
"path": "AFI's_100_Years...100_Movies"
},
"schema": [],
"linkedServiceName": {
"referenceName": "<Web linked service name>",
"type": "LinkedServiceReference"
}
}
}
Propriedades da atividade de cópia
Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela origem da tabela da Web.
Tabela da Web como origem
Para copiar dados da tabela da Web, defina o tipo de origem na atividade de cópia como WebSource, não há suporte para nenhuma propriedade adicional.
Exemplo:
"activities":[
{
"name": "CopyFromWebTable",
"type": "Copy",
"inputs": [
{
"referenceName": "<Web table input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "WebSource"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Obter índice de uma tabela em uma página HTML
Para obter o índice de uma tabela que você precisa configurar em propriedades do conjunto de dados é possível usar, por exemplo, Excel 2016 como a ferramenta conforme a seguir:
Inicie o Excel 2016 e alterne para a guia Dados.
Clique em Nova Consulta na barra de ferramentas, aponte para De Outras Fontes e clique em Da Web.
Na caixa de diálogo Da Web, insira a URL que você usaria no JSON de serviço vinculado (por exemplo: https://en.wikipedia.org/wiki/) juntamente com o caminho que você especificaria para o conjunto de dados (por exemplo: AFI 27s_100_Years de %... 100_Movies) e clique em OK.
URL usada neste exemplo: https://en.wikipedia.org/wiki/AFI%27s_100_Years...100_Movies
Se você vir a caixa de diálogo Acessar conteúdo da Web, selecione a autenticação de URL correta e clique em Conectar.
Clique em um item de tabela na exibição de árvore para ver o conteúdo da tabela e clique em Editar na parte inferior.
Na janela Editor de Consultas, clique no botão Editor Avançado na barra de ferramentas.
Na caixa de diálogo Editor Avançado, o número ao lado de "Origem" é o índice.
Se você estiver usando o Excel 2013, use o Microsoft Power Query para Excel a fim de obter o índice. Confira o artigo Conectar-se a uma página da Web para obter detalhes. As etapas são semelhantes se você estiver usando o Microsoft Power BI para Desktop.
Pesquisar propriedades de atividade
Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.
Conteúdo relacionado
Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.