Utilizar o Azure Data Lake Storage Gen1 para capturar dados dos Hubs de Eventos
Saiba como utilizar o Azure Data Lake Storage Gen1 para capturar dados recebidos por Hubs de Eventos do Azure.
Pré-requisitos
Uma subscrição do Azure. Consulte Obter versão de avaliação gratuita do Azure.
Uma conta Azure Data Lake Storage Gen1. Para obter instruções sobre como criar uma, consulte Introdução ao Azure Data Lake Storage Gen1.
Um espaço de nomes dos Hubs de Eventos. Para obter instruções, veja Criar um espaço de nomes dos Hubs de Eventos. Certifique-se de que a conta Data Lake Storage Gen1 e o espaço de nomes dos Hubs de Eventos estão na mesma subscrição do Azure.
Atribuir permissões aos Hubs de Eventos
Nesta secção, vai criar uma pasta na conta onde pretende capturar os dados dos Hubs de Eventos. Também atribui permissões aos Hubs de Eventos para que possam escrever dados numa conta Data Lake Storage Gen1.
Abra a conta Data Lake Storage Gen1 onde pretende capturar dados dos Hubs de Eventos e, em seguida, clique em Data Explorer.
Clique em Nova Pasta e, em seguida, introduza um nome para a pasta onde pretende capturar os dados.
Atribua permissões na raiz do Data Lake Storage Gen1.
a. Clique em Data Explorer, selecione a raiz da conta Data Lake Storage Gen1 e, em seguida, clique em Acesso.
b. Em Acesso, clique em Adicionar, clique em Selecionar Utilizador ou Grupo e, em seguida, procure
Microsoft.EventHubs
.Clique em Selecionar.
c. Em Atribuir Permissões, clique em Selecionar Permissões. Defina Permissões para Executar. Defina Adicionar aEsta pasta e a todas as crianças. Defina Adicionar como a Uma entrada de permissão de acesso e uma entrada de permissão predefinida.
Importante
Ao criar uma nova hierarquia de pastas para capturar dados recebidos por Hubs de Eventos do Azure, esta é uma forma fácil de garantir o acesso à pasta de destino. No entanto, adicionar permissões a todas as crianças de uma pasta de nível superior com muitos ficheiros e pastas subordinados pode demorar muito tempo. Se a pasta raiz contiver um grande número de ficheiros e pastas, poderá ser mais rápido adicionar permissões
Microsoft.EventHubs
executar individualmente a cada pasta no caminho para a pasta de destino final.Clique em OK.
Atribua permissões para a pasta na conta Data Lake Storage Gen1 onde pretende capturar dados.
a. Clique em Data Explorer, selecione a pasta na conta Data Lake Storage Gen1 e, em seguida, clique em Access.
b. Em Acesso, clique em Adicionar, clique em Selecionar Utilizador ou Grupo e, em seguida, procure
Microsoft.EventHubs
.Clique em Selecionar.
c. Em Atribuir Permissões, clique em Selecionar Permissões. Defina Permissões para Leitura, Escrita e Execução. Defina Adicionar aEsta pasta e a todas as crianças. Por fim, defina Adicionar como a Uma entrada de permissão de acesso e uma entrada de permissão predefinida.
Clique em OK.
Configurar os Hubs de Eventos para capturar dados para Data Lake Storage Gen1
Nesta secção, vai criar um Hub de Eventos num espaço de nomes dos Hubs de Eventos. Também configura o Hub de Eventos para capturar dados para uma conta Azure Data Lake Storage Gen1. Esta secção pressupõe que já criou um espaço de nomes dos Hubs de Eventos.
No painel Descrição geral do espaço de nomes dos Hubs de Eventos, clique em + Hub de Eventos.
Forneça os seguintes valores para configurar os Hubs de Eventos para capturar dados para Data Lake Storage Gen1.
a. Indique um nome para o Hub de Eventos.
b. Neste tutorial, defina Contagem de Partições e Retenção de Mensagens para os valores predefinidos.
c. Defina Captura como Ativada. Defina a Janela de Tempo (com que frequência capturar) e a Janela de Tamanho (tamanho dos dados a capturar).
d. Para Fornecedor de Captura, selecione Azure Data Lake Store e, em seguida, selecione a conta Data Lake Storage Gen1 que criou anteriormente. Para Data Lake Path, introduza o nome da pasta que criou na conta Data Lake Storage Gen1. Só precisa de fornecer o caminho relativo para a pasta.
e. Deixe os formatos de nome de ficheiro de captura de exemplo para o valor predefinido. Esta opção rege a estrutura de pastas criada na pasta de captura.
f. Clique em Criar.
Testar a configuração
Agora, pode testar a solução ao enviar dados para o Hub de Eventos do Azure. Siga as instruções em Enviar eventos para Hubs de Eventos do Azure. Assim que começar a enviar os dados, verá os dados refletidos no Data Lake Storage Gen1 com a estrutura de pastas que especificou. Por exemplo, verá uma estrutura de pastas, conforme mostrado na seguinte captura de ecrã, na sua conta de Data Lake Storage Gen1.
Nota
Mesmo que não tenha mensagens a entrar nos Hubs de Eventos, os Hubs de Eventos escrevem ficheiros vazios apenas com os cabeçalhos na conta Data Lake Storage Gen1. Os ficheiros são escritos ao mesmo tempo que forneceu ao criar os Hubs de Eventos.
Analisar dados no Data Lake Storage Gen1
Assim que os dados estiverem Data Lake Storage Gen1, pode executar tarefas analíticas para processar e calcular os dados. Veja Exemplo do USQL Avro sobre como fazê-lo com o Azure Data Lake Analytics.