Criar recursos manualmente para ingestão da Grade de Eventos
O Azure Data Explorer oferece ingestão contínua no Armazenamento do Azure (Armazenamento de Blobs do Azure e Azure Data Lake Storage Gen2) usando um pipeline de ingestão da Grade de Eventos. No pipeline de ingestão da Grade de Eventos, um serviço da Grade de Eventos do Azure encaminha os eventos renomeados ou criados pelo blob de uma conta de armazenamento para o Azure Data Explorer usando os Hubs de Eventos do Azure.
Neste artigo, você aprenderá a criar manualmente os recursos necessários para a ingestão da Grade de Eventos: uma assinatura da Grade de Eventos, um namespace dos Hubs de Eventos e um hub de eventos. O namespace dos Hubs de Eventos e a criação do hub de eventos são descritos nos Pré-requisitos. Para usar a criação automática desses recursos ao definir a ingestão da Grade de Eventos, confira Criar uma conexão de dados da Grade de Eventos no Azure Data Explorer.
Pré-requisitos
- Uma assinatura do Azure. Criar uma conta gratuita do Azure.
- Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
- Uma conta de armazenamento. Uma assinatura de notificação da Grade de Eventos pode ser definida em contas de Armazenamento do Azure para
BlobStorage,StorageV2ou Data Lake Storage Gen2. - Um namespace e um hub de eventos dos Hubs de Eventos.
Observação
Para obter o melhor desempenho, crie todos os recursos na mesma região que o cluster do Azure Data Explorer.
Criar uma assinatura na Grade de Eventos
No portal do Microsoft Azure, acesse sua conta de armazenamento.
No menu à esquerda, selecione Eventos>+ Assinatura de Evento.
Na janela Criar assinatura de evento na guia Básico, forneça os valores a seguir:
Configuração Valor sugerido Descrição do campo Nome test-grid-connection O nome da assinatura da Grade de Eventos que você deseja criar. Esquema do evento Esquema da Grade de Eventos O esquema que deve ser usado para a Grade de Eventos. Tipo de tópico Conta de armazenamento O tipo de tópico da Grade de Eventos. Preenchido automaticamente. Recurso de Origem gridteststorage1 O nome da sua conta de armazenamento. Preenchido automaticamente. Nome do Tópico do Sistema gridteststorage1... O tópico do sistema em que o Armazenamento do Azure publica os eventos. Esse tópico do sistema encaminha o evento para um assinante que recebe e processa os eventos. Preenchido automaticamente. Filtro para Tipos de Evento Blob Criado De quais eventos específicos receber notificações. Ao criar a assinatura, selecione um dos tipos com suporte: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Há suporte para renomear blobs somente no armazenamento de ADLSv2. Em DETALHES DO PONTO DE EXTREMIDADE, selecione Hubs de Eventos.
Selecione Selecionar um ponto de extremidade e preencha o hub de eventos que você criou, por exemplo , test-hub.
Em MANAGED IDENTITY FOR DELIVERY, OPCIONALMENTE, SELECIONE UM TIPO DE IDENTIDADE GERENCIADA USANDO AS INFORMAÇÕES NA TABELA A SEGUIR.
Tipo Descrição Nenhum (padrão) Os eventos não são entregues usando identidades gerenciadas. Atribuído pelo sistema Os eventos são entregues usando uma identidade gerenciada atribuída pelo sistema.
IMPORTANTE: Antes de usar essa opção, verifique se você habilitou a identidade atribuída pelo sistema no tópico do sistema da Grade de Eventos e deu a ela a função Remetente de Dados dos Hubs de Eventos do Azure no hub de eventos. Para obter mais informações, confira Habilitar identidade gerenciada para tópicos do sistema.Importante
Se você desabilitar a autenticação local no namespace dos Hubs de Eventos que contém o hub de eventos usado para notificações de streaming, deverá usar identidades gerenciadas para entregar eventos ao usar essa assinatura de evento.
Selecione a guia Filtros, se desejar filtrar eventos.
Use Filtros de Assunto para acompanhar eventos de assuntos específicos. Defina os filtros das notificações da seguinte maneira:
- Selecione Habilitar filtragem por assunto
- O campo Assunto começa com é o prefixo literal do assunto. Como é o padrão aplicado é startswith, pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
- Para especificar um filtro no contêiner de blobs, defina o campo da seguinte maneira:
/blobServices/default/containers/[container prefix]. - Para especificar um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), defina o campo da seguinte maneira:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Para especificar um filtro no contêiner de blobs, defina o campo da seguinte maneira:
- O campo Assunto termina com é o sufixo literal do blob. Não são permitidos curingas.
- O campo Correspondência de assunto que diferencia maiúsculas de minúsculas indica se os filtros de prefixo e sufixo diferenciam maiúsculas de minúsculas.
Para obter mais informações sobre os eventos de filtragem, confira eventos de armazenamento de blobs.
Use Filtros Avançados para adicionar filtros personalizados que atendam aos seus requisitos.
Por exemplo, ao usar o SDK do Azure Data Lake para carregar um arquivo, a criação de arquivo dispara um evento da Grade de Eventos com tamanho 0. Esse evento é descartado pelo Azure Data Explorer. A liberação de arquivo dispara outro evento, se o parâmetro Close estiver definido como true. Esse evento indica que essa é a atualização final e o fluxo de arquivos foi fechado. Para evitar erros desnecessários de processamento e ingestão de arquivos vazios, filtre os eventos CreateFile usando o seguinte filtro:
Configuração Valor sugerido Descrição do campo Chave data.api O campo no esquema de evento usado para filtragem. Operador A string não está em Um operador a ser avaliado na chave selecionada. Valor CreateFile O valor usado para avaliar a chave. Escolha Criar