Criar uma conexão de dados da Grade de Eventos para o Azure Data Explorer
Neste artigo, você aprende a incluir blobs de sua conta de armazenamento no Azure Data Explorer usando uma conexão de dados de grade de eventos. Você criará uma conexão de dados de grade de eventos que define uma assinatura da Grade de Eventos do Azure. A assinatura da Grade de Eventos roteia eventos de sua conta de armazenamento para o Azure Data Explorer por meio dos Hubs de Eventos do Azure.
Para obter informações gerais sobre a ingestão no Azure Data Explorer da Grade de Eventos, confira Conectar-se à Grade de Eventos.
Observação
Para obter o melhor desempenho com a conexão da Grade de Eventos, defina a propriedade de ingestão rawSizeBytes
por meio dos metadados do blob. Para obter mais informações, consulte propriedades de ingestão.
Pré-requisitos
- Uma assinatura do Azure. Criar uma conta gratuita do Azure.
- Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
- Uma tabela de destino. Criar uma tabela ou usar uma tabela existente.
- Um mapeamento de ingestão para a tabela.
- Uma conta de armazenamento. Uma assinatura de notificação da Grade de Eventos pode ser definida em contas de Armazenamento do Azure para
BlobStorage
,StorageV2
ou Data Lake Storage Gen2.
Criar uma conexão de dados da Grade de Eventos
Nesta seção, você estabelecerá uma conexão entre a Grade de Eventos e sua tabela do Azure Data Explorer.
No cluster que você criou, selecione bancos de dados>TestDatabase.
Selecione Ingestão de dados>Adicionar conexão de dados.
Em Básico, selecione o tipo de conexão: armazenamento de blobs e preencha o formulário com as seguintes informações:
Configuração Valor sugerido Descrição do campo Nome da conexão de dados test-grid-connection O nome da conexão que você deseja criar no Azure Data Explorer. Assinatura da conta de armazenamento Sua ID de assinatura A ID da assinatura em que sua conta de armazenamento está. Conta de armazenamento gridteststorage1 O nome da conta de armazenamento que você criou anteriormente. Tipo de evento Blob criado ou blob renomeado O tipo de evento que aciona a ingestão. Há suporte para renomear blobs somente no armazenamento de ADLSv2. Para renomear um blob, navegue até o blob no portal do Azure, clique com o botão direito do mouse no blob e selecione Renomear. Os eventos com suporte são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Criação de recursos Automática Defina se você deseja que o Azure Data Explorer crie uma assinatura da Grade de Eventos, um namespace dos Hubs de Eventos e um Hub de Eventos para você. Para criar recursos manualmente, consulte Criar manualmente recursos para a ingestão da Grade de Eventos Selecione a Configurações de filtro, se desejar acompanhar assuntos específicos. Defina os filtros das notificações da seguinte maneira:
- O campo Prefixo é o prefixo literal do assunto. Como é o padrão aplicado é startswith, pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
- Para definir um filtro no contêiner de blob, o campo precisa ser definido da seguinte maneira:
/blobServices/default/containers/[container prefix]
. - Para especificar um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), o campo precisa ser definido da seguinte maneira:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
.
- Para definir um filtro no contêiner de blob, o campo precisa ser definido da seguinte maneira:
- O campo Sufixo é o sufixo literal do blob. Não são permitidos curingas.
- O campo diferenciar maiúsculas de minúsculas indica se os filtros de prefixo e sufixo diferenciam maiúsculas de minúsculas.
- Para obter mais informações sobre os eventos de filtragem, confira Eventos de armazenamento de blobs.
- O campo Prefixo é o prefixo literal do assunto. Como é o padrão aplicado é startswith, pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
Selecione Avançar: propriedades de ingestão.
Preencha o formulário com as seguintes informações. Os nomes de tabela e mapeamento diferenciam maiúsculas de minúsculas:
Propriedades de ingestão:
Configuração Valor sugerido Descrição do campo Permitir o roteamento dos dados para outros bancos de dados (conexão de dados de vários bancos de dados) Não permitir Ative essa opção se você quiser substituir o banco de dados de destino padrão associado à conexão de dados. Para obter mais informações sobre o roteamento do banco de dados, confira Roteamento de eventos. Nome da tabela TestTable A tabela criada na TestDatabase. Formato de dados JSON Os formatos com suporte são Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW e W3CLOG. As opções de compactação com suporte são Zip e GZip. Mapeamento TestMapping O mapeamento que você criou em TestDatabase, que mapeia os dados de entrada para os nomes das colunas e tipos de dados de TestTable. Se não for especificado, um mapeamento de dados de identidade derivado do esquema da tabela será usado. Configurações avançadas Meus dados contêm cabeçalhos Ignore cabeçalhos. Com suporte para arquivos do tipo *SV. Observação
Você não precisa especificar todas as Configurações de roteamento padrão. Configurações parciais também são aceitas.
Selecione Avançar: Examinar + Criar
Em *Revisão + criação.
Examine os recursos que foram criados automaticamente para você e selecione Criar.
Aguarde até a conclusão da implantação. Se sua implantação falhou, selecione Detalhes da operação ao lado da fase com falha para obter mais informações sobre o motivo da falha. Selecione Reimplantar para tentar implantar os recursos novamente. Você pode alterar os parâmetros antes da implantação.
Remover uma conexão de dados da Grade de Eventos
Para remover a conexão da Grade de Eventos do portal do Azure, faça o seguinte:
- Vá para o seu cluster. No menu à esquerda, selecione Bancos de dados. Em seguida, selecione o banco de dados que contém a tabela de destino.
- No menu à esquerda, selecione Conexões de dados. Em seguida, marque a caixa de seleção ao lado da conexão de dados relevante do Grade de Eventos do Azure.
- Na barra de menu superior, selecione Excluir.