Ingerir dados do Azure Stream Analytics no Azure Data Explorer

Importante

Este conector pode ser usado em Real-Time Intelligence no Microsoft Fabric. Use as instruções incluídas neste artigo com as seguintes exceções:

• Se necessário, crie bancos de dados usando as instruções em Criar um banco de dados KQL.
• Se necessário, crie tabelas usando as instruções em Criar uma tabela vazia.
• Obtenha URIs de consulta ou ingestão usando as instruções em Copiar URI.
• Execute consultas em um conjunto de consultas KQL.

O Azure Data Explorer dá suporte à ingestão de dados do Azure Stream Analytics. O Azure Stream Analytics é um mecanismo de processamento de eventos complexos e análise em tempo real desenvolvido para processar simultaneamente altos volumes de dados de streaming rápido de várias fontes.

Um trabalho do Azure Stream Analytics consiste em uma fonte de entrada, uma consulta de transformação e uma conexão de saída. Você pode criar, editar e testar trabalhos do Stream Analytics usando o portal do Azure, modelos do Azure Resource Manager (ARM), o Azure PowerShell, a API do .NET, a API REST, o Visual Studio e o editor no-code do Stream Analytics.

Neste artigo, você vai aprender a usar um trabalho do Streaming Analytics para coletar dados de um hub de eventos e enviá-los para o cluster do Azure Data Explorer usando o portal do Azure ou um modelo do ARM.

Pré-requisitos

• Criar um cluster e banco de dados e uma tabela.

• Criar um hub de eventos usando as seguintes seções do tutorial do Azure Stream Analytics:

  • Criar um hub de eventos
  • Conceder acesso ao hub de eventos e obter uma cadeia de conexão

  Dica

  Para fins de teste, recomendamos que você baixe o aplicativo gerador de evento de chamada telefônica no Centro de Download da Microsoft ou obtenha o código-fonte no GitHub. Ao configurar o trabalho do Azure Stream Analytics, você o configurará para extrair dados do hub de eventos e passá-los para o conector de saída do Azure Data Explorer.

Criar uma conexão de saída do Azure Data Explorer

Use as etapas a seguir para criar uma saída do Azure Data Explorer para um trabalho do Stream Analytics usando o portal do Azure ou usando um modelo do ARM. A conexão é usada pelo trabalho do Stream Analytics para enviar dados para uma tabela do Azure Data Explorer especificada. Após a criação e a execução do trabalho, os dados que fluem para o trabalho são ingeridos na tabela de destino especificada.

Importante

• O conector de saída do Azure Data Explorer dá suporte apenas à autenticação de Identidade Gerenciada. Como parte da criação do conector, as permissões do monitor de banco de dados e do ingestor de banco de dados são concedidas à identidade gerenciada do trabalho do Azure Stream Analytics.
• Ao configurar o conector de saída do Azure Data Explorer, especifique o cluster de destino, o banco de dados e o nome da tabela. Para que a ingestão seja bem-sucedida, todas as colunas definidas na consulta do Azure Stream Analytics precisam corresponder aos nomes e tipos de colunas na tabela do Azure Data Explorer. Os nomes de colunas diferenciam maiúsculas de minúsculas e podem estar em qualquer ordem. Se existirem colunas na consulta do Azure Stream Analytics que não são mapeadas para as colunas da tabela do Azure Data Explorer, um erro será gerado.

Observação

• Todas as entradas do Azure Stream Analytics têm suporte. O conector transforma as entradas no formato CSV e importa os dados para a tabela do Azure Data Explorer especificada.
• O Azure Data Explorer tem uma política de agregação (envio em lote) para a ingestão de dados, criada para otimizar o processo de ingestão. Por padrão, a política é configurada para 5 minutos, 1.000 itens ou 1 GB de dados e, portanto, poderá haver latência. Para obter informações sobre como configurar as opções de agregação, confira a política de envio em lote.

Portal do Azure

Antes de começar, verifique se você tem um trabalho existente do Stream Analytics ou crie um e, em seguida, use as etapas a seguir para criar sua conexão do Azure Data Explorer.

1. Entre no portal do Azure.

2. No portal do Azure, abra Todos os recursos e selecione o trabalho do Stream Analytics.

3. Em Topologia do trabalho, selecione Saídas.

4. Selecione Adicionar>Azure Data Explorer.

   

5. Preencha o formulário de saída com as informações a seguir e selecione Salvar.

   Observação

   Você pode usar as seguintes opções para especificar seu cluster e banco de dados:

   • Assinatura: selecione Selecionar o Azure Data Explorer das suas assinaturas, selecione sua assinatura a escolha seu cluster e banco de dados.
   • Manualmente: selecione Fornecer as configurações do Azure Data Explorer manualmente, especifique o banco de dados e o URI do cluster.

   Nome da propriedade	Descrição
   Alias de saída	Um nome amigável utilizado em consultas para direcionar a saída da consulta para esse banco de dados.
   Subscription	Selecione a assinatura do Azure na qual o cluster reside.
   Cluster	O nome exclusivo que identifique seu cluster. O nome de domínio [region].kusto.windows.net é acrescentado ao nome do cluster que você fornece. O nome só pode conter letras minúsculas e números. Ele precisa conter de 4 a 22 caracteres.
   URI do cluster	O URI de ingestão de dados do cluster. Você pode especificar o URI para os pontos de extremidade de ingestão de dados do Azure Data Explorer ou Azure Synapse Data Explorer.
   Backup de banco de dados	O nome do banco de dados para o qual você está enviando sua saída. O nome do banco de dados deve ser exclusivo dentro do cluster.
   Autenticação	Uma identidade gerenciada do Microsoft Entra que permite que o seu runbook acesse com facilidade outros recursos protegidos pelo Microsoft Entra. A identidade é gerenciada pela plataforma do Azure e não exige provisionamento nem alternância de segredo. A configuração de identidade gerenciada permite que você use chaves gerenciadas pelo cliente para seu cluster.
   Tabela	O nome da tabela para a qual você está enviando sua saída. Os nomes de coluna e os tipos de dados nos resultados do Azure Stream Analytics precisam corresponder ao esquema da tabela do Azure Data Explorer.

   

Modelo do Azure Resource Manager

O exemplo a seguir mostra um modelo do Azure Resource Manager para adicionar um conector de saída do Azure Data Explorer. Você pode editar e implantar o modelo no portal do Azure para criar seu conector.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Observação

Ao criar uma conexão de saída do Azure Data Explorer usando um modelo do ARM, as permissões de identidade gerenciada de trabalho do Streaming Analytics para o banco de dados do Azure Data Explorer precisam ser concedidas manualmente.

Conteúdo relacionado

• Consultar dados no Azure Data Explorer
• Executar o Azure Functions a partir dos trabalhos do Azure Stream Analytics