Usar o Azure Stream Analytics com pool SQL dedicado no Azure Synapse Analytics

Artigo
12/18/2024

O Azure Stream Analytics é um serviço totalmente gerenciado que fornece processamento de eventos complexos de baixa latência, altamente disponível e escalável em streaming de dados na nuvem. Você pode aprender as noções básicas lendo Introdução ao Azure Stream Analytics. Em seguida, você pode aprender como criar uma solução completa com o Stream Analytics seguindo o tutorial Introdução ao uso do Azure Stream Analytics .

Neste artigo, você aprenderá como usar seu pool SQL dedicado como um coletor de saída para ingestão de dados de alta taxa de transferência com trabalhos do Azure Stream Analytics.

Pré-requisitos

Trabalho do Azure Stream Analytics - Para criar um trabalho do Azure Stream Analytics, siga as etapas no tutorial Introdução ao uso do Azure Stream Analytics para:

Criar uma entrada de Hubs de Eventos

Configure e inicie o aplicativo gerador de eventos. Esta aplicação envia dados de um cliente através dos seus Hubs de Eventos. A estrutura JSON dos dados tem a seguinte aparência:

{
    RecordType: "",
    SystemIdentity: "",
    FileNum: ,
    SwitchNum: "",
    CallingNum: "",
    CallingIMSI: "",
    CalledNum: "",
    CalledIMSI: "",
    DateS: "",
    TimeS: "",
    TimeType: ,
    CallPeriod: ,
    CallingCellID: "",
    CalledCellID: "",
    ServiceType: "",
    Transfer: ,
    IncomingTrunk: "",
    OutgoingTrunk: "",
    MSRN: "",
    CalledNum2: "",
    FCIFlag: "",
    callrecTime: "",
    EventProcessedUtcTime: "",
    PartitionId: ,
    EventEnqueuedUtcTime: ""
}

Provisionar um trabalho do Stream Analytics
Especificar entrada de trabalho e consulta

Pool SQL dedicado - Para criar um novo pool SQL dedicado, siga as etapas no Guia de início rápido: criar um pool SQL dedicado.

Especifique a saída de streaming para apontar para o pool SQL dedicado

Passo 1

No portal do Azure, vá para seu trabalho do Stream Analytics e clique em Saídas no menu Topologia do trabalho.

Passo 2

Clique no botão Adicionar e escolha Azure Synapse Analytics no menu suspenso.

Escolha o Azure Synapse Analytics

Passo 3

Introduza os seguintes valores:

Alias de saída: insira um nome amigável para esta saída de trabalho.
Subscrição:
- Se o seu pool SQL dedicado estiver na mesma assinatura que o trabalho do Stream Analytics, clique em Selecionar o Azure Synapse Analytics de suas assinaturas.
- Se o seu pool SQL dedicado estiver em uma assinatura diferente, clique em Fornecer configurações do Azure Synapse Analytics manualmente.
Banco de dados: selecione o banco de dados de destino na lista suspensa.
Nome de usuário: especifique o nome de usuário de uma conta que tenha permissões de gravação para o banco de dados.
Senha: forneça a senha para a conta de usuário especificada.
Tabela: especifique o nome da tabela de destino no banco de dados.
clique no botão Salvar

Formulário do Azure Synapse Analytics preenchido

Passo 4

Antes de executar um teste, você precisará criar a tabela em seu pool SQL dedicado. Execute o seguinte script de criação de tabela usando o SQL Server Management Studio (SSMS) ou a ferramenta de consulta de sua escolha.

CREATE TABLE SensorLog
(
    RecordType VARCHAR(2)
    , SystemIdentity VARCHAR(2)
    , FileNum INT
    , SwitchNum VARCHAR(50)
    , CallingNum VARCHAR(25)
    , CallingIMSI VARCHAR(25)
    , CalledNum VARCHAR(25)
    , CalledIMSI VARCHAR(25)
    , DateS VARCHAR(25)
    , TimeS VARCHAR(25)
    , TimeType INT
    , CallPeriod INT
    , CallingCellID VARCHAR(25)
    , CalledCellID VARCHAR(25)
    , ServiceType VARCHAR(25)
    , [Transfer] INT
    , IncomingTrunk VARCHAR(25)
    , OutgoingTrunk VARCHAR(25)
    , MSRN VARCHAR(25)
    , CalledNum2 VARCHAR(25)
    , FCIFlag VARCHAR(25)
    , callrecTime VARCHAR(50)
    , EventProcessedUtcTime VARCHAR(50)
    , PartitionId int
    , EventEnqueuedUtcTime VARCHAR(50)
    )
WITH (DISTRIBUTION = ROUND_ROBIN)

Passo 5

No trabalho do portal do Azure para o Stream Analytics, clique no nome do seu trabalho. Clique no botão Testar no painel Detalhes de saída.

Captura de tela mostrando o botão Teste nos detalhes da saída.

Quando a conexão com o banco de dados for bem-sucedida, você verá uma notificação no portal.

Passo 6

Clique no menu Consulta em Topologia de trabalho e altere a consulta para inserir dados na saída de fluxo que você criou. Clique no botão Testar consulta selecionada para testar a sua consulta. Clique no botão Salvar consulta quando o teste de consulta for bem-sucedido.

Guardar consulta

Passo 7

Inicie o trabalho do Azure Stream Analytics. Clique no botão Iniciar no menu Visão geral.

Iniciar tarefa do Stream Analytics

Clique no botão Iniciar no painel Iniciar trabalho.

Clique em Iniciar

Próximos passos

Para obter uma visão geral da integração, consulte Integrar outros serviços. Para obter mais dicas de desenvolvimento, consulte Decisões de design e técnicas de codificação para pool SQL dedicado.

Partilhar via