Configurar entradas e saídas
Todos os trabalhos do Azure Stream Analytics incluem pelo menos uma entrada e saída. Na maioria dos casos, as entradas fazem referência a fontes de dados de streaming (embora você também possa definir entradas para dados de referência estáticos para aumentar os dados de eventos transmitidos). As saídas determinam para onde os resultados da consulta de processamento de fluxo serão enviados. No caso da ingestão de dados no Azure Synapse Analytics, a saída geralmente faz referência a um contêiner do Azure Data Lake Storage Gen2 ou a uma tabela em um banco de dados dedicado do pool SQL.
Entradas de dados em fluxo
As entradas para streaming de dados consumidos pelo Azure Stream Analytics podem incluir:
- Hubs de Eventos do Azure
- Azure IoT Hubs
- Armazenamento de Blob do Azure ou Data Lake Gen 2
Dependendo do tipo de entrada específico, os dados para cada evento transmitido incluem campos de dados do evento, bem como campos de metadados específicos de entrada. Por exemplo, os dados consumidos de uma entrada de Hubs de Eventos do Azure incluem um campo EventEnqueuedUtcTime que indica a hora em que o evento foi recebido no hub de eventos.
Nota
Para obter mais informações sobre entradas de streaming, consulte Transmitir dados como entrada no Stream Analytics na documentação do Azure Stream Analytics .
Saídas do Azure Synapse Analytics
Se você precisar carregar os resultados do processamento do fluxo em uma tabela em um pool SQL dedicado, use uma saída do Azure Synapse Analytics . A configuração de saída inclui a identidade do pool SQL dedicado em um espaço de trabalho do Azure Synapse Analytics, detalhes de como o trabalho do Azure Stream Analytics deve estabelecer uma conexão autenticada com ele e a tabela existente na qual os dados devem ser carregados.
A autenticação no Azure Synapse Analytics geralmente é realizada por meio da autenticação do SQL Server, que requer um nome de usuário e senha. Como alternativa, você pode usar uma identidade gerenciada para autenticar. Ao usar uma saída do Azure Synapse Analytics, sua configuração de trabalho do Azure Stream Analytics deve incluir uma conta de Armazenamento do Azure na qual os metadados de autenticação para o trabalho são armazenados com segurança.
Nota
Para obter mais informações sobre como usar uma saída do Azure Synapse Analytics, consulte Saída do Azure Synapse Analytics do Azure Stream Analytics na documentação do Azure Stream Analytics.
Saídas do Azure Data Lake Storage Gen2
Se você precisar gravar os resultados do processamento de fluxo em um contêiner do Azure Data Lake Storage Gen2 que hospeda um data lake em um espaço de trabalho do Azure Synapse Analytics, use uma saída Blob storage/ADLS Gen2 . A configuração de saída inclui detalhes da conta de armazenamento na qual o contêiner está definido, configurações de autenticação para se conectar a ele e detalhes dos arquivos a serem criados. Você pode especificar o formato de arquivo, incluindo os formatos CSV, JSON, Parquet e Delta. Você também pode especificar padrões personalizados para definir a hierarquia de pastas na qual os arquivos são salvos - por exemplo, usando um padrão como AAAA/MM/DD para gerar uma hierarquia de pastas com base no ano, mês e dia atuais.
Você pode especificar contagens de linhas mínimas e máximas para cada lote, o que determina o número de arquivos de saída gerados (cada lote cria um novo arquivo). Você também pode configurar o modo de gravação para controlar quando os dados são gravados para uma janela de tempo - anexando cada linha à medida que ela chega ou gravando todas as linhas uma vez (o que garante a entrega "exatamente uma vez").
Nota
Para obter mais informações sobre como usar uma saída de armazenamento de Blob/ADLS Gen2, consulte Armazenamento de Blob e saída do Azure Data Lake Gen2 do Azure Stream Analytics na documentação do Azure Stream Analytics.