Ingestão de streaming e alterações de esquema
Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer
Os nós de cluster armazenam em cache o esquema de bancos de dados que obtêm dados por meio de de ingestão de streaming, aumentando o desempenho e o uso de recursos. No entanto, quando há alterações de esquema, isso pode levar a atrasos nas atualizações.
Os nós da Eventhouse armazenam em cache o esquema de bancos de dados que obtêm dados por meio da ingestão de streaming, aumentando o desempenho e o uso de recursos. No entanto, quando há alterações de esquema, isso pode levar a atrasos nas atualizações.
Se as alterações de esquema e a ingestão de streaming não estiverem sincronizadas, você poderá encontrar falhas como erros relacionados ao esquema ou dados incompletos e distorcidos na tabela.
Este artigo descreve as alterações típicas de esquema e fornece orientação sobre como evitar problemas com a ingestão de streaming durante essas alterações.
Alterações de esquema
A lista a seguir abrange os principais exemplos de alterações de esquema:
- Criação de tabelas
- Supressão de tabelas
- Adicionar uma coluna a uma tabela
- Remover uma coluna de uma tabela
- Redigitando as colunas de uma tabela
- Renomeando as colunas de uma tabela
- Adicionando mapeamentos de ingestão pré-criados
- Remoção de mapeamentos de ingestão pré-criados
- Adicionar, remover ou alterar políticas de
Coordenar alterações de esquema com ingestão de streaming
O cache de esquema é mantido enquanto o banco de dados está online. Se houver alterações de esquema, o sistema atualiza automaticamente o cache, mas essa atualização pode levar vários minutos. Se você confiar na atualização automática, poderá enfrentar falhas de ingestão descoordenadas.
Você pode reduzir os efeitos do atraso de propagação limpando explicitamente o cache de esquema nos nós. Se o fluxo de ingestão de streaming e as alterações de esquema forem coordenados, você poderá eliminar completamente as falhas e a distorção de dados associada.
Para coordenar o fluxo de ingestão de streaming com alterações de esquema:
- Suspender a ingestão de streaming.
- Aguarde até que todas as solicitações de ingestão de streaming pendentes sejam concluídas.
- Faça alterações de esquema.
- Emita um ou vários comandos ingestão de streaming de cache .clear esquema.
- Repita até que seja bem-sucedido e todas as linhas na saída do comando indiquem sucesso
- Retome a ingestão de streaming.
Observação
Se você criou um aplicativo para de ingestão personalizada, recomendamos gerenciar falhas relacionadas ao esquema tentando novamente por uma duração definida ou redirecionando dados de solicitações com falha usando métodos de ingestão enfileirados.