Atualização do fluxo de dados
Os fluxos de dados permitem que você se conecte, transforme, combine e carregue dados para armazenamento para consumo downstream. Um elemento-chave nos fluxos de dados é o processo de atualização, que aplica as etapas de transformação definidas durante a criação para extrair, transformar e carregar dados no armazenamento de destino.
Uma atualização de fluxo de dados pode ser acionada de duas maneiras, sob demanda ou configurando uma agenda de atualização. Uma atualização agendada é executada com base nos dias e horários específicos especificados.
Pré-requisitos
Aqui estão os pré-requisitos para atualizar um fluxo de dados:
Atualização a pedido
Para atualizar um fluxo de dados sob demanda, selecione Ícone Atualizar encontrado na lista de espaços de trabalho ou nas exibições de linhagem.
Há outras maneiras de acionar uma atualização de fluxo de dados sob demanda. Quando uma publicação de fluxo de dados é concluída com êxito, uma atualização sob demanda é iniciada. A atualização sob demanda também pode ser acionada por meio de um pipeline que contém uma atividade de fluxo de dados.
Atualização agendada
Para atualizar automaticamente um fluxo de dados em uma agenda, selecione o ícone Atualização Agendada encontrado no modo de exibição de lista do espaço de trabalho:
A seção de atualização é onde você pode definir a frequência e os intervalos de tempo para atualizar um fluxo de dados, até 48 vezes por dia. A captura de tela a seguir mostra uma agenda de atualização diária em um intervalo de 12 horas.
Cancelar atualização
Cancelar a atualização do fluxo de dados é útil quando você deseja interromper uma atualização durante o horário de pico, se uma capacidade estiver se aproximando de seus limites ou se a atualização estiver demorando mais do que o esperado. Use o recurso de cancelamento de atualização para interromper a atualização de fluxos de dados.
Para cancelar uma atualização de fluxo de dados, selecione Cancelar ícone encontrado na lista de espaços de trabalho ou exibições de linhagem para um fluxo de dados com atualização em andamento.
Depois que uma atualização de fluxo de dados é cancelada, o status do histórico de atualização do fluxo de dados é atualizado para refletir o status de cancelamento:
Atualizar limitações
Para atualizações de fluxo de dados, algumas limitações estão em vigor:
- Por fluxo de dados, você só pode ter 150 atualizações por 24 horas (janela contínua). Quando você excede esse limite, recebe um erro no histórico de atualizações e retoma as atualizações depois de estar abaixo do limite.
- Se a atualização de fluxo de dados agendada falhar consecutivamente, pausaremos sua agenda de atualização de fluxo de dados e enviaremos um e-mail ao proprietário do fluxo de dados. Neste caso, aplicam-se as seguintes regras:
- 72 horas (3 dias)
- 100% de taxa de falha em 72 horas
- Mínimo de 6 refrescações (2 refrescações por dia)
- 168 horas (1 semana)
- 100% de taxa de falha em 168 horas
- Mínimo de 5 atualizações (1 atualização por dia)
- 72 horas (3 dias)
- Uma única avaliação de uma consulta tem um limite de 8 horas.
- O tempo total de atualização de uma única atualização de um fluxo de dados é limitado a um máximo de 24 horas.
- Por fluxo de dados, você pode ter um máximo de 50 consultas em estágios, ou consultas com destino de saída ou combinação de ambos.
Implicações de cancelamento de atualização para os dados de saída
Uma atualização de fluxo de dados pode ser interrompida por meio do recurso cancelar atualização ou se ocorrer uma falha durante o processamento das consultas do fluxo de dados. Diferentes resultados podem ser observados dependendo do tipo de destino e quando a atualização foi interrompida. Aqui estão os resultados possíveis, para os dois tipos de destino de dados para uma consulta:
- A consulta está carregando dados para preparação: os dados da última atualização bem-sucedida estão disponíveis.
- A consulta está carregando dados para um destino de dados: os dados gravados até o ponto de cancelamento estão disponíveis.
Nem todas as consultas em um fluxo de dados são processadas ao mesmo tempo, por exemplo, se um fluxo de dados contém muitas consultas ou algumas consultas dependem de outras. Se uma atualização for cancelada antes do início da avaliação de uma consulta que carrega dados para um destino, não haverá alteração nos dados no destino dessa consulta.