Atualização do fluxo de dados
Os fluxos de dados permitem que você se conecte, transforme, combine e carregue dados no armazenamento para consumo downstream. Um elemento-chave nos fluxos de dados é o processo de atualização, que aplica as etapas de transformação definidas durante a criação para extrair, transformar e carregar dados no armazenamento de destino.
Uma atualização de fluxo de dados pode ser disparada de duas maneiras: sob demanda ou configurando um agendamento. Uma atualização agendada é executada com base nos dias e horários específicos que você definir.
Pré-requisitos
Veja os pré-requisitos para atualizar um fluxo de dados:
Atualização sob demanda
Para atualizar um fluxo de dados sob demanda, selecione o ícone de Atualizar encontrado na lista de espaços de trabalho ou nos modos de exibição de linhagem.
Há outras maneiras de disparar uma atualização de fluxo de dados sob demanda. Quando uma publicação de fluxo de dados é concluída com êxito, uma atualização sob demanda é iniciada. A atualização sob demanda também pode ser acionada por meio de um pipeline que contém uma atividade de fluxo de dados.
Atualização agendada
Para atualizar automaticamente um fluxo de dados com um agendamento, selecione o ícone de Atualização Agendada, encontrado no modo de exibição de lista do espaço de trabalho:
Na seção de atualização, você define a frequência e o intervalo de tempo para atualizar um fluxo de dados, até 48 vezes por dia. A captura de tela a seguir mostra um agendamento de atualização diária com um intervalo de 12 horas.
Cancelar a atualização
Cancelar a atualização do fluxo de dados é útil quando você deseja interromper uma atualização durante o horário de pico, se uma capacidade estiver se aproximando de seus limites ou se a atualização estiver demorando mais do que o esperado. Use o recurso de cancelamento de atualização para interromper a atualização de fluxos de dados.
Para cancelar uma atualização de fluxo de dados, selecione o ícone de Cancelar encontrado na lista do espaço de trabalho ou nas exibições de linhagem para um fluxo de dados com a atualização em andamento.
Depois que uma atualização de fluxo de dados é cancelada, o status do histórico da atualização do fluxo de dados é atualizado para refletir o status de cancelamento:
Limitações de atualização
Para atualizações de fluxo de dados, algumas limitações estão em vigor:
- Por fluxo de dados, você só pode ter 150 atualizações por 24 horas (janela contínua). Quando você exceder esse limite, você receberá um erro no histórico de atualizações e as atualizações serão retomadas quando você estiver abaixo do limite.
- Se a atualização do fluxo de dados agendada falhar consecutivamente, pausaremos sua agenda de atualização do fluxo de dados e enviaremos um email ao proprietário do fluxo de dados. Nesse caso, as seguintes regras se aplicam:
- 72 horas (3 dias)
- 100% de taxa de falha em 72 horas
- Mínimo de 6 atualizações (2 atualizações por dia)
- 168 horas (uma semana)
- 100% de taxa de falha em 168 horas
- Mínimo de 5 atualizações (1 atualização por dia)
- 72 horas (3 dias)
- Uma única avaliação de uma consulta tem um limite de 8 horas.
- O tempo total de atualização de uma única atualização de um fluxo de dados é limitado a um máximo de 24 horas.
- Por fluxo de dados, você pode ter no máximo 50 consultas em etapas ou consultas com destino de saída ou combinação de ambos.
Implicações do cancelamento de atualização para dados de saída
Uma atualização de fluxo de dados pode ser interrompida por meio do recurso de cancelamento de atualização ou se ocorrer uma falha durante o processamento das consultas do fluxo de dados. Resultados diferentes podem ser observados, dependendo do tipo de destino e de quando a atualização foi interrompida. Veja os possíveis resultados para os dois tipos de destino de dados para uma consulta:
- A consulta está carregando dados para preparo: os dados da última atualização bem-sucedida estão disponíveis.
- A consulta está carregando dados em um destino de dados: os dados gravados até o ponto de cancelamento estão disponíveis.
Nem todas as consultas em um fluxo de dados são processadas ao mesmo tempo. Por exemplo, se um fluxo de dados contiver muitas consultas ou se algumas consultas dependerem de outras. Se uma atualização for cancelada antes do início da avaliação de uma consulta que carrega dados para um destino, não haverá alteração nos dados no destino dessa consulta.