Partilhar via

Compreender a retenção de dados no Azure Time Series Insights Gen1

  • Artigo

Nota

O serviço Time Series Insights será desativado em 7 de julho de 2024. Considere migrar os ambientes existentes para soluções alternativas o mais rápido possível. Para obter mais informações sobre a substituição e migração, visite nossa documentação.

Atenção

Este é um artigo Gen1.

Este artigo descreve duas configurações principais que afetam a retenção de dados em seu ambiente do Azure Time Series Insights.

Vídeo

O vídeo a seguir resume a retenção de dados do Azure Time Series Insights e como planejá-la.

Cada um dos seus ambientes do Azure Time Series Insights tem uma configuração que controla o tempo de retenção de dados. O valor vai de 1 a 400 dias. Os dados são excluídos com base na capacidade de armazenamento do ambiente ou na duração da retenção, o que ocorrer primeiro.

Além disso, seu ambiente do Azure Time Series Insights tem uma configuração de comportamento de limite de armazenamento excedido. Ele controla o comportamento de entrada e purga quando a capacidade máxima de um ambiente é atingida. Há dois comportamentos para escolher ao configurá-lo:

  • Limpar dados antigos (padrão)
  • Pausar a entrada

Nota

Por padrão, ao criar um novo ambiente, a retenção é configurada para Limpar dados antigos. Essa configuração pode ser alternada, conforme necessário, após o tempo de criação usando o portal do Azure, na página Configurar do ambiente do Azure Time Series Insights.

Ambas as políticas de retenção de dados são descritas mais detalhadamente abaixo.

Limpar dados antigos

  • Limpar dados antigos é a configuração padrão para ambientes do Azure Time Series Insights.
  • Limpar dados antigos é preferível quando os usuários querem sempre ter seus dados mais recentes em seu ambiente do Azure Time Series Insights.
  • A configuração Limpar dados antigos limpa os dados assim que os limites do ambiente (tempo de retenção, tamanho ou contagem, o que ocorrer primeiro) são atingidos. A retenção é definida como 30 dias por padrão.
  • Os dados ingeridos mais antigos são eliminados primeiro (a abordagem "First In First out").

Exemplo um

Considere um exemplo de ambiente com comportamento de retenção Continue ingressando e limpando dados antigos:

O tempo de retenção de dados está definido para 400 dias. A capacidade é definida como unidade S1, que contém 30 GB de capacidade total. Vamos supor que os dados de entrada se acumulem até 500 MB por dia, em média. Este ambiente só pode reter 60 dias de dados, dada a taxa de dados de entrada, uma vez que a capacidade máxima é atingida em 60 dias. Os dados de entrada acumulam-se como: 500 MB por dia x 60 dias = 30 GB.

No 61º dia, o ambiente mostra os dados mais recentes, mas expurga os dados mais antigos, com mais de 60 dias. O expurgo abre espaço para o novo fluxo de dados, para que novos dados possam continuar a ser explorados. Se o usuário deseja reter dados por mais tempo, ele pode aumentar o tamanho do ambiente adicionando unidades adicionais ou pode enviar menos dados.

Exemplo dois

Considere um ambiente também configurado comportamento de retenção Continue ingressando e limpando dados antigos. Neste exemplo, o tempo de retenção de dados é definido para um valor menor de 180 dias. A capacidade é definida como unidade S1, que contém 30 GB de capacidade total. Para armazenar dados durante os 180 dias completos, a entrada diária não pode exceder 0,166 GB (166 MB) por dia.

Sempre que a taxa de entrada diária desse ambiente exceder 0,166 GB por dia, os dados não poderão ser armazenados por 180 dias, pois alguns dados serão limpos. Considere esse mesmo ambiente durante um período de tempo ocupado. Suponha que a taxa de entrada do ambiente pode aumentar para uma média de 0,189 GB por dia. Nesse período de tempo ocupado, cerca de 158 dias de dados são retidos (30GB/0,189 = 158,73 dias de retenção). Esse tempo é menor do que o período de retenção de dados desejado.

Pausar a entrada

  • A configuração Pausar entrada foi projetada para garantir que os dados não sejam limpos se os limites de tamanho e contagem forem atingidos antes do período de retenção.

  • Pausar a entrada fornece tempo adicional para os usuários aumentarem a capacidade de seu ambiente antes que os dados sejam limpos devido à violação do período de retenção.

  • Ele ajuda a protegê-lo contra a perda de dados, mas pode criar uma oportunidade para a perda de seus dados mais recentes se a entrada for pausada além do período de retenção da fonte do evento.

  • No entanto, quando a capacidade máxima de um ambiente é atingida, o ambiente pausa a entrada de dados até que as seguintes ações adicionais ocorram:

    • Você aumenta a capacidade máxima do ambiente para adicionar mais unidades de escala, conforme descrito em Como dimensionar seu ambiente do Azure Time Series Insights.
    • O período de retenção de dados é atingido e os dados são limpos, deixando o ambiente abaixo de sua capacidade máxima.

Exemplo três

Considere um ambiente com comportamento de retenção configurado para pausar a entrada. Neste exemplo, o período de retenção de dados é configurado para 60 dias. A capacidade é definida para três (3) unidades de S1. Suponha que esse ambiente tenha entrada de dados de 2 GB por dia. Nesse ambiente, a entrada é pausada assim que a capacidade máxima é atingida.

Nesse momento, o ambiente mostra o mesmo conjunto de dados até que a entrada seja retomada ou até que a entrada contínua seja habilitada (o que limparia dados mais antigos para abrir espaço para novos dados).

Quando a entrada é retomada:

  • Fluxos de dados na ordem em que foram recebidos pela fonte do evento
  • Os eventos são indexados com base em seu carimbo de data/hora, a menos que você tenha excedido as políticas de retenção na origem do evento. Para obter mais informações sobre a configuração de retenção da fonte de eventos, perguntas frequentes sobre Hubs de Eventos

Importante

Você deve definir alertas para fornecer aviso para ajudar a evitar que a entrada seja pausada. A perda de dados é possível, uma vez que a retenção padrão é de 1 dia para fontes de eventos do Azure. Portanto, uma vez que a entrada é pausada, você provavelmente perde os dados mais recentes, a menos que uma ação adicional seja tomada. Você deve aumentar a capacidade ou alternar o comportamento para Limpar dados antigos para evitar o potencial de perda de dados.

Nos Hubs de Eventos afetados, considere ajustar a propriedade Retenção de Mensagens para minimizar a perda de dados quando a entrada de pausa ocorrer no Azure Time Series Insights.

Retenção de mensagens do hub de eventos.

Se nenhuma propriedade estiver configurada na origem do evento (timeStampPropertyName), o Azure Time Series Insights assumirá como padrão o carimbo de data/hora de chegada ao hub de eventos como o eixo X. Se timeStampPropertyName estiver configurado para ser outra coisa, o ambiente procurará o configurado timeStampPropertyName no pacote de dados quando os eventos forem analisados.

Leia Como dimensionar seu ambiente do Azure Time Series Insights para dimensionar seu ambiente para acomodar capacidade adicional ou aumentar o tempo de retenção.

Próximos passos