Gerenciamento do ciclo de vida dos dados
O gerenciamento do ciclo de vida dos dados é a prática de usar políticas específicas para gerenciar dados de forma eficaz durante todo o tempo em que eles existirem em seu sistema. Essas políticas devem consistir em políticas abrangentes de armazenamento e dados que orientam seus processos de gerenciamento de dados. Como as metas e os drivers de negócios ditam as políticas de gerenciamento do ciclo de vida dos dados, eles geralmente estão vinculados a uma estrutura geral de governança de TI, gerenciamento e SLAs (Service Level Agreements, contratos de nível de serviço).
Depois de saber que tipo de dados você tem e como eles serão usados, você já sabe sua provável evolução e destino. Você precisa entender como seus dados evoluem, determinar como eles crescem, monitorar as mudanças em seu uso ao longo do tempo, decidir por quanto tempo eles devem existir e aderir a todas as regras e regulamentos que se aplicam a esses dados.
O gerenciamento do ciclo de vida dos dados atende a essas necessidades usando uma combinação de processos, políticas e software para que suas equipes possam usar a tecnologia apropriada para cada fase do ciclo de vida dos dados.
Ciclo de vida dos dados
Os produtos de dados podem ter ciclos de vida diferentes. Em um padrão de ciclo de vida típico, os dados recém-ingeridos são usados e acessados com frequência. À medida que sua idade aumenta, sua taxa de acesso geralmente diminui, e os dados mais antigos veem uma queda drástica no uso. Alguns produtos de dados podem expirar dias ou meses após a sua criação, enquanto outros produtos de dados são ativamente utilizados e modificados ao longo de todo o seu tempo de vida.
No entanto, os ciclos de vida dos dados podem diferir desse padrão típico. Alguns dados permanecem sem uso após sua ingestão inicial ou raramente são acessados depois de armazenados. A maioria dos lugares tem regulamentos que ditam por quanto tempo você é obrigado a armazenar dados, como dados pessoais e dados contábeis. Um determinado país/região pode exigir que você mantenha a documentação principal por cinco anos para dados como faturas de entrada e saída, saldos de livros de caixa, comprovantes bancários e recibos de salário. Também pode exigir que a documentação secundária seja retida por três a cinco anos, o que inclui coisas como cartas, acordos e notas.
Gerenciando ciclos de vida de dados
Há duas maneiras de abordar o gerenciamento do ciclo de vida dos dados na análise em escala de nuvem:
- Você pode usar os recursos de ciclo de vida de dados internos de cada serviço do Azure que contém dados persistentes, como Azure Data Lake. Esse método é bom para mover dados para camadas frias e de arquivamento, mas não garante que os dados sejam excluídos após um período de tempo especificado.
Importante
Atualmente, não há suporte para a camada de arquivamento para contas de armazenamento com redundância de zona. Para obter mais informações, consulte redundância de dados.
- Você pode integrar o ciclo de vida dos dados em um processo de integração, o que dá aos proprietários de negócios de aplicativos a oportunidade de definir sua política de ciclo de vida de dados. Esse processo envolve um aplicativo personalizado para capturar métricas-chave em padrões de metadados para cada produto de dados. Parte desse método envolve mover dados de quente para frio para arquivar e garante a exclusão de dados após um período de tempo especificado.