Monitoramento de segurança aprimorado
Este artigo descreve o recurso de monitoramento de segurança aprimorado e como configurá-lo em seu workspace ou conta do Azure Databricks.
Se você habilitar esse recurso, será cobrado pelo complemento de Segurança e Conformidade Aprimorada, conforme descrito na página de preços.
Visão geral de monitoramento de segurança aprimorado
O monitoramento de segurança aprimorado do Azure Databricks fornece uma imagem de disco protegida aprimorada e agentes de monitoramento de segurança adicionais que geram linhas de log que você pode examinar usando os logs de diagnóstico.
Os aprimoramentos de segurança só se aplicam aos recursos de computação do plano de computação clássico, como clusters e SQL warehouses com servidor.
Os recursos do plano de computação sem servidor, como armazéns SQL sem servidor, não têm monitoramento extra quando o monitoramento de segurança aprimorado está habilitado.
Observação
Há suporte para a maioria dos tipos de instância do Azure, mas não há suporte para máquinas virtuais baseadas em Geração 2 (Gen2) e Arm64. O Azure Databricks não permite iniciar a computação com esses tipos de instância quando o monitoramento de segurança aprimorado está habilitado.
O monitoramento de segurança aprimorado inclui:
Uma imagem avançada do sistema operacional protegida com base no Ubuntu Advantage.
O Ubuntu Advantage é um pacote de segurança empresarial e suporte para infraestrutura e aplicativos de código aberto que inclui uma imagem protegida CIS Nível 1.
O agente de monitoramento de antivírus gera os logs que você pode examinar.
O agente de monitoramento de integridade de arquivo gera os logs que você pode examinar.
Agentes de monitoramento nas imagens do plano de computação do Azure Databricks
Embora o monitoramento de segurança aprimorado esteja ativado, há agentes de monitoramento de segurança adicionais, incluindo dois agentes que são pré-instalados na imagem do plano de computação aprimorado. Não é possível desabilitar os agentes de monitoramento que estão na imagem de disco do plano de computação aprimorado.
| Agente de monitoramento | Localidade | Descrição | Como obter a saída |
|---|---|---|---|
| Monitoramento de integridade do arquivo | Imagem aprimorada do plano de computação | Monitora a integridade do arquivo e violações de limite de segurança. Esse agente de monitoramento é executado na VM de trabalho no cluster. | Habilite a tabela do sistema de logs de auditoria e examine os logs para novas linhas. |
| Detecção de antivírus e malware | Imagem aprimorada do plano de computação | Examina o sistema de arquivos em busca de vírus diariamente. Esse agente de monitoramento é executado nas VMs em seus recursos de computação, como clusters e SQL warehouses profissionais ou clássicos. O agente de detecção de antivírus e malware examina todo o sistema de arquivos do sistema operacional host e o sistema de arquivos de contêiner do Databricks Runtime. Qualquer coisa fora das VMs do cluster está fora de seu escopo de verificação. | Habilite a tabela do sistema de logs de auditoria e examine os logs para novas linhas. |
| Verificação de vulnerabilidade | A varredura ocorre em imagens representativas nos ambientes do Azure Databricks. | Examina a o host de contêiner (VM) para determinadas vulnerabilidades conhecidas e Vulnerabilidades e Exposições Comuns (CVEs). | Enviado por email para os administradores do workspace do Azure Databricks. |
Para obter as versões mais recentes dos agentes de monitoramento, você pode reiniciar os seus clusters. Se o workspace usar a atualização automática de cluster, por padrão, os clusters serão reiniciados, se necessário, durante as janelas de manutenção agendadas. Se o perfil de segurança de conformidade estiver habilitado em um workspace, a atualização automática do cluster será habilitada permanentemente nesse workspace.
Monitoramento de integridade do arquivo
A imagem aprimorada do plano de computação inclui um serviço de monitoramento de integridade de arquivos que fornece visibilidade em runtime e detecção de ameaças para recursos de computação (cluster de trabalho) no plano de computação clássico em seu espaço de trabalho.
A saída do monitor de integridade do arquivo é gerada em seus logs de auditoria, que você pode acessar com tabelas do sistema. Consulte Monitorar a atividade da conta com tabelas do sistema. Para o esquema JSON de novos eventos auditáveis específicos do monitoramento de integridade do arquivo, consulte Eventos de monitoramento de integridade de arquivos.
Importante
É sua responsabilidade examinar esses logs. O Databricks pode, a seu exclusivo critério, examinar esses logs, mas não se compromete a fazê-lo. Se o agente detectar uma atividade mal-intencionada, será sua responsabilidade fazer a triagem desses eventos e abrir um tíquete de suporte com o Databricks se a resolução ou correção exigir uma ação do Databricks. O Databricks pode tomar medidas com base nesses logs, incluindo suspender ou encerrar os recursos, mas não se compromete a fazê-lo.
Detecção de antivírus e malware
A imagem aprimorada do plano de computação inclui um mecanismo de antivírus para detectar trojans, vírus, malware e outras ameaças mal-intencionadas. O agente de monitoramento de antivírus e malware examina todo o sistema de arquivos do sistema operacional host e o sistema de arquivos de contêiner do Databricks Runtime. Qualquer coisa fora das VMs do cluster está fora de seu escopo de verificação.
A saída do monitor antivírus é gerada em logs de auditoria, que podem ser acessados com tabelas do sistema. Para o esquema JSON de novos eventos auditáveis específicos do monitoramento de antivírus, consulte Eventos de monitoramento de antivírus.
Quando uma nova imagem de máquina virtual é criada, os arquivos de assinatura atualizados são incluídos nela.
Importante
É sua responsabilidade examinar esses logs. O Databricks pode, a seu exclusivo critério, examinar esses logs, mas não se compromete a fazê-lo. Se o agente detectar uma atividade mal-intencionada, será sua responsabilidade fazer a triagem desses eventos e abrir um tíquete de suporte com o Databricks se a resolução ou correção exigir uma ação do Databricks. O Databricks pode tomar medidas com base nesses logs, incluindo suspender ou encerrar os recursos, mas não se compromete a fazê-lo.
Quando uma nova imagem de AMI é criada, os arquivos de assinatura atualizados são incluídos na nova imagem AMI.
Verificação de vulnerabilidade
Um agente de monitoramento de vulnerabilidade executa verificações de vulnerabilidade do host de contêiner (VM) para determinados CVEs conhecidos. A verificação ocorre em imagens representativas nos ambientes do Azure Databricks. Os relatórios de verificação de vulnerabilidade são enviados por email para todos os administradores do workspace quando o Azure Databricks lança novas imagens de disco AMI.
Quando as vulnerabilidades são encontradas com esse agente, o Databricks as rastreia em seu SLA de Gerenciamento de Vulnerabilidades e libera uma imagem atualizada quando disponível.
Gerenciamento e atualização de agentes de monitoramento
Os agentes de monitoramento adicionais contidos nas imagens de disco usadas para os recursos de computação do plano de computação clássico fazem parte do processo padrão do Azure Databricks para atualizar sistemas:
- A AMI (imagem de disco base) do plano de computação clássico é de propriedade do Databricks, além de ter gerenciamento e aplicação de patch feitos por ele.
- O Databricks fornece e aplica patches de segurança liberando novas imagens de disco AMI. O agendamento de entrega depende da nova funcionalidade e do SLA para vulnerabilidades descobertas. A entrega típica é feita a cada duas a quatro semanas.
- O sistema operacional base do plano de computação é o Ubuntu Advantage.
- Os clusters do Azure Databricks e os SQL warehouses profissionais ou clássicos são efêmeros por padrão. Após a inicialização, os clusters e SQL warehouses profissionais ou clássicos usam a imagem base mais recente disponível. Versões mais antigas que podem ter vulnerabilidades de segurança não estão disponíveis para novos clusters.
- Você é responsável por reiniciar clusters (usando a interface do usuário ou a API) regularmente para garantir que eles usem as imagens de VM do host com patches mais recentes.
Encerramento do agente de monitoramento
Se um agente de monitoramento na VM de trabalho não estiver em execução devido a uma falha ou outro encerramento, o sistema tentará reiniciar o agente.
Política de retenção de dados para dados do agente de monitoramento
Os logs de monitoramento são enviados à tabela do sistema de log de auditoria seu próprio armazenamento em sua assinatura do Azure se você configurou logs de diagnóstico. A retenção, a ingestão e a análise desses logs são de sua responsabilidade.
Os relatórios e logs de verificação de vulnerabilidades são retidos por pelo menos um ano pelo Databricks.
Habilitar o monitoramento de segurança aprimorado do Azure Databricks
- Seu workspace do Azure Databricks precisa estar no plano Premium.
Para habilitar o monitoramento de segurança aprimorado em um workspace, consulte Habilitar recursos aprimorados de segurança e conformidade usando o portal do Azure.
As atualizações podem levar até seis horas para serem propagadas para todos os ambientes e para sistemas downstream, como cobrança. As cargas de trabalho que estão sendo executadas ativamente continuarão com as configurações que estavam ativas no momento da inicialização do cluster ou outro recurso de computação, e novas configurações começarão a ser aplicadas na próxima vez que essas cargas de trabalho forem iniciadas.